g ¨om ¨ul ¨u platformlardan gezg˙ın c˙ıhazlara gerc¸ ek zamanlı 3

GÖMÜLÜ PLATFORMLARDAN GEZGİN CİHAZLARA GERÇEK
ZAMANLI 3 BOYUTLU DURAKSIZ VİDEO İLETİMİ
REAL TIME STREAMING OF 3D VIDEO FROM EMBEDDED
PLATFORMS TO MOBILE DEVICES
Döne Buğdaycı, Emin Zerman, Gözde Bozdağı Akar
Elektrik Elektronik Mühendisliği Bölümü
Orta Doğu Teknik Üniversitesi, Ankara
[email protected], [email protected], [email protected]
ÖZETÇE
Bu çalışma stereo videonun gömülü platformlar üzerinde
gerçek zamanlı olarak yakalanıp sıkıştırılmasını ve sıkıştırılan
videonun gezgin cihazlara kablosuz bir ağ üzerinden iletimini,
uçtan uca bütünleşik bir sistem olarak sunmaktadır. Sistemin
ana parçaları, yakalanan iki görüntünün yan-yana formatta
OMAP3530 SoC ARM işlemci üzerinde son teknoloji sıkıştırma
standardı H.264/AVC ile kodlanması ve alıcı tarafındaki
gözlüksüz 3 boyutlu görüntü oluşturabilen ekrana sahip gezgin cihazdır. Sunulan yapıyla, kablosuz bir ağa bağlı gezgin kullanıcılar arasında 3 boyutlu görüntülü iletişim mümkün
kılınmıştır. Ayrıca gerçekleştirilen sistem için başarım testleri
yapılıp sonuçları bu çalışmada sunulmuştur.
ABSTRACT
This study presents the stereo video capture and compression
on embedded platforms in real time and streaming of the video
to mobile devices over a wireless network, as an end-to-end
system. The major components of the system are the state-ofthe art compression standard H.264/AVC used with side-byside representation of stereo video on the OMAP3530 SoC
(SystemonChip) ARM processor and the mobile device with
autostereoscopic display at the receiver side. With the presented architecture, 3D video communication between the mobile users connected to a wireless network is made possible.
Furthermore, performance tests are conducted for the system
and results are provided in this study.
1. GİRİŞ
Gezgin iletişim teknolojilerinde son on yılda yaşanan hızlı
gelişmeler, 90’lı yıllarda hayatımıza giren cep telefonlarını
sadece sesli iletişim aracı olmaktan çıkarıp daha yüksek hacimli
veri iletimini mümkün kılmıştır. Sayısal iletişim tekniklerinin
bant genişliğini daha verimli kullanmaya olanak sağlaması
ve gezgin cihaz yeteneklerinin artmasıyla birlikte, cep telefonlarından görüntülü iletişim ve eğlence amaçlı çoklu ortam verilerine ulaşım yaygınlaşmıştır. Diğer taraftan, 3 boyutlu
Bu çalışma Türk Telekom tarafından 4893-02 sayılı anlaşma kapsamında desteklenmiştir.
filmlerin popülerliğinin artması ile birlikte 3 boyut teknolojisi sinemaların dışına taşmış, 3 boyutlu televizyon ve onlara yönelik yayınlar günlük hayatta daha fazla yer almaya
başlamıştır. Gözlüksüz 3 boyutlu görüntüyü mümkün kılan
ekranların gelişmesi ile birlikte ise, cep telefonu gibi gezgin cihazların çeşitli ağlar üzerinden 3 boyutlu içerik ve uygulamalara
erişimi mümkün hale gelmiştir.
Gezgin cihazlara duraksız video iletimini gerçekleştirmek
için çeşitli yöntemler kullanılabilir. Bunlardan bazıları cihazın
mevcut kablosuz bir ağa bağlanıp, Real Time Transport Protocol (RTP), User Datagram Protocol (UDP) gibi iletim protokolleri aracılığıyla video içeriğine ulaşması şeklindedir. Bu
yöntemde çoğa gönderim kullanılabileceği gibi çoğunlukla
teke gönderim yapılır. Gezgin Televizyon olarak bilinen bir
diğer yöntem ise cihazın havada mevcut olan sayısal yayına
ulaşmasıdır. Bu yöntem, teke ve çoğa gönderim yöntemlerine göre kaynakların daha verimli kullanılmasını sağlar ancak
isteğe bağlı video yeteneğinden yoksundur. Gezgin Televizyon,
kendine ait bir ağ yapısını kullanır ve cihazlarda kendisiyle
uyumlu alıcı ve ayrı bir anten gerektirir. Günümüzde varolan
Gezgin Televizyon standartları, karasal ve uydusal sayısal televizyon teknolojilerinin üzerine kurulmuştur. Avrupa ve Asya’da
karasal Digital Video Broadcasting-Handheld (DVB-H) ile uydusal DVB-Satellite services to Handhelds (DVB-SH) standartları kullanılmaktadır [1]. Günümüzde, DVB-H fiziksel katmanını tanımlayan sayısal karasal televizyon standardı DVBTerrestrial (DVB-T) yerini daha yeni bir standart olan DVBT2’ye bırakmış, gezgin cihazlara yönelik yeni bir standart
geliştirme çabaları da başlamıştır. DVB-Next Generation Handheld (DVB-NGH) olarak adlandırılan bu yeni standardın 2015
yılında hazır olması hedeflenmektedir [2]. Bunlara ek olarak
3G veya 4G lisanslı radyo spektrumunda, hücre bazında televizyon yayınını mümküm kılan, 3rd Generation Partnership
Project (3GPP) 8. Yayım standardına dahil olarak yayınlanan
Integrated Mobile Broadcast (iMB) standardı da cep telefonu
ağları üzerinden televizyon izlemeyi mümkün kılmaktadır [3].
Beagleboard, sahip olduğu donanım özellikleri ile, gezgin sistemlerde her geçen gün daha sık tercih edilir hale
gelmiştir. Küçük robotlar için Beagleboard üzerinde gerçek
zamanlı stereo görüntüleme algoritmalarının sunulduğu bir
çalışma [4]’te görülebilir. Biz de bu çalışmamızda, iki kam-
Yakalama
&94
7
YUV
1232452678
6832
9
5
NALU
Ethernet Veri
IP
823
85782
Şekil 1: Sistem
era yardımıyla gerçek zamanlı olarak 3 boyutlu görüntünün
yakalanıp sıkıştırılarak iletildiği ve gezgin bir cihaz tarafından
alınarak 3 boyutlu olarak izlendiği uçtan uca bir sistem
sunuyoruz. Bu sistemde sağ ve sol olmak üzere yakalanan
görüntüler, yan-yana konarak tek bir görüntü haline getirilmiş
ve bu sayede mevcut tek görüntü içeren sistemlerde kullanılan araçlardan faydalanılabilmiştir. Stereo videonun yanyana konarak iletimi yöntemi, günümüzde 3 boyutlu televizyon yayıncıları tarafından çerçeve-uyumlu adı altında tercih edilen bir yöntemdir. Sistemde, yakalanıp sıkıştırılan 3
boyutlu görüntü bilgisinin, mevcut kullanılan bir ağ standardı
yoluyla gezgin cihazlara duraksız iletimi hedeflenmiştir. Alıcı
gezgin cihazın, gözlüksüz 3 boyutlu görüntüleme teknolojisine
sahip olması durumunda yayın gerçek zamanlı ve 3 boyulu
olarak izlenebilmektedir. Sistemin gerçeklenmesi açık kaynak
kodlu yazılımlar kullanılarak yapılmıştır. Makalenin bir sonraki
bölümünde, öncelikle sistemin ana parçaları tanımlanıp, devamında her bir parçası detaylı olarak anlatılmaktadır. Sistemin
performansına yönelik yapılan çalışmalar sonraki bölümde verilip, gelecekte çalışılabilecek konular ve sonuçlar son bölümde
tartışılmıştır.
Micron 256 MB NAND, 256 MB SDRAM ve 4 GB’a kadar
ikincil hafıza desteğinin (SD Kart ile) yanısıra işlem hızı 800
MHz olup günümüzde gezgin uygulamalarda kullanılan birçok
işlemci ile eşdeğer özelliklere sahiptir.
2. SİSTEME GENEL BAKIŞ
İşletim sistemi olarak kişisel bilgisayarlarda yaygın olarak
kullanılan açık kaynak kodlu Linux çekirdeğine (2.6.37-devel)
sahip Ubuntu işletim sistemi seçilmiştir. İşletim sisteminin tercihinde açık kaynak kodlu olmasının yanında ARM için optimize edilmesi ve ek donanımların sürücülerinin desteklenmiş
olması dikkate alınmıştır. İşletim sistemine anlatılan uygulamanın yapılabilmesi için gerekli ek paketler eklenmiş ve
hazırlanmış olan yazılımlar ana bilgisayarda ARM için derlenerek dosya sistemine eklenmiştir.
Sistemin blok şeması Şekil 1’de görülmektedir. Sistemin
verici kısmında gömülü platform olarak Beagleboard [5]
kullanılmıştır. Verici tarafında iki adet kamera Beagleboard’a
Universal Serial Bus (USB) üzerinden bağlıdır. Bu iki kameranın eş zamanlı olarak yakaladığı görüntüler, yan-yana moda
getirilip YUV:420 formatına çevirilir. Bu işlem sonucunda
oluşan video açık kaynak kodlu bir kütüphane olan x264 [6]
kullanılarak sıkıştırılır. Kodlayıcı çıkışındaki sıkışmış video
paketleri, açık kaynak kodlu bir duraksız iletici olan VLC [7]
yardımıyla, istemci bir kullanıcı olması halinde seçilen iletim
protokolü üzerinden iletilir.
2.1. Verici Platform
Oluşturulan sistemde canlı görüntü yakalamak ve işlemek
için seçilen gömülü platform BeagleBoard XM, Şekil 2’de
görülmektedir. BeagleBoard XM, Texas Instruments (TI) ve
Digi-Key işbirliğiyle hazırlanan ve eğitim amaçlı olarak açık
kaynak donanım ve yazılımı desteklemek için üretilen düşük
güçlü bir açık kaynak donanım projesidir [5]. Üzerinde donanımsal olarak TI OMAP 3530 (ARM + DSP + Video Accelerator) SoC mikroişlemcisi bulunmakta olup USB kapısı, UART,
GPIO, DVI ve S-Video çıkışı gibi çeşitli donanımsal arayüzlere
sahiptir. TI ARM Cortex A8 işlemcisinin hafıza birimi olarak
Şekil 2: Beagleboard XM
2.1.1. Video Yakalama
Sisteme bağlı olan iki USB kameranın çözünürlükleri, USB
hattının bant genişliğini doldurmayacak şekilde ayarlanır.
Oluşturulan sistemde, bahsedilen çözünürlük değeri 160x120
boyutlarında seçilmiştir. Video yakalamak ve yan-yana formata getirmek için açık kaynak kodlu Video for Linux (V4L)
kütüphanesinden yararlanan bir program yazılmıştır. Video
yakalandıktan sonra yan-yana bitiştirilerek standart çıkışa
doğrudan sunulur. Böylece anlık görüntüler ikincil bellekte yer
kaplamadığı gibi gömülü uygulamalarda önemli olan bellek de
etkili olarak kullanılır.
2.1.2. Video Kodlama ve İletim
Kullanıcı ile verici arasındaki iletimi gerçekleştirmek için BeagleBoard XM üzerinde çalışmakta olan Ubuntu işletim sis-
temi üzerinde açık kaynak kodlu VLC Media Player kullanılmaktadır [7]. VLC Media Player, Videolan topluluğu
tarafından dağıtılmaktadır ve üzerinde yine Videolan topluluğu
tarafından geliştirilmekte olan H.264 MPEG/AVC kodlayıcı
x264 kütüphanesi bulunmaktadır. Yan-yana formata getirilen
görüntü, x264 kodlayıcı ile ana profilde ve sıradüzensel kodlanır
ve seçilen protokol üzerinden duraksız iletim yapmaya başlanır.
İnternet üzerinden duraksız iletimde, internet paket ulaşım
protokollerinden RTP veya Real Time Streaming Protocol
(RTSP) kullanılabilir. Sunulan sistemde RTSP seçilmiştir.
RTSP, bağlanan her kullanıcı ile bir oturum açarak iletime
başlar. Kullanıcı, vericinin Internet Protocol (IP) adresini
ve uygulama kapısını bilmesi halinde doğrudan vericiye
bağlanarak yayına ulaşabilmektedir. Birden çok vericinin
olacağı durumlarda kullanıcının izleyeceği yayını daha rahat
seçebilmesi ve bağlanabilmesi için ortak bir web sayfasında
vericilerin adresleri paylaşılabilir ve kullanıcı doğrudan bu ara
sunucuya bağlanarak seçimini yapabilir.
Sistemin çalışma ve başarımını değerlendirebilmek için bazı
deneyler yapılmış ve sonuçlar elde edilmiştir. Bu deneylerdeki
amaç, aktarım için uygun değişkenlerin belirlenmesidir. Sistem başarımını ölçebilmek için BeagleBoard XM üzerinde x264
kullanarak farklı değişkenlere bağlı deneyler yapılmıştır. Bu
değişkenler video imgelerinin farklı referans-yapıları, nicemleme değişkeni, devinim kestirimi tipi, devinim kestirim erimi, referans çerçeve üst limiti,iç-kodlu çerçevelerin (I çerçeve)
sıklığı olarak belirtilebilir. Bu değişkenlerden yalnızca bazıları
farklı alınarak deneyler sürdürülmüş, diğer değişkenler ise kontrol amacıyla sabit bırakılmıştır.
2.2. Alıcı Platform
3.1. Kullanılan Değişkenler
Önceleri 3 boyutlu televizyonlar için geliştirilen gözlüksüz 3
boyutlu görüntü oluşturabilen ekran teknolojileri, gözlük kullanımının tercih edilmediği gezgin el cihazlarında da ön plana
çıkmaktadır. Her ne kadar bu çalışmada sunulan sistemde,
alıcı kısmında internet erişimi olan herhangi bir cihaz kullanılabilmekte ise de, gözlüksüz 3 boyutlu görüntü özelliği olan
Android işletim sistemine sahip bir cep telefonu örnek olarak
sunulmuştur. Alıcı Linux tabanlı bir işletim sistemine sahip
olduğundan, açık kaynak kodlu çoklu ortam oynatıcıları kullanarak video oynatabilmektedir. Aşağıdaki kısımda örnek olarak
sistemde kullanılan alıcı cihazla ilgili açıklamalara yer verilmektedir.
Sistem başarımı deneyleri sırasında genel olarak kullanılan
değişkenler, video imgelerinin farklı referans yapıları ve nicemleme değişkenidir. Farklı referans yapılarının kodlama performanslarının karşılaştırılması [8]’de sunulmuştur. Video art arda
gelen imgelerden oluşmaktadır. Video kodlama sırasında herbir imgenin kendi içindeki benzerliklerden ve art arda gelen imgeler arasındaki benzerliklerden yararlanarak sıkıştırma
yapılır. Video kodlama sırasında bir blok kodlanırken yararlanılabilecek üç değişik yöntem vardır: iç-kodlama, tek-yönlüöngörü ile kodlama ve çift-yönlü öngörü ile kodlama. Aynı
şekilde, iç-kodlu çerçeve, kodlama yapılırken yalnızca aynı
imge içerisindeki blokların kullanılması ile oluşturlur. Bir
videonun, ilk imgesi iç-kodlama ile kodlanır. Tek-yönlüöngörü-kodlu çerçeve, kodlama sırasında kendisinden önce
kodlanmış çerçeveleri referans olarak kullanarak kodlanmış
olan çerçevelerdir. Çift-yönlü-öngörü-kodlu çerçeve ise aynı
imge dizisi içerisinde hem kendisinden önce gelen hem de sonra
gelen imgelerden referans alma yoluyla kodlanır.
için bir Çoklu Dokunmatik Paralaks Engel Ekran’a sahiptir.
Üzerinde bulunan çoklu ortam oyantıcısının yanısıra, sahip
olduğu işeltim sistemiyle uyumlu yüklenebilecek herhangi bir
çoklu ortam oynatıcısı da kullanılabilmektedir.
3. DENEYSEL SONUÇLAR
1
1
12 32 32 32 32 12
12 42 42 42 12
Şekil 3: HTC Evo 3D
Şekil 4: Öngörülü Kodlama ve Sıradüzensel Kodlama Yapıları
2.2.1. HTC Evo 3D Özellikleri
HTC Evo 3D, içerisinde bulunan değiştirilebilir paralaks engel teknolojisi sayesinde 2B görüntüleri olduğu kadar 3B
görüntüleri de kullanıcı için gözlüksüz bir şekilde izlenmesine olanak sağlamaktadır. Kullanılan HTC Evo 3D alıcı platform Qualcomm MSM8660 1.2 GHz Çift Çekirdekli İşlemci,
HTC Sense 3.0 ile Android 2.3 İşletim Sistemi, Qualcomm
Adreno 220 Grafik İşlemci, 1 GB Rasgele Erişimli Bellek, 1
GB Gömülü Çoğulortam Kartı ve 3 boyutlu ortam oynatabilmek
Bu çerçeve tipleri kullanılarak video kodlama pek çok referans yapısı ile gerçekleştirilebilir [8]. Bu çalışmada, yalnızca
iki çeşit referans yapısı ele alınmıştır. Bunlardan ilki olan
Öngörülü kodlama (IPP) periyodik şekilde yerleştirilmiş içkodlu çerçevelerin arasına tek-yönlü-öngörü-kodlu çerçevelerin
gelmesiyle oluşur. İç-kodlu çerçeve periyodu 8 seçilmiş olup,
referans olarak kullanılabilen çerve sayısı 4’e eşitlenmiştir.
Çalışmamızda yer alan Sıradüzensel (Hier) kodlamada ise
periyodik şekilde yerleştirilmiş iç-kodlu çerçevelerin arasına
KnightQuest videosu icin Oran−Bozulma Egrisi
43
42
41
PSNR
çift-yönlü-öngörü-kodlu çerçeveler yerleştirilmiştir. Çift-yönlüöngörü-kodlu çerçevelerin kodlanması sırasında sıradüzensel
bir yol izlenir. Önce grubun en ortasındaki çerçeve iki uçtaki
iç-kodlu çerçevelerden kodlanır. Daha sonra bu yapı küçülerek
aynı grup içerisinde başka çerçeve kalmayana kadar devam
eder. Şekil 4’de kullanılan referans yapıları verilmiştir.
Sistem başarım deneyleri sırasında, Öngörülü kodlama
yapısı temel profilde, Sıradüzensel kodlama yapısı ise
çift-yönlü-öngörü-kodlu çerçeveler içerdiğinden ana profilde
kodlanmıştır. Başarımı etkileyen bir diğer değişken ise nicemleme değişkenidir (QP). Nicemleme değişkeni video kodlama
sırasında ayrık kosinüs dönüşümü sonucunda elde edilen katsayıların nicemlenmesi sırasında kullanılır. Bu değişken ile nitelik arasında ters orantı vardır. Nicemleme değişkeninin artması, sıkıştırmanın artması ile birlikte elde edilen videonun
niteliğinin (kalitesinin) düşmesine neden olur.
40
39
38
Hier8
IPP
37
36
150
200
250
300
350
400
Bit hizi (Kb/s)
450
500
550
Şekil 5: KnightQuest videosu için Beagleboard üzerinde x264
kullanılarak oluşturulmuş Oran-Bozulma Eğrisi
3.2. Sonuçlar
Nicemleme değişkeni ve farklı referans-yapıları değişken kabul
edilerek yapılan bir deneyin sonuçları Tablo 1 görülmektedir. Bu sonuçlara göre Öngörülü (IPP) kodlama ve
Sıradüzensel kodlama arasında zaman açısından çok büyük
bir farklılık görülmemektedir. Sıradüzensel kodlama yapısının
arama uzayı daha büyük olduğundan, daha başarılı sıkıştırma
gerçekleştirmektedir. Bu sonucu Şekil 5’te görmekteyiz. Şekil
5’te, Saniyedeki kilobit miktarı olarak sunulan bit hızına
karşılık video kalitesinin PSNR metriği kullanılarak ölçülen dB
ölçeğindeki değerleri sunulmuştur.
Tablo 1: KnightQuest videosu için Beagleboard üzerinde x264
ile yapılan sıkıştırma zamanları
QP
IPP
Hier8
Toplam Çerçeve/s Toplam Çerçeve/s
26
70.19
10.75
84.21
8.93
27
73.42
10.20
76.41
9.80
28
67.29
11.24
85.83
8.77
29
70.72
10.64
86.75
8.70
30
71.81
10.53
86.80
8.70
31
76.18
9.90
87.65
8.55
32
69.19
10.87
87.57
8.62
33
79.58
9.43
85.45
8.77
34
69.22
10.87
88.38
8.47
35
79.36
9.43
90.41
8.33
36
71.27
10.53
88.45
8.47
iletilir. Alıcı olarak kablosuz ağa bağlanabilen, gözlüksüz 3
boyutlu görüntü oluşturabilen ekrana sahip, Android işletim
sistemli bir gezgin cihaz seçilmiştir. Kullanılan donanım
üzerinde uygun kodlama değişkenlerini bulmak amacıyla çeşitli
testler yapılmıştır. Sistemin başarımını test etmek adına,
iki farklı referans yapısı için, kodlama zamanları ve oranbozuluma eğrileri sunulmuştur. Bundan sonraki aşamada, gezgin cihazlar için yayın yapıldığından, kanal veri kayıplarına
karşı görüntü kalitesini korumaya yönelik alıcı ve verici
kısmında uygulanabilecek algoritmalar üzerinde çalışılacaktır.
Bu amaçla, sisteme koruma eklenmesi ve değişik hata düzeltme
algoritmaları üzerinde çalışılması hedeflenmektedir.
5. TEŞEKKÜR
Beagleboard ile ilgili paylaşımlarından dolayı Ahmet Orkun
Tomruk’a teşekkür ederiz.
6. KAYNAKÇA
[1]
Furht, B. and Ahson, S., Handbook of Mobile Broadcasting: DVB-H, DMB, ISDB-T, and MediaFLO, Auerbach
Publications, 2008.
[2]
DVB - Digital Video Broadcasting, “http://www.dvb.org”.
[3]
3G Release 8, “Technical Specifications and Technical
Reports for a UTRAN-based 3GPP system”, TR 21.101.
[4]
Goldberg, S.B. and Matthies, L.B. “Stereo and IMU
assisted visual odometry on an OMAP3530 for small
robots”, Computer Vision and Pattern Recognition Workshops (CVPRW), pp.169-176, 20-25 June 2011
[5]
Beagleboard, “http://beagleboard.org/”.
[6]
x264, “http://www.videolan.org/developers/x264.html”.
[7]
VLC media player, “http://www.videolan.org/vlc/”.
[8]
Aksay, A. and Akar, G.B. “Evaluation of stereo video
coding schemes for mobile devices,” 3DTV Conference,
2009, pp.1-4, 4-6 May 2009
4. VARGILAR VE GELECEKTEKİ
ÇALIŞMALAR
Bu çalışmada, iki kamera ile yakalanan ortam videolarının,
gömülü platformlar üzerinde çeşitli işlemlerden geçirilerek,
gezgin cihazlara kablosuz ağlar üzerinden iletimi çalışılmıştır.
Bu amaca yönelik olarak, Beagleboard gömülü platform
olarak seçilmiş ve iki adet USB kamera bu platforma
bağlanmıştır. Kameralardan elde edilen görüntüler yan-yana
çerçeve formatına getirilerek ARM işlemci üzerinde çalışan
açık kaynak kodlu kodlayıcıda kodlanır. Sonrasında açık
kaynak kodlu bir duraksız iletici yardımıyla, alıcı tarafa