Paper Preparation and Submission Instructions for EUSIPCO 2004

STEREO VİDEODA HAREKET VE AYKIRILIK KULLANAN TÜM ÇERÇEVE KAYBI
HATA GİZLEME YÖNTEMİ
MOTION AND DISPARITY AIDED STEREOSCOPIC FULL FRAME LOSS
CONCEALMENT METHOD
Çağdaş Bilen, Anıl Aksay, and Gözde Bozdağı Akar
Orta Doğu Teknik Üniversitesi, Elektrik ve Elektronik Mühendisliği Bölümü
Ankara, 06531, Türkiye
Tel: +90 312 2104509, faks: +90 312 2101261, e-posta: {cbilen, anil, bozdagi}@eee.metu.edu.tr
ÖZETÇE
Çift Görüşlü (stereo) video özellikle video kodlamayla uğraşanlar
için ilgi çeken araştırma alanlarından biri haline gelmektedir. Çift
görüşlü ve çok görüşlü videoları sıkıştırma için yapılan
çalışmalarla beraber pratik uygulamalardaki veri iletimi hatalarını
aşamak için yeni hata engelleme ve hata gizleme yöntemleri de
gereklidir.
Bu bildiride çift görüşlü (stereo) videolarda tüm çerçeve kaybında
hata gizlemek için bir yöntem önerilmiştir. Önerilen yöntem iki
görüş arasındaki artıklık ve aykırılık bilgisiyle beraber önceden
çözülmüş çerçevelerin zamansal bilgilerini de kayıp çerçevenin
kestirimi için kullanmaktadır. Sonuçlara göre önerilen algoritma
aynı kayıp çerçeve üzerinde kullanıldığında, tek görüşlü videoda
kullanılan yöntemlerden daha iyi başarım göstermiştir.
ABSTRACT
Stereoscpic video is one of the emerging research areas especially
among the video coding community. Along with the studies for
efficiently compressing the stereoscopic and multiview video, new
error concealment and error protection methods are also
necessary to overcome the problems due to erroneous channel
conditions in practical applications.
In this paper we propose a full frame loss concealment algorithm
for stereoscopic sequences. The proposed method uses redundancy
and disparity between the two views and motion information
between the previously decoded frames to estimate the lost frame.
The results show that, the proposed algorithm outperforms the
monoscopic methods when they are applied to the same view as
they are simulcast coded.
komşu makbloklardaki hareket vektörleri veya piksel bilgilerini
kullanarak gizleyebilir ([1], [2]). Ancak düşük bithızındaki video
iletimi sırasında oluşabilecek hatalar bütün bir çerçevenin kaybına
neden olabilir. Çerçeve kaybı durumlarında çerçeve içi zamansal
veya uzamsal aradeğerleme veya hareket dışdeğerleme gibi
yöntemler kullanılamaz. Son zamanlarda tek görüşlü video için tüm
çerçeve hata gizleme yöntemleri önerilmiştir ([3]-[7]). Tek görüşlü
video üzerinde yapılmış çalışmalar olsa da, literatürde çift görüşlü
(stereo) video üzerinde bu konuda yapılmış çok az çalışma
bulunmuştur.
[9] ve [10]’da, stereo videoda blok kayıpları için bir hata gizleme
yöntemi önerilmiştir. Hatalı bloklar stereo resim ikilisindeki
görüşler arasındaki ilişkili noktalar kullanılarak gizlenmektedir. Bu
tip yöntemler resmin bir kısmının geri çatılmasında faydalı olmasına
rağmen tüm çerçeve kayıplarında uygulanabilir değillerdir.
Kayıp çerçeveyi geriçatmanın birbaşka yolu da görüş
aradeğerlemesi yapmaktır [13, 14]. Ancak son zamanlardaki
çalışmalar göstermiştir ki, çift görüşlü ve çok görüşlü videolar tek
görüşlü videolarda kullanılan yöntemlerle sahnenin derinlik bilgisi
kullanılmadan dahi verimli bir şekilde kodlanabilir ([8], [11]). Bu
kodlama yapılarında derinlik bilgisi kullanılmadığından, hatta çoğu
durumda kodlanan video kaldırılmış [12] bile olmadığından, stereo
eşleme ve görüş aradeğerleme yöntemleri [14] başarısız sonuçlar
vermektedir.
Bu bildiride önceki çerçevelerdeki hareket bilgisi ile görüşler arası
aykırılık bilgisini kullanan bir tüm çerçeve kaybı gizleme yöntemi
önerilmiştir. Algoritmanın uygulandığı kodlama yapısı ve önerilen
algoritma sırasıyla Bölüm 2 ve 3’te anlatılmıştır.
2.
1.
GİRİŞ
İnternet gibi veriyolu üzerinden video gönderimi içeren
uygulamalar, veriyolunun durumuna göre hatalara ve paket
kayıplarına maruz kalırlar. Video verisini hataya dayanıklılık
yöntemleriyle korumak bir dereceye kadar mümkün olsa da, hataya
dayanıklılığın tüm hataları engelleyemediği durumlarda verimli hata
gizleme yöntemlerine ihtiyaç duyulmaktadır. Literatürde bulunan
hata gizleme yöntemlerinin çoğu makroblok veya dilim kayıplarını
Bu çalışma Avrupa Komisyonu tarafından FP6-511568 3DTV
sözleşmesi altında desteklenmektedir. A.A ve C.B Tübitak tarafından
kısmen desteklenmektedir.
STEREO VİDEO KODLAYICININ YAPISI
Bu çalışmada kullanılan çok görüşlü video kodlayıcı ([11]) çift
görüşlü ve çok görüşlü videoları kodlamak için tasarlanmış H.264
tabanlı bir kodlayıcıdır. Stereo videolar kodlanırken sol görüş tek
görüşlü gibi, sağ görüş de iki görüşteki hareket ve aykırılık bilgisi
(her bir makroblokta hangi bilgi daha verimli ise o kullanılarak)
kullanılarak kodlanabilir. Videolar kodlanırken derinlik bilgisi gibi
sahneye dair herhangi bir bilgi kullanılmamaktadır. Aykırılık da
kodlayıcıda hareket bilgisi gibi tahmin edilmektedir. Hem aykırılık
hem de hareket tahmini başarımı artırmak için çeyrek-piksel
dğruluğunda ve 16x16dan 4x4e kadar değişen blok boylarında
yapılmaktadır. Makrobloklar çerçeve içi bloklar, esgeçilmiş
bloklar, hareket dengelenmiş bloklar ve aykırılık dengelenmiş
bloklar olarak kodlanabilirler. Kodlayıcıdaki referans yapısı Şekil
1de görülebilir.
Bu çalışmada [11] kullanılmasına rağmen, Bileşik Video
Takımının (Joint Video Team - JVT) yeni standardı Bileşik
Çokgörüşlü Video Modeli (Joint Multiview Video Model – JMVM
[8]) de önerilen yöntemle kullanılabilir.
t-2
mv R, t -1
mv L, t -1
d R, t -1
t-1
Kaynak Çerçeve
3.
ÖNERİLEN HATA GİZLEME YÖNTEMİ
Hareket vektörü izdüşümü yöntemleri genellikle sahnedeki
objelerin doğrusal kameraya paralel hareketi (linear translational
motion – LTM) varsıyımınada dayanır. Bu varsayım doğru
olduğunda, optik akış cisimlerin gerçek hareketine çok yakın olur.
Ayrıca dikkat edilmelidir ki, sadece doğrusal kameraya paralel
hareket varsa, derinlik değiştiren (trans-depth) hareketi yok
demektir ve objelerin aykırılıklarının sabit kalacağı varsayılır.
Gerçek videolardaki objelerin hareketi tamamıyla LTM olmasa da,
bir video çerçevesi, bir önceki çerçevelerin hareket bilgisi
kullanılarak LTM varsayımı ile kestirilebilir. Önceki çerçevelerin
hareket ve aykırılık bilgisi ve LTM varsayımı ile Bölüm 2’de
anlatılan stereo video kodlayıcı ile kodlanmış kayıp sağ çerçeveyi 5
adımda kestirip geriçatabiliriz. Önerilen stereo kayıp çerçeve
geriçatma algoritması Şekil 2’de gösterilmiştir.
3.1. Kaynak Çerçevenin Seçimi
Geriçatma algoritmasının ilk adımı hareket vektörlerinin izdüşümü
yapılacağı kaynak çerçeveyi seçmektir. Hareket vektörü izdüşümü,
kaynak çerçeve ve kestirilecek çerçeve arasındaki hareketin
doğrusal olduğu varsayımına dayandığı için, kaynak çerçeveye en
yakın geçmiş çerçeveyi almak en iyi çözümdür. Algoritmanın geri
kalanında kaynak çerçevenin bir önceki sağ çerçeve olduğu
varsayılmıştır. (Şekil 3’teki (t-1) ile gösterilen sağ çerçeve kaynak
çerçevedir).
3.2. Zamansal Vektör Alanının İzdüşümü
Kaynak çerçevenin bazı makroblokları bir önceki sağ çerçeveye
Kaynak Çerçevenin Seçilmesi
Aykırılık Alanının
İzdüşümü
Zamansal Alanın
İzdüşümü
Aykırılık Alanının
İstatiksel Çözümlemesi
Zamansal Alanın
İstatistiksel Çözümlemesi
Bileşik Vektör Alanının
Oluşturulması
Bileşik Vektör Alanına
7x7 Ortanca Süzgecinin
Uygulanması
Bileşik Vektör Alanıyla Kayıp
Çerçevenin Kestirilmesi
disp
t
mv_temp
b
c
a
Kestirilen Çerçeve
Sol
Sağ
Şekil 3: Önerilen algoritmada t anındaki sağ
çerçevenin kestiriminde kullanılan izdüşüm
yöntemleri
hareket vektörü ile, bazıları da aynı zamandaki sol çerçeveye
aykırılık vektörü ile işaret eder. Bu iki makroblok grubu ayrı
şekilde ele alınmalıdır. Önceki sağ çerçeveleri işaret eden hareket
vektörleri izdüşümlenerek, zamansal vektör alanını (1)’deki
denklemlere göre oluştururlar. Burada mvR, t-1 , x(i , j) ve mvR, t-1 ,
y(i,j) sırasıyla kaynak çerçevenin (i , j)’deki pikselinin hareket
vektörünün yatay ve dikey kısımlarını, refR(i , j) ise referans
gösterilen çerçevenin kaynak çerçeveye göre olan zamanını
gösterir.
Zamansal vektör alanının oluşturulması mono videodaki yöntemlere
benzerdir ve Şekil 3’te (a) ile gösterilmiştir.
3.3. Aykırılık Alanının İzdüşümü
Kaynak çerçevedeki tüm makrobloklar hareket dengelenmiş
olmadığı için, kayıp çerçeveyi daha iyi bir kestirebilmek için
aykırılık dengelenen makroblok bilgilerini de izdüşmek
durumundayız. İstatistiklere göre aykırılık dengelemesinde en
yakın zamandaki sol çerçeve baskın olmaktadır ve bu yüzden
önerilen algoritmada kaynak çerçeve sadece kendisine en yakın sol
çerçeveyi kullanarak aykırılık dengelemesi yapar. (Şekil 3’teki (t1) zamanındaki sol çerçeve kullanılarak).
Aykırılık alanını oluşturan hareket vektörleri (2)’deki denklemlere
göre oluşturulurlar. Burada mvL, t-1 , x(i , j) ve mvL, t-1 , y(i , j)
sırasıyla (t-1)’deki sol çerçevenin (i , j)’deki pikselinin hareket
vektörünün yatay ve dikey kısımlarını, dR, t-1 , x(i , j) ve dR, t-1 , y(i , j)
sırasıyla (t-1)’deki sağ çerçevenin (i , j)’deki pikselinin aykırılık
vektörünün yatay ve dikey kısımlarını ve refL(i , j) ise hareket
vektörü mvL, t-1 , x(i , j) ile referans gösterilen çerçevenin kaynak
çerçeveye göre olan zamanını gösterir.
İzdüşüm yöntemi Şekil 3’te (b) ile gösterilmiştir. Eğer kaynak
çerçeve tarafından aykırılık vektörü ile işaret edilen makroblok
çerçeve içi kodlamış ise, hareket vektörleri (2)’deki gibi
hesaplanamaz. Bu durumda, t’deki sol çerçeveden hareket vektörü
ilen bu makrobloğu işaret eden makroblok bulunup, Şekil 3’te (c) ile
gösterilen şekilde izdüşüm yapılır. Şekil 3’te (b) ve (c) ile gösterilen
yöntemler objelerin derinliklerinin korunması varsayımına dayanır.
3.4. Vektör Alanlarının İstatistiksel Çözümlemesiyle
Hesaplama Veriminin Artırılması
Hesaplama zamanını azaltmak için hareket vektörleri pikseller
Şekil 2: Önerilen Çift Görüşlü tüm çerçeve kaybı
hata gizleme yönteminin blok diyagramı
mv_temp x (i - mv R, t -1 , x (i , j) , j - mv R, t -1 , y (i , j)) = mv R, t -1 , x (i , j) / ( (t - 1) - ref R (i , j) )
mv_temp y (i - mv R, t -1 , x (i , j) , j - mv R, t -1 , y (i , j)) = mv R, t -1 , y (i , j) / ( (t - 1) - ref R (i , j) )
(1)
yerine bloklar için hesaplanabilir. 16x16 ve 4x4 blokları doğru
hareket vektörleri ile betimlemek için istatistiksel işlemler
uygulanacaktır. Aykırılık ve zamansal vektör alanlarını
oluşturduktan sonra, her alan için vektörlerin ortalaması ve
değişintisi hesaplanır. Her 4x4 ve 16x16 blok için, bloktaki vektör
ortalaması (mean16x16, mean4x4), değişintisi (var16x16, var4x4)
ve bu vektörlerin sayısı (N16x16, N4x4) hesaplanır. Eğer var16x16
bir eşik değerinden (ThrV) küçük ise ve N16x16 başka bir eşik
değerinden (ThrN) büyük ise, mean16x16 bütün blok için
kullanılır. Aksi halde, eğer N4x4 1’den büyük ise makroblok
içindeki tüm 4x4 bloklar için mean4x4 değeri kullanılır. Bu
prosedür aykırlık ve zamansal vektör alanları için uygulanır.
3.5. Vektör Alanlarının Süzülmesi Ve Kayıp Çerçevenin
Oluşturulması
İlk dört adımdan sonra, kestirilen çerçevenin blokların çoğu için
kestirilmiş hareket vektörü oluşur. Bu vektörler, ya zamansal ya
aykırılık vektör alanından ya da ikisinden birden kestirilmiştir.
Aykırılık vektör alanından kestirimin zamansal vektör alanından
kestirime göre daha iyi sonuç verdiği gözlemlenmiştir. Bunun
sebebi, sol çerçeveye işaret eden aykırılık vektörlerinin
değişintisinin zamansal hareket vektörlerini değişintisine göre daha
düşük olmasından olabilir. Uzaysal vektör alanındaki boş bölgeler,
zamansal vektör alanındaki vektörler ile doldurularak bileşik vektör
alanı oluşturulur. Boş bölgelerdeki bileşik hareket vektörleri 7x7’lik
ortanca filtresi ile hesaplanır. Eğer ortanca filtresine uygulanacak
vektör yoksa, (eğer 7x7’den büyük boşluk varsa), blok için sıfır
hareket vektörü ve kaynak çerçeve referansı olarak ayarlanır. En son
olarak, birleşik vektör alanı, kayıp çerçevenin hareket vektörleri
olarak ayarlanır ve bu vektörler kullanılarak kestirilir.
4.
SONUÇLAR
Önerilen algoritmanın testi için beş çift görüşlü (stereo) video
[11]’de anlatılan çok görüşlü video kodlayıcıyla kamera sayısı iki
olarak ayarlanarak kodlanmıştır. Kodlanan sağ görüş çerçeveleri
daha önce kodlanmış dört sağ ve beş sol görüş çerçevesini referans
olarak kullanırken, sol görüş çerçeveleri sadece önceden kodlanmış
dört sol görüş çerçevesini kullanmaktadır. Kullanılan videolar
farklı hareket özelliklerine sahip ve hepsi 320x240 piksel
büyüklüktedirler. Xmas videosu bazıları oldukları yerde dönen
farklı objeler içerirken, Botanical videosu belli bir bölgede
sınırlanmış doğrusal hareketler içermektedir. Train ve Balloons
videoları ise hızlı hareketler içeren videolar olarak tanımlanabilir.
Testler sırasında Xmas videosunun 41. çerçevesi, Botanical
videosunun 11. çerçevesi, Train videosunun 11. çerçevesi ve
Balloons videosunun 81. ve 191. çerçeveleri kaybedilmiş ve değişik
yöntemlerle hata gizleme uygulanmıştır. Kayıp çerçevelerin hepsi
sağ görüşe aittir. Videolar [11]’deki kodlayıcıyla kodlanmış ve
ayrıca sadece sağ görüşler referans yazılımı JM 10.1 kullanılarak
standart H.264 ile kodlanmışlardır. Çift görüşlü (stereo) olarak
kodlanmış videoların çözülüşü sırasında kayıp çerçeveler önerilen
algoritmayla gizlenmiştir. Ayrıca tek görüşlü videolarda kullanılan
iki tüm çerçeve kaybı gizleme algoritması da standart H.264 ile
kodlanmış sağ görüşler üzerinde uygulanmıştır. Bu iki algoritmadan
biri [4]’te anlatılan Bloklar Üzerinde Gizleme Yöntemi
(Concealment Algorithm on Blocks, CAb) ve diğeri de JM 10.1
referans yazılımının bir parçası olan ve [7]’de anlatılan gizleme
yöntemidir. Algoritmalar eniyilenmiş değerleri bulmak amacıyla
mv_leftx (i , j) = mvL, t -1 , x (i + mvR, t -1 , x (i , j) , j + mvR, t -1 , y (i , j)) / ((t - 1) - ref L (i , j))
mv_left y (i , j) = mvL, t -1 , y (i + mvR, t -1 , x (i , j) , j + mvR, t -1 , y (i , j)) / ((t - 1) - ref L (i , j))
disp x (i - mv_leftx (i , j) - d R, t -1 , x (i , j) , j - mv_left y (i , j) - d R, t -1 , y (i , j)) = d R, t -1 , x (i , j)
disp y (i - mv_leftx (i , j) - d R, t -1 , x (i , j) , j - mv_lefty (i , j) - d R, t -1 , y (i , j)) = d R, t -1 , y (i , j)
(2)
Xmas 41
Train 11
Botanical
11
Baloons
191
Baloons
81
Previous
Frame
20,4998
24,0693
CAb
JM
20,8291
26,3874
21,0075
27,227
Stereo
Concealment
32,1943
27,7992
28,7949
28,7607
28,8205
37,6071
26,2306
29,721
29,7217
31,1727
22,164
25,1544
26,599
28,2975
Tablo 1: Hata gizleme yöntemlerinin sinyal gürültü oranları
(ThrV=50 ThrN=200)
Max SNR ThrN
ThrV
Xmas 41
32,1943
200
50
Train 11
27,8339
150
50
Botanical 11
37,6435
150
999
Baloons 191
31,3886
200
300
Baloons 81
29,1097
100
200
Tablo 2: Maksimum sinyal gürültü oranı veren ThrV ve ThrN
değerleri
değişik ThrV ve ThrN değerleri için denenmiştir. Kayıp çerçeve ile
aynı görüşten olan son çerçeveyi tekrarlayarak elde edilen sonuçlar
da karşılaştırma için ayrıca sunulmuştur. Sonuçlar, kodlanmış
videoya göre hesaplanan sinyal gürültü oranları ile Tablo 1’de
gösterilmiştir.
Önerilen çift görüşlü hata gizleme yöntemi ThrVnin 999, 300, 200,
100, 50 değerleriyle ve ThrNnin de 0, 100, 150, 200 değerleriyle
denenmiştir. Tablo 2de gizlenen her bir çerçeve için en iyi sonucu
veren ThrV ve ThrN değerleri verilmiştir. Tablo 1’de ThrV=50 ve
ThrN=200 değerleri için elde edilen sinyal gürültü oranları da ayrıca
gösterilmiştir. Tablo 1 ve Tablo 2’deki sonuçlarda, en iyileştirilmiş
ThrV ve ThrN değerleriyle elde edilen sinyal gürültü oranı sonuçları
ile sabit ThrV ve ThrN ile elde edilmiş sonuçlar arasında ihmal
edilebilecek kadar küçük bir fark olduğu görülebilir. Buna göre
ThrV ile ThrN için sırasıyla 200 ve 50 uygun değerler olarak
seçilebilir.
Xmas videosu için aykırılıkla ve zamansal vektörlerle hata gizleme
yapılmış pikseller Şekil 4’te görülebilir. Şekil 4’ten de
çıkarılabileceği üzere hareketli bölgelerin neredeyse tamamı
aykırılık vektörleriyle dengelenmiştir. Şekil 5’te sonuçta kayıp
1
2
Şekil 4: Xmas videosunun ortanca süzgeci uygulanmadan
önceki (1) ve sonraki (2) zamansal olarak kestirilmiş (kırmızı), aykırılıkla kestirilmiş (mavi), kestirilmemiş (siyah),
hem zamansal hem de aykırılıkla kestirilmiş (yeşil) ve ortanca süzgeciyle kestirilmiş (beyaz) pikselleri
6.
CAb ESTIMATE SNR= 20.8291
TEŞEKKÜRLER
Xmas videosu Tanimoto Labratuvarı tarafından sağlanmıştır.
MMRG
H.264
Çok
Kodlayıcısı
Görüşlü
Video
http://mmrg.eee.metu.edu.tr/multiview adresinden indirilebilir. JM
referans yazılımı ise http://iphome.hhi.de/suehring/tml/ adresinden
indirilebilir.
KAYNAKÇA
1
[1]
Y. Xu, Y. Zhou, "H.264 video communication based refined
error concealment schemes", IEEE Transactions on
Consumer Electronics, 50(2):1135 - 1141, Nov. 2004
[2]
D. Agrafiotis, D.R. Bull, C.N. Canagarajah, "Enhanced
Error Concealment With Mode Selection", IEEE
Transactions on Circuits and Systems for Video
Technology, 16(8): 960 - 973, Aug. 2006
[3]
S. Belfiore, M. Grangetto, E. Magli, G. Olmo, “An error
concealment algorithm for streaming video”, ICIP 2003.
[4]
P. Baccichet, A. Chimienti, "A Low Complexity
Concealment Algorithm for the Whole-Frame Loss in
H.264/AVC", MMSP 2004.
[5]
Q. Peng, T.W. Yang and C.Q. Zhu, “Block-based temporal
error concealment for video packet using motion vector
extrapolation,” Proc. IEEE Communications, Circuits and
Systems and West Sino Expositions, 2002.
[6]
Y. Chen, K. Yu, J. Li and S. Li, “An Error Concealment
Algorithm for Entire Frame Loss in Video Transmission”,
Picture Coding Symposium 2004, 15-17 December 2004,
San Francisco, USA.
[7]
ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, “Frame
Loss Error Concealment for H.264/AVC” JVT document
JVT-P072, July 2005
[8]
ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, “Joint
Multiview Video Model (JMVM) 2.0” JVT document JVTU207, October 2006
[9]
M. Kunter, S. Knorr, C. Clemens, T. Sikora, “A Gradient
Based Approach For Stereoscopic Error Concealment”,ICIP
2004, Volume 1, 24-27 Oct. 2004 Page(s):183 - 186 Vol. 1
[10]
S. Knorr, C. Clemens, M. Kunter, T. Sikora, “Robust
concealment for erroneous block bursts in stereoscopic
images”, 3DPVT 2004, 6-9 Sept. 2004 Page(s):820 - 827
[11]
C. Bilen, A. Aksay, G. Bozdagi Akar, "A Multi-View Video
Codec based on H.264", IEEE ICIP 2006, Atlanta, GA,
USA, Oct. 2006.
[12]
N. Ayache, and C. Hansen, “Rectification of images for
binocular and trinocular stereovision”, in Proceedings of the
9th International Conference on Pattern Recognition. 1988.
Rome, Italy.: p. 11-16.
[13]
C. L. Zitnick et al. “High-quality video view interpolation
using a layered representation”, ACM Transactions on
Graphics, 23(3):600-608, August 2004.
[14]
D. Scharstein, R. Szeliski, “A taxonomy and evaluation of
dense two-frame stereo correspondence algorithms”,
International Journal of Computer Vision, 47(1):7-42, May
2002.
CONCEALMENT IN JM 10.1 SNR=21.0075
2
STEREO ESTIMATED SNR= 32.1943
3
ORIGINAL
4
Şekil 5: Xmas videosunun (1) CAb ile kestirilmiş çerçevesi
(SNR=20.8291) (2) JM 10.1 ile kestirilmiş çerçevesi
(SNR=21.0075) (3) önerilen çift görüşlü yöntemle kestirilmiş
çerçevesi (SNR=32.1943) ve (4) orjinal çerçevesi
çerçeve için oluşturulan çerçeveler görülebilir.
5.
VARGILAR VE GELECEK ÇALIŞMALAR
Neredeyse tüm karşılaştırmalarda önerilen hata gizleme yöntemi
tek görüşlü videolarda kullanılan hata gizleme yöntemlerinden
daha iyi sonuçlar vermiştir. Kamera mesafesi ve ışıklandırma
koşulları göz önüne alındığında ideal sayılabilecek Xmas ve
Botanical videolarında, tek görüşte kullanılan yöntemlere göre
sinyal gürültü oranında 8 dBnin üzerinde performans artışı
gözlenmiştir. Bu iki videonun ortak özelliği hareketin çerçeve
içinde belli bir bölgede kalması ve dağınık olmamasıdır. Dağınık
harekete sahip objeler içeren Balloons videosunda bile, Xmas ve
Botanical videolarına göre düşük olsa da, tek görüşlü yöntemlere
göre sinyal gürültü oranında 2-3 db kadar artırım sağlanmıştır.
Kullanılan yöntemin standartlaşan çok görüşlü video kodlayıcının
referans yazımına (JMVM) göre basit bir kodlama şekli üzerine
uygulanmasına rağmen, yöntem JMVM üzerinde uygulanabilecek
bir şekilde geliştirilebilir. Bu konu üzerinde ileriki aşamalarda
çalışılacaktır.