Göktürk-2 Stereoskopik Görüntülerinin Otomatik Eşlenmesi

Göktürk-2 Stereoskopik Görüntülerinin
Otomatik Eşlenmesi
Automated Matching of Göktürk-2
Stereoscopic Images
Ali Özgün Ok
Jeodezi ve Fotogrametri Mühendisliği Bölümü
Nevşehir H.B.V. Üniversitesi
Nevşehir, Türkiye
[email protected]
Özetçe— Bu çalışmada 2.5 m çözünürlüklü pankromatik
Göktürk-2 stereo görüntülerinin otomatik görüntü eşleme
konusu ele alınmıştır. Göktürk-2 stereo verileri özelinde
farklı nedenlerden dolayı piksel-altı düzeyde epipolar
görüntüsünü operasyonel olarak üretmek mümkün
gözükmemektedir. Bu nedenle Göktürk-2 verilerinden
herhangi bir kullanıcı girdisi olmadan eşlemeyi doğrudan
ham geometrideki stereo veriler üzerinden yapabilecek
SIFT-akış yöntemi adapte edilmiştir. Eşleme sonuçları 3
farklı stereo test görüntüsü (Bergama, Diyarbakır ve İzmir)
için sunulmuştur. Elde edilen paralaks sonuçları Göktürk-2
stereo verilerinden tatmin edici otomatik eşleme sonuçları
elde edilebileceğini kanıtlamaktadır.
Anahtar Kelimeler — Göktürk-2; stereo görüntü; SIFTakış; görüntü eşleme; paralaks çıkarma.
Abstract—In this study, the automated matching of 2.5 m
resolution Göktürk-2 panchromatic stereo images has been
addressed. From an operational perspective, it seems
unlikely to produce the epipolar images from Göktürk-2
stereo datasets at a sub-pixel level due to several reasons.
Therefore, SIFT-flow method that does not require any user
input and that has ability to perform matching through the
stereo data in the raw geometry is adapted for the matching
of Göktürk-2 images. The matching results for 3 different
stereo test images (Bergama, Diyarbakir, and Izmir) are
provided. The parallax results computed prove that quite
satisfactory automated matching performances from
Göktürk-2 stereo data can be achieved.
Keywords — Göktürk-2; stereo image; SIFT-flow; image
matching; extraction of parallax.
I.
GİRİŞ
Alçak uydu yörüngesinde yer alan çok sayıda gözlem
uydusu Dünya üzerinde arzu edilen bölgelere ait görüntüler
çekebilmektedir. Bu bağlamda Milli Savunma Bakanlığı,
978-1-5090-1679-2/16/$31.00 ©2016 IEEE
TÜBİTAK Başkanlığı ve TÜBİTAK UZAY – TUSAŞ İş
Ortaklığıyla geliştirilen ve 18 Aralık 2012 tarihinde
yörüngeye oturtulan Göktürk-2 yer gözlem uydusu,
Türkiye’nin savunma, çevre, şehircilik, tarım ve
ormancılık alanlarında ihtiyaçlarına cevap vermektedir [1].
Bir coğrafi bölgenin 3-boyutlu (3-B) yapısını görüntü
eşleme yöntemleri kullanarak elde edebilmek için en az iki
farklı konumdan farklı bakış açıları ile çekilmiş
görüntülere ihtiyaç vardır. Bölgeye ait 3-B koordinatları
elde edebilmek için bir görüntü üzerindeki her bir pikselin
paralaks değerlerinin (veya eşlenik piksellerin) bulunması
gereklidir. Görüntülerdeki eşlenik piksellerin bulunmasının
ardından bir sensör modeli (örn. yörünge-yönelim,
pozisyon-dönüklük) ve 3B stereo kesişim yöntemi
yardımıyla mutlak yükseklik değerleri elde edilmektedir.
Göktürk-2 stereo görüntülerden görüntü eşleme üzerine
yapılan çalışmalar oldukça sınırlıdır. Yapılan ilk çalışmada
ticari bir yazılım kullanılmış ve İzmir iline ait stereo
görüntü üzerine yapılan testler sonucunda eşlemenin genel
olarak kaba hatalar içerdiği gözlenmiştir [2]. İkinci
çalışmada ise Diyarbakır iline ait bir görüntü kullanılmış
ve kısa mesafelerde epipolar doğrusu üzerinde korelasyon
tabanlı bir eşleme gerçekleştirilmiştir [3].
Bu çalışmada stereo görüntü eşleme kavramı üzerinde
yoğunlaşılmıştır. İlk olarak stereo görüntülerin otomatik
eşlenmesi konusu ele alınmış ve bu konuda literatürde var
olan yöntemler kısaca açıklanmıştır (Bölüm II).
Devamında Göktürk-2 stereo verilerinin otomatik
eşlenmesi için adapte edilen SIFT-akış yöntemi tanıtılmış
(Bölüm III) ve 3 farklı Göktürk-2 stereo test görüntüsü için
görüntü eşleme sonuçları sunulmuştur (Bölüm IV).
II.
GÖRÜNTÜ EŞLEME YÖNTEMLERİ
Paralaks bir referans noktası veya bir referans sistemine
göre ilgili gözlem noktasındaki bir değişikliğin neden
olduğu
nesnenin
pozisyonunun
zahiri
olarak
tanımlanmaktadır. Benzer bir şekilde, stereoskopik
paralaks (aynı zamanda görüntü paralaksı olarak da
adlandırılır) uydu hareketi ve/veya her bir stereo görüntü
merkez noktasına göre görüş açısı farklılıkları ile ortaya
çıkan belirli bir nesnenin konumunun zahiri olarak
tanımlanabilir. Stereoskopik paralaks toplamda iki türlü
ortaya çıkar; (i) uçuş ekseninde oluşan x paralaksı ve (ii)
uçuş eksenine dik olan y paralaksı. Uydu platformunun
hareketinin doğal bir sonucu x paralaks olarak tanımlanır
ve gözlemlenen nesnelerin yükseklik bilgilerinin
oluşturulması için kilit bilgiyi oluşturur. Öte yandan, y
paralaksı genellikle stereo görüntülerin çekim esnasında
oluşan yönelim farklılıklarının bir sonucudur.
Görüntü eşleşme stereo (veya çoklu) görüntüler
arasında yukarıda bahsedilen paralaksları elde etme
noktasında kullanılan yöntemdir. Günümüz teknolojisi ile
görüntü
eşleme
konusunda
gelinen
noktayı
“vision.middlebury.edu/stereo” web adresinde bulmak
mümkündür [4]. Fakat kısıtlı veri seti için geliştirilmiş
yöntemler ve optimize edilmiş olan parametreler, gerçek
görüntüler ile çalışırken problem yaşayabilmektedir.
Sayısal stereo görüntülerdeki paralaksları elde
edebilmek için geliştirilmiş otomatik yöntemler üç ana
başlıkta incelenmektedir:
• Lokal (pencere-tabanlı) yöntem
• Yarı-Global yöntem
• Global yöntem
A. Lokal (pencere-tabanlı) Yöntem
Lokal yöntemler çoğunlukla stereo görüntülerin
sayısal
değerlerine
dayalı
görüntü
eşleşme
gerçekleştirmektedir. Stereo görüntüler arasındaki eşlenik
noktalar parametreleri kullanıcı tarafından tanımlanan
referans ve arama pencereleri kullanılarak tespit
edilmektedir.
Benzerlik
seviyesinin
derecesi,
normalleştirilmiş çapraz-korelasyon katsayısı, ortalama
normalize mutlak farkın toplamı, stokastik işaret
değişikliği veya dış asgari sayı tahmincisi gibi çeşitli
istatistiksel teknikler kullanılarak belirlenebilmektedir [5].
Lokal yöntemlerin doğruluğunu etkileyen önemli bir
faktör alt-dizilim boyutudur. Alt-dizilim boyutunun küçük
tanımlandığı durumlarda olası eşlenik noktalar
bulunamayabilir. Diğer taraftan alt-dizilim boyutu büyük
seçilirse birden fazla eşleşen nokta bulunabilmektedir. Bu
sorunun kısmi çözümü için kullanılan yöntem eşleme
öncesinde ham stereo görüntülerden "epipolar görüntüleri"
üretmektir. Göktürk-2 gibi doğrusal-tarayıcı (pushbroom)
algılayıcılardan gelen görüntüleri epipolar rektifiye etmek,
alan-tarayıcı algılayıcılara göre çok daha karmaşık bir
işlemdir. Doğrusal-tarayıcı algılayıcılarda epipolar doğru
hiperboliktir ve görüntüde eşlenik bir epipolar hiperbol
yoktur. Literatürde uydu görüntülerinin epipolar olarak
düzeltilebilmesi için farklı yaklaşımlar geliştirilmiştir
(örn. [6], [7]).
B. Yarı-Global Yöntem
Prensip olarak bu yöntem, güvenilir bir görüntü
eşleşme elde etmek için art arda bir boyutlu operasyonların
bir dizi ile oluşturularak 2B global enerji minimizasyonuna
yaklaşması üzerine kurulmuştur. Yöntem, ön şart olarak
epipolar görüntülerin oluşturulmasını gerektirmekte ve üç
ana aşamada şekillenmektedir [8]: (i) maliyet hesaplama,
(ii) maliyet toplama ve (iii) paralaks hesaplama.
Stereo eşleme için maliyet fonksiyonu iki resim
arasındaki potansiyel eşleşen pikseller arasındaki benzerlik
(veya benzemezlik) seviyesini sağlamayı hedeflemektedir.
Stereo eşleştirme için geliştirilen 15 farklı maliyet
fonksiyonunu değerlendirmiş [9] ve değerlendirmeler
sonucunda parametrik olmayan Census dönüşümü en iyi ve
en sağlam maliyet fonksiyonu olarak ortaya çıkmıştır.
Yarı-global yöntem eşleme safhasında Eş. 1’deki gibi
düzleştirme etkisini dikkate alan bir enerji minimizasyonu
problemini çözmeyi hedeflemiştir [8]:
( )=∑
∑
,
+∑
−
∈
−
∈
=1 +
(1)
>1
Burada C(p, Dp), D paralaks değerindeki tüm p pikselleri
için piksel tabanlı eşleme maliyetini tanımlamaktadır.
Köşeli parantezler içlerindeki argümanların doğru olup
olmadığını değerlendirmekte ve doğru ise 1 değilse 0
dönmektedir. Böylece eşitlikteki ikinci terim, p ile Np
komşuluğundaki tüm q piksellerle paralaks farkının 1’e
eşit olduğu durumda sabit bir P1 ceza değerini
eklemektedir. Son terim ise paralaks farkının iki veya daha
fazla olduğu durumda farklı bir sabit P2 ceza değerini
hesaba katmaktadır.
Yarı-global yöntem Eş. 1’deki iki boyutlu
minimizasyonu gerçekleştirmek için dinamik programlama
ile ilgili her pikseli belirli bir yönde (r) bir boyutlu olarak
taramakta ve yön boyunca eşleme maliyetlerini ( )
toplamaktadır. Nihai toplam maliyet değeri S(p, d) ise
taranan tüm yönlerdeki (örn. r = 8 veya 16) toplam maliyet
değerlerinin birbirine eklenmesi ile hesaplanmaktadır:
( , )=∑
( , ). Sol görüntüdeki her p pikseli için
paralaks değerleri nihai toplam maliyet değeri S(p, d)’deki
minimum değerin aranması neticesinde elde edilir.
C. Global Yöntem
Global yöntemler belirli bir enerji fonksiyonunu stereo
görüntülerin tamamında minimize etme prensibine göre
geliştirilmiştir. Bu konudaki temel yöntemlerden biri Eş.
2’deki gibi bir enerji denklemi kullanmaktadır [10]:
=
+
+
+
(2)
Yukarıdaki eşitlikten de görüleceği üzere enerji
denklemi dört farklı terim içermektedir: (i) veri terimi
(
) eşlemenin piksel sayısal değerleri ile ne düzeyde
tutarlı olup olmadığını kontrol etmekte, (ii) kapatma terimi
) stereo görüntülerin birinde görünüp diğerinde
(
görünmeyen piksellerin sayısını tüm görüntüde minimize
) eşleme
etmekte, (iii) pürüzsüzlük terimi (
sırasında komşu pikseller arasındaki aşırı paralaks
değişimlerini cezalandırmakta ve (iv) tek olma terimi
(
) ise eşleme sırasında bir pikselin birden fazla
piksel ile eşlenmesinin önüne geçmektedir. Bu terimler ile
ilgili tanımlanan fonksiyonlar ilgili makalede detaylarıyla
sunulmuştur [10]. Yine bu yöntemin performansı da
epipolar görüntüler üzerinde artmakta ve bu nedenle
hemen hemen bütün çalışmalar global yöntem ile
eşlemeden önce epipolar görüntüleri üretmektedir.
III.
GÖKTÜRK-2 VERİLERİNİN OTOMATİK EŞLENMESİ
Bölüm II’de sunulan yöntemler ele alındığında bu
yöntemlerden yüksek performans elde edebilmek için ham
stereo görüntülerin öncelikle epipolar görüntü düzlemine
dönüştürülmesi gerektiği anlaşılmaktadır. Fakat bu hassas
dönüşüm için gereken yörünge ve yönelim bilgilerinin
Göktürk-2 için yeterli düzeyde olmaması ve bu dönüşümün
başarılı bir şekilde gerçekleştirilebilmesi için stereo olarak
tanımlanmış çok sayıda (>10) ve hassas (yatayda ve
düşeyde < 1 piksel) Yer Kontrol Noktası (YKN) ihtiyacı
nedeniyle operasyonel anlamda Göktürk-2 stereo
görüntülerinden epipolar görüntü üretmek mümkün
gözükmemektedir. Bu nedenle Göktürk-2 verilerinden
herhangi bir kullanıcı girdisi gerektirmeyen ve eşlemeyi
doğrudan ham stereo veriler üzerinden yapabilecek bir
yönteme ihtiyaç vardır. Bu nedenle çok farklı görüntüler
üzerinde bile çalışabilen ve temelinde görüntü hizalama
problemi için geliştirilmiş olan SIFT-akış yöntemi [11]
Göktürk-2 stereo eşleme problemine adapte edilmiştir.
SIFT-akış, iki görüntü arasında yoğun olarak piksel
bazında eşlemeye izin veren optik akış yöntemlerinden
esinlenilerek geliştirilen ve temelinde ham piksel değerleri
yerine SIFT betimleyicisi üzerinde eşlemeyi gerçekleştiren
bir yöntemdir. Bir SIFT betimleyicisi yerel görüntü
yapılarını ortaya çıkarmak ve bağlamsal bilgileri kodlamak
için her piksel için tanımlanır. Devamında süreksizlik
koruyan bir akış tahmini algoritması iki görüntü arasında
SIFT tanımlayıcıları eşleştirmek için kullanılır.
SIFT yerel gradyan bilgilerini karakterize eden bir
betimleyicidir [12]. Bir görüntüdeki her pikselin
komşuluğu (örn. 16 x 16) 4 x 4 hücreli diziye bölünür, ve
her hücredeki gradyan yönelimi 8 bin’e bölünür ve her
piksel için 4x4x8 = 128 boyutlu bir vektör elde edilir. Bu
vektör stereo görüntülerdeki tüm pikseller için oluşturulur
ve stereo görüntülerden SIFT görüntüleri elde edilir.
SIFT-akış için optik-akış ile aynı yöntem kullanılmış
fakat eşleme için stereo görüntülerdeki sayısal değerlerin
yerine SIFT betimleyicileri kullanılmaktadır. Bu nedenle,
SIFT-akışın amaç fonksiyonu optik akış fonksiyonuna çok
benzemektedir. p=(x,y) görüntü piksel koordinatını,
w(p)=(u(p),v(p)) ise p pikselindeki akış vektörünü, s1 ve s2
ise eşlemek istenilen iki SIFT görüntüsünü ve ε bir pikselin
4-komşuluğunu tanımlar ise SIFT-akışın enerji denklemi
Eş. 3’teki gibi yazılabilir [11]:
( ) = ∑ min
∑
∑(
, )∈
( )−
+
( )
,
+
(| ( )| + | ( )|) +
(3)
min( | ( ) − ( )|, ) + min( | ( ) − ( )|, )
Eş. 3, veri terimi, küçük yer değiştirme terimi ve
pürüzsüzlük terimi olmak üzere 3 farklı formülasyonun
birleşiminden meydana gelmektedir. Veri terimi akış
vektörü boyunca eşleştirilecek SIFT betimleyicileri
kısıtlamakta, küçük yer değiştirme terimi başka bir bilgi
olmadığında mümkün olduğunca küçük akış vektörleri
oluşmasını sağlamakta ve pürüzsüzlük terimi komşu
piksellerin akış vektörlerinin benzer olmasını garanti
etmektedir. t ve d ise sırasıyla veri terimi ve pürüzsüzlük
terimleri için eşik değerlerini tanımlamaktadır.
Yöntemin çözümünde Eş. 3’teki enerji denklemini
optimize etmek için bir çift katmanlı döngülü inanç
yayılımı algoritması [11] kullanılmaktadır. Bunun yanı sıra
yöntemin performansını hem hız hem de eşleme doğruluğu
bakımından arttırmak için düşük çözünürlükten yüksek
çözünürlüğe doğru giden ve SIFT görüntülerinden
oluşturulan görüntü piramitleri kullanılmış ve kabadan
detaya doğru eşleme yapabilen bir strateji de
uygulanmıştır.
IV.
TEST ALANLARI VE SONUÇLAR
Bu çalışmada kullanılan stereo görüntüler 2.5 m yer
örnekleme aralığına sahip Göktürk-2 pankromatik
kamerası ile çekilen 3 farklı alanı (Bergama 16,320x8,160 piksel, Diyarbakır - 16,384x8,192 piksel) ve
İzmir - 8,192x8,192 piksel) kapsamaktadır (Şekil 1 - ilk
sütun). Görüntüler 1B düzeyinde olup radyometrik
düzetmesi [13], [14] yapılmış fakat herhangi bir geometrik
düzeltme uygulanmamıştır.
SIFT-akış yönteminin uygulanması sırasında her iki
stereo görüntüye ayrı ayrı 2-ölçekli SIFT uygulanmış (1 ve
4 piksel) ve çıkarılan öznitelik bilgileri eşleme öncesinde
her görüntü için bitiştirilmiştir. Aynı zamanda görüntülerin
boyutlarının büyük olması nedeniyle hafıza ve hız
problemlerinin önüne geçebilmek amacıyla görüntü adım
aralığı 2 piksel olarak seçilmiş ve tüm eşleme bindirmeli
bloklar tanımlanarak paralel işleme stratejisi ile mümkün
olan en hızlı şekilde gerçekleştirilmiştir. SIFT görüntü
piramitleri ise her görüntü için mümkün olan en üst
düzeyden tanımlanarak eşleme başlatılmıştır. Eş. 3’te yer
alan parametreler için ise ( , d, ) en uygun değerler
araştırılarak Göktürk-2 pankromatik görüntüleri için en iyi
sonucu veren değerler kullanılmıştır.
Bunlardan başka olarak paralaks görüntüleri son işleme
adımında otomatik olarak kaba hatalardan arındırılmıştır.
Bu işlem için ilk görüntü için hesaplanan paralaks, ayrıca
ikinci görüntü içinde bağımsız olarak hesaplanmaktadır.
Bu da elde edilen paralaks değerlerinin doğruluğunun test
edilebildiği sol-sağ paralaks tutarlılık testinin yapılmasına
imkân vermektedir. Bu sayede görüntülerdeki kaba hatalar
da otomatik olarak büyük oranda temizlenmiştir (Şekil 1).
V.
SONUÇ
Bu çalışmada stereo görüntülerden otomatik görüntü
eşleme konusu ele alınmış ve bu konuda literatürde
geliştirilmiş olan lokal, yarı-global ve global yöntemlerin
temelleri kısaca özetlenmiştir. Göktürk-2 stereo verileri
özelinde çeşitli nedenlerden dolayı (yörünge ve yönelim
bilgilerinin yeterli düzeyde olmaması, hassas YKN
gereksinimi vb.) piksel-altı düzeyde epipolar görüntüsünü
operasyonel olarak üretmek mümkün gözükmemektedir.
Bu nedenle Göktürk-2 verilerinden herhangi bir kullanıcı
girdisi gerektirmeyen ve eşlemeyi ham geometrideki stereo
veriler üzerinden yapabilecek bir yöntem adapte edilmiş ve
eşleme sonuçları 3 farklı stereo test görüntüsü (Bergama,
Diyarbakır ve İzmir) için sunulmuştur. Elde edilen paralaks
sonuçları herhangi bir kullanıcı girdisine ihtiyaç duymadan
Göktürk-2 verilerinden tatmin edici görüntü eşleme
sonuçları elde edilebileceğini kanıtlamaktadır.
BİLGİLENDİRME
Yazar, bu çalışmada kullanılan Göktürk-2 uydu test
görüntülerini sağlayan Hava Kuvvetleri Komutanlığı’na,
TÜBİTAK Uzay Teknolojileri Araştırma Enstitüsü’ne ve
ayrıca görüntülerin hazırlanmasında emeği geçen Mustafa
Teke, Feray Öztoprak ve H. Seda Deveci’ye teşekkürlerini
sunar.
Bu çalışma MİYEG (Milli Yer İstasyonu
Geliştirme) Projesi kapsamında T.C. Kalkınma
Bakanlığı'nın desteği ile gerçekleştirilmiştir.
KAYNAKÇA
[1]
Küpçü, R., Teke, M, Çabuk, A., “RASAT ve Göktürk-2 görüntülerinin
ortorektifikasyon başarımına referans ve sayısal yükseklik modeli
seçiminin etkisi”, in 5. Uzaktan Algılama-CBS Sempozyumu (UZALCBS 2014), 2014.
[2] Atak, V.O, Erdoğan, M., Yılmaz, A., “Göktürk-2 uydu görüntü testleri”,
Harita Dergisi, 153(1):18-33, 2015.
[3] Kozal, A.Ö., Leloğlu, U.M., “Göktürk-2 görüntülerinden üçboyutlu
geriçatım”, in TUFUAB VIII. Teknik Sempozyumu, pp. 376-379, 2015.
[4] Scharstein, D., Szeliski, R., “A taxonomy and evaluation of dense twoframe stereo correspondence algorithms”, International Journal of
Computer Vision, 47(1/2/3):7-42, 2002.
[5] Toutin, T., “Three dimensional topographic mapping with aster stereo
data in rugged topography”, IEEE Transactions on Geoscience and
Remote Sensing, 40(10):2241-2247, 2002.
[6] Ono, T., Honmachi, Y., and Ku, S., “Epipolar resampling of high
resolution satellite imagery”, in Joint Workshop of ISPRS WG I/1, I/3
and IV/4 Sensors and Mapping from Space, 1999.
[7] Morgan, M., “Epipolar resampling of linear array scanner scenes”,
Ph.D. dissertation, University of Calgary, Alberta, Canada, 2004.
[8] Hirschmüller, H., “Stereo processing by semi-global matching and
mutual ınformation”, IEEE Transactions on Pattern Analysis and
Machine Intelligence, 30(2):328-341, 2008.
[9] Hirschmüller, H., Scharstein, D., “Evaluation of stereo matching costs
on ımages with radiometric differences”, IEEE Transactions on Pattern
Analysis and Machine Intelligence, 31(9):1582-1599, 2009.
[10] Kolmogorov, V., Zabih, R., “Computing visual correspondence with
occlusions using graph cuts, in International Conference on Computer
Vision, pp. 508-515, 2001.
[11] Liu, C., Yuen, J., Torralba, A., “SIFT Flow: dense correspondence
across scenes and ıts applications”, IEEE Transactions on Pattern
Analysis & Machine Intelligence, 33(5):978-994, 2011.
[12] Lowe, D.G., “Distinctive image features from scale-invariant
keypoints”. International journal of computer vision, 60(2):91-110,
2004.
Şekil 1: Göktürk-2 test görüntüleri (ilk stereo görüntü,
sırasıyla Bergama (ilk üç satır), Diyarbakır ve İzmir). İlk
görüntü için SIFT-akış yöntemi ile elde edilen x paralaks
(ikinci sütun) ve y paralaks (üçüncü sütun) görüntüleri.
Siyah kısımlar stereo veride ortak olmayan (kenar
pikseller) veya paralaks tutarlılık testi sonucunda hatası > 2
piksel olan alanları belirtmektedir.
[13] Teke, M., Demirkesen, C., Haliloğlu, O., İmre, E., “Göktürk-2
uydusunun bağıl ve mutlak çapraz radyometrik kalibrasyonu”, Harita
Dergisi, 155(1):1-22, 2016.
[14] Teke, M., “Satellite image processing workflow for RASAT and
Göktürk-2”, Journal Of Aeronautics and Space Technologies, 9(1):113, 2016.