Görüntü Birleştirme Yöntemlerinin Karşılaştırmalı Analizi

GÖRÜNTÜ BİRLEŞTİRME YÖNTEMLERİNİN KARŞILAŞTIRMALI ANALİZİ
A COMPARATIVE ANALYSIS OF IMAGE FUSION METHODS
İrfan Kösesoy, Abdulkadir Tepecik, Müfit
Çetin
Altan Mesut
Bilgisayar Mühendisliği Bölümü
Trakya Üniversitesi
Bilgisayar Mühendisliği Bölümü
Yalova Üniversitesi
[email protected]
{ikosesoy, atepecik, mcetin }@yalova.edu.tr
ÖZETÇE
Literatürde yüksek spektral çözünürlüklü multispektral
görüntü ve mekânsal çözünürlüğü yüksek pankromatik
görüntünün birleştirilmesi ile yüksek çözünürlüklü çok bantlı
görüntü elde etmek için kullanılan birçok yöntem mevcuttur.
Bu yöntemlerde karşılaşılan en yaygın problem birleştirme
sonrasında meydana gelen renk bozulmalarıdır. Bununla
birlikte, renklerin korunması nesne tanıma, obje çıkarımı ve
görüntü analizi gibi işlemlerin yapıldığı birçok uygulamada
elde edilen sonuçların doğruluğu açısından önemlidir. Bu
çalışmada literatürde en çok kullanılan GIHS, GIHSF, PCA ve
Wavelet görüntü birleştirme yöntemlerinin spektral bilgiyi ne
kadar iyi koruyabildikleri SSIM, ERGAS ve SAM istatistiksel
yöntemleri kullanılarak analiz edilmiştir. Elde edilen
sonuçlara göre, spektral bilgiyi en iyi koruyan yöntemin
Wavelet olduğu görülmüştür. GIHS, GIHSF ve PCA
yöntemlerinde ise görüntü kalitesinin birbirine yakın olduğu
görülmüştür. Diğer yandan, Wavelet yönteminden elde edilen
mekansal zenginleştirmenin diğer yöntemlere göre daha
başarısız olduğu görülmüştür.
ABSTRACT
In literature, several methods are available to combine both
low spatial multispectral and low spectral panchromatic
resolution images to obtain a high resolution multispectral
image. One of the most common problems encountered in
these methods is spectral distortions introduced during the
merging process. At the same time, the spectral quality of the
image is the most important factor affecting the accuracy of
the results in many applications such as object recognition,
object extraction, image analysis. In this study, the most
commonly used methods including GIHS, GIHSF, PCA and
Wavelet are analyzed using image quality metrics such as
SSIM, ERGAS and SAM. At the same time, Wavelet is the
best method for obtaining the fused image having the least
spectral distortions according to obtained results. At the same
time, image quality of GIHS, GIHSF and PCA methods are
close to each other, but spatial qualities of the fused image
using the wavelet method are less than others.
1.
GİRİŞ
Sivil amaçlı yer gözlem uydularından elde edilen yüksek
çözünürlüklü uydu görüntülerinin elde edilmesi ile yeryüzü
hakkında detaylı bilgiler elde edilmektedir. Bu gözlem
uydularından detaylı bilgilerin elde edilmesi ile birlikte
verilerin günlük hayatta kullanımı da yaygınlaşmaktadır. Uydu
978-1-4673-0056-8/12/$26.00 ©2012 IEEE
görüntüleri telekomünikasyon, lojistik, ulaştırma gibi lokal ve
bölgesel çalışmaların yanında Google Earth gibi ücretsiz
teknolojik hizmetlerle hem iş hem de günlük yaşamda
kullanılmaktadır. Yeni nesil algılayıcıların (QuickBird,
IKONOS, WorldView vb.) geliştirilmesi ile spektral ve
mekansal olarak daha üstün görüntülerin elde edilmesi
başarılmıştır. Bu algılayıcılardan elde edilen mekânsal ve
spektral çözünürlüğü yüksek görüntülerin farklı özellikleri
görüntü birleştirme algoritmaları ile bir araya getirilerek
kullanılan uygulamalarda daha başarılı sonuçlar elde
edilmektedir[3].
Görüntü birleştirme, yüksek çözünürlüklü multispektral (MS)
görüntü elde etmek amacıyla, yüksek çözünürlüklü
pankromatik (PAN) görüntünün geometrik bilgisi ile düşük
çözünürlüklü MS görüntünün renk bilgisinin birleştirilmesidir
[8]. Literatürde görüntü zenginleştirme işlemini yapan birçok
yöntem mevcuttur. Bunlardan en çok kullanılanları IntensityHue-Saturation (IHS), Principal Component Analysis (PCA)
ve Dalgacık dönüşümü (WT) yöntemleridir[5]. Bu yöntemler
aynı zamanda günümüzde yaygın olarak kullanılmakta olan
PCI Geomatics, RSI ENVI ve ERDAS gibi ticari yazılımlarda
da yerini almıştır. Görüntü birleştirme yöntemi literatür
çalışmalarının
büyük
çoğunluğunda
görsel
amaçlı
yorumlamada kullanılsa da nesne çıkarımı, obje sınıflandırma
gibi birçok görüntü analiz işlemlerinde de etkili olarak
kullanılmaktadır [4]. Bu sebeple birleştirilen görüntüde
mekânsal zenginleştirme yanında spektral bilginin de
korunması istenir. Klasik yöntemler büyük boyutlardaki
verileri hızlı bir şekilde birleştirip mekânsal zenginleştirmede
başarılı olmalarına rağmen birleştirilen görüntüde spektral
bozulmalar meydana gelmiştir. Son yıllarda literatürde,
birleştirilmiş görüntüdeki spektral bozulmaları azaltmak amacı
ile Wavelet dönüşümüne dayalı çoklu çözünürlüklü ayrıştırma
yönteminin uygulandığı çalışmalar yapılmıştır[2]. Ayrıca üç
bantlı görüntülerde kullanılan klasik IHS yönteminde bant
sınırlandırmasını kaldıran ve spektral bozulmaları azaltmak
için GIHS, GIHSF gibi farklı yöntemler önerilmiştir[10].
Bu çalışmada literatürde en çok kullanılan GIHS, GIHSF, WT
ve PCA yöntemleri ile elde edilen görüntüler SSIM, ERGAS
ve
SAM
istatistiksel yöntemleri
spektral açıdan
karşılaştırılacaktır.
2.
Görüntü Birleştirme Yöntemleri
Bu bölümde çalışmada kalite analizleri yapılacak yöntemlerin
multispektral ve pankromatik görüntüleri nasıl birleştirdikleri
kısaca anlatılmıştır.
2.1. Genelleştirilmiş IHS (GIHS)
Klasik IHS dönüşümü RGB formatındaki görüntüyü yoğunluk
(Intensity) ve renk (Hue, Saturation) değerlerine ayırır
(Denklem 1). Spektral çözünürlüğün yüksek olduğu
görüntüden elde edilen yoğunluk bileşeni ile mekânsal
çözünürlüğün yüksek olduğu Pan görüntü yer değiştirir. Daha
sonra elde edilen yeni bileşenlere ters IHS uygulanarak
birleştirilmiş görüntüye ait RGB değerleri elde edilir
(Denklem 3).
1 − 1⁄√2
1⁄√2
+(
− )
R′
=
G′
1 − 1⁄√2 − 1⁄√2
B′
1
0
√2
1 − 1⁄√2
1⁄√2
+
= 1 − 1⁄√2 − 1⁄√2
1
0
√2
+
=
(1)
+
+
(2)
1 − 1⁄√2
1⁄√2
R′
G′ = 1 − 1⁄√2 − 1⁄√2
B′
1
0
√2
(3)
Denklem
(1)
sadece
üç
bantlı
görüntülerin
zenginleştirilmesinde kullanılan bir lineer dönüşümdür.
Multispektral uydu görüntüleri dört veya daha fazla bant içerir.
Bu tür uydu görüntülerinde zenginleştirme yapılması için TeMing Tu ve arkadaşlarının 2001 yılında yayınladıkları
makalede genelleştirilmiş IHS (GIHS) yöntemi önerilmiştir[7].
Bu yönteme göre:
=
+
(4)
Denklem 4’te , multispektral görüntüye ait i. bandı ve δ,
denklem 1’de ifade edildiği gibi I bileşeni ile tek bantlı
görüntü arasındaki farkı temsil eder. δ hesaplanırken
kullanılan çok bantlı görüntüye ait I bileşeni şöyle hesaplanır:
=
∑
= ( + 0.75 ∗
GIHSF, Te-Ming Tu ve arkadaşlarının 2004 Ekim ayında
yayınladıkları makalede IKONOS görüntülerindeki renk
bozulmalarını azaltmak için önerilmiş bir yöntemdir[6]. Bu
yöntem kendinden önceki IHS yöntemlerinden farklı olarak I
bileşeni hesaplanırken eşit katsayı kullanmak yerine yeşil ve
mavi bantlara farklı katsayılar kullanılmıştır. Dört bantlı
görüntülerde GIHS yöntemine göre I bileşeni denklem (5) ile
bantların aritmetik ortalaması alınarak bulunuyordu. GIHSF
yeşil ve mavi bantları sırası ile 0.75 ve 0.25 katsayılarla
çarparak yeşil ve mavi bantları tek bant gibi kabul eder. I
bileşeni hesaplanırken R, G, B ve NIR bantlarının toplamı dört
yerine üçe bölünür.
)/3
(6)
PCA, veri sıkıştırma, görüntü iyileştirme, görüntüde farklılık
tespiti ve görüntü birleştirme alanlarında kullanılan faydalı bir
yöntemdir. PCA çok değişkenli ve aralarında yüksek
korelasyon bulunan veri dizisini, aralarında korelasyon
olmayan yeni veri kombinasyonuna dönüştürür[6]. PCA
dönüşümü sonrası oluşan bileşenler dik eksenlere sahip
olduğundan aralarında korelasyon yoktur. Bulunan
bileşenlerden ilki en fazla varyansı içerir daha sonraki
bileşenlerin varyansları azalmaktadır.
2.4. Dalgacık Dönüşümü
Dalgacık dönüşümü sinyal işleme alanında geliştirilmiş
matematiksel bir araçtır. Bu dönüşüm dalgacık katsayıları ile
sayısal bir görüntüyü farklı seviyelerdeki (çözünürlükteki) bir
dizi görüntüye ayrıştırır. Her seviyedeki dalgacık katsayıları
sıralı iki çözünürlük seviyesi arasındaki mekânsal farklılığı
verir. Dalgacık dönüşümü yöntemi ile görüntü birleştirme
işlemi aşağıdaki işlem adımlarından oluşur.

Yüksek çözünürlüklü pankromatik görüntü dalgacık
katsayıları
kullanılarak
düşük
çözünürlüklü
görüntülere ayrıştırılır.

Düşük çözünürlüklü pankromatik görüntü aynı
seviyedeki multispektral görüntü ile yer değiştirilir.

Ayrıştırılmış ve yer değiştirilmiş pankromatik
görüntü dizisine ters dalgacık dönüşümü
uygulanarak orijinal pankromatik görüntünün
çözünürlük seviyesine gelinir.
Yukarıdaki işlem adımları multispektral bantların her biri için
dönüşüm ve yer değişim işlemi üç kez yapılır.
3.
KALİTE ANALİZ YÖNTEMLERİ
3.1. SSIM (Structural Similarity Index Method )
İki görüntü arasındaki benzerliği ölçmek için kullanılan tam
referans bir kalite ölçüsüdür[5]. SSIM Denklem 7’deki gibi
hesaplanır. Sonuçlar -1 ile +1 arasında değer alır. Sonucun
+1’e yaklaşması benzerliğin arttığı anlamına gelir.
SSIM(x, y) =
2.2. Genelleştirilmiş Sabit IHS (GIHSF)
+
2.3. Principal Components Analysis(PCA)
(5)
Denklem 5’te n görüntüdeki bant sayısını ifade eder.
Görüntüye ait I bileşeni hesaplanırken çok bantlı görüntünün
her bir bandı için ağırlık katsayısı eşit kabul edilir.
+ 0.25 ∗
μ μ
μ
μ
(
(
)
)
(7)
3.2. ERGAS (Erreur Relative Globale Adimensionnelle de
Synthêse)
2000 yılında Lucien Wald tarafından düşük çözünürlüklü
multispektral görüntülerin zenginleştirilmesinde kullanılması
önerilmiş bir kalite ölçüsüdür[9]. Ortalama Karesel Hata
Karekökü(RMSE) temel alınarak geliştirilmiş bir yöntemdir.
Çok bantlı görüntülerin birleştirilmesinde yöntemlerin spektral
kalite metriğini ölçmede kullanılır. Analizleri yapılacak
görüntülerde bant sayısının bir önemi yoktur. Bu sebeple
Klasik IHS gibi sadece üç bantlı görüntüleri birleştiren yöntem
ile bant sınırlaması olmayan GIHS yönteminin birleştirdiği
görüntüler arasında kalite analizi yapılabilmektedir.
(
)=
∑
(
−
∗
)
(8)
= ∑
(9)
(
∑
ERGAS = 100
)
(
)
(10)
3.3. SAM (Spectral Angle Mapper)
4.1. Deneysel Sonuçlar
Görüntü birleştirme yöntemlerinin görüntüye kazandırdığı
mekânsal belirginlik görsel ve istatistiksel olarak
değerlendirilebilir. Görsel yorumlamada renk benzerlikleri,
görüntü bozulmaları ve nesnelerin ayırt edilebilirliği dikkate
alınır [1]. Görsel değerlendirmeler kişiden kişiye farklılık
gösterdiği için yöntemin başarısını ölçmede tek başına
kullanılacak bir yol değildir. Değerlendirmenin objektif
yapılabilmesi için istatistiksel yöntemler kullanılır. Çalışmada
elde edilen görsel sonuçlar Şekil (3-6)’da verilmiştir.
İstatistiksel sonuçlar ise Tablo 1’de görülmektedir.
SAM algoritması, görüntüler arasındaki spektral benzerlikleri
iki vektör (orijinal ve birleştirilmiş görüntü) arasındaki açıya
bakarak hesaplar. Görüntüleri vektör olarak kabul eder ve
denklem 11 ile aralarındaki α açısını bulur[10]. Denklemde
geçen ve r sırasıyla test ve referans (orijinal) görüntülerin
i. bandını, b ise görüntülerdeki bant sayısını temsil eder.
=
(
(∑
4.
∑
)
)
(∑
(11)
)
KULLANILAN VERİLER VE DENEYSEL
SONUÇLAR
Şekil 3: GIHS ile birleştirilmiş görüntü
Yöntemlerin uygulamadaki başarılarını karşılaştırmak için
QuickBird uydusundan 12 Nisan 2011 tarihinde havaalanından
alınan multispektral ve pankromatik (Şekil 1,2) görüntüler
kullanılmıştır. Multispektral görüntü Kırmızı, Yeşil, Mavi ve
Kızılötesi olmak üzere dört banttan oluşmaktadır. Alınan
multispektral ve pankromatik görüntülerin boyutları eşit olup
1000x1000 pikseldir. Görüntüler PCA, Wavelet, GIHS ve
GIHSF yöntemleri ile birleştirilmiştir
(Şekil 3-6).
Şekil 4: GIHSF ile birleştirilmiş görüntü
Şekil 1: Orijinal MS Görüntü
Şekil 5: PCA ile birleştirilmiş görüntü
Şekil 2: Orijinal PAN Görüntü
Şekil 6: WT ile birleştirilmiş görüntü
ERGAS
SAM
SSIM
GIHS
5,0301
17,0853
0,8449
GIHSF
5,1179
16,8968
0,8351
PCA
3,6242
17,8873
0,8393
WAVELET
16,6318
1,2472
0,8786
Tablo 1: Birleştirilmiş Görüntülerin İstatistiksel Analiz
Sonuçları
5.
SONUÇLAR
Tablo 1’de birleştirme yöntemlerinin spektral bilgiyi
korumalarına ilişkin analiz sonuçları görülmektedir. Analiz
sonuçlarına bakıldığında her üç analiz yönteminde de Wavelet
yönteminin spektral bilgiyi en iyi koruduğu görülmektedir.
Wavelet yönteminden sonra GIHSF, GIHS ve PCA
yönteminin spektral bilgiyi koruma konusunda birbirlerine
yakın oldukları gözlemlenmiştir.
Bunun yanında sonuç
görüntülerde yöntemlerin mekânsal zenginleştirmelerine
bakıldığında Wavelet yönteminin diğer yöntemlere göre
başarısız olduğu şekil (3-6)’daki görsel sonuçlardan
anlaşılmaktadır. Ayrıca yöntemin işlem karmaşıklığı diğer
yöntemlere göre daha fazladır buda yeni nesil algılayıcılardan
alınan yüksek çözünürlüklü, büyük boyutlu verilerin
birleştirilmesinde algoritmanın performansını etkileyecektir.
GIHS, GIHSF ve PCA yöntemlerinin işlem karmaşıklığı
Wavelet algoritmasına göre daha azdır ayrıca görsel sonuçlara
bakıldığında sonuç görüntülerde mekansal zenginleştirme
konusunda daha başarılı olduğu görülmektedir.
IHS tabanlı GIHS ve GIHSF yöntemlerinden elde edilen
birleştirilmiş görüntüler kendi arasında kıyaslandığında
GIHSF yönteminin SAM ve ERGAS analizlerinde daha
başarılı olduğu SSIM yönteminde ise az bir farkla GIHS
yönteminin gerisinde kaldığı görülmüştür. Bu sonuçlardan
yola çıkarak GIHSF yönteminde yeşil ve mavi bantlar için
kullanılan farklı ağırlık katsayılarının spektral bilginin
korunmasında başarılı olduğu söylenebilir.
6.
KAYNAKÇA
[1] Balçık F. B., Göksel Ç., 2009, SPOT 5 ve Farklı Görüntü
Birleştirme Algoritmaları, 12. Türkiye Harita Bilimsel ve
Teknik Kurultayı. 11 Mayıs- 15 Mayıs, Ankara.
[2] Cetin, M., Musaoglu, N., 2009, Merging hyperspectral
and panchromatic image data: Qualitative and
quantitative analysis, International Journal of Remote
Sensing, 30(7), 1779-1804.
[3] Kösesoy, İ., “Uydu görüntülerinin zenginleştirilmesinde
IHS tabanlı yeni bir yaklaşım” , Yüksek Lisans Tezi,
2011
[4] Munechika, C. K., Warnick, J. S., Salvaggio, C., Schott.,
J. R., 1993, Resolution enhancement of multispectral
image data to improve calssification, Photogramm. Geng.
Remote Sens., s. 67-72
[5] Ou, T., Huang, Y., Chen, H., 2011 “SSIM-Based
perceptual rate control for video coding”, IEEE
transactions on circuits and systems for video technology,
Vol. 21, NO. 5.
[6] Pohl, C. and Van Genderen, J. L., 1998, Multisensor
Image Fusion in Remote Sensing: Concepts, Methods and
Applications, International Journal of Remote Sensing, s.
823-854.
[7] Tu, T.M., Ping S. Huang, Chung-Ling Hung, and ChienPng Chang, 2004, A Fast Intensity-Hue-Saturation Fusion
Technique With Spectral Adjustment for IKONOS
Imagery, IEEE Geoscience And Remote Sensing Letters,
Vol. 1, No. 4.
[8] Tu, T.M., Shun-Chi Su, Hsuen-Chyun Shyu, Ping S.
Huang, 2001, A new look at IHS-like image fusion
methods, Information. 84, 1988, p S213(A).
[9] Wald, L., 2000, Quality of high resolution synthesised
images: is there a simple criterion?, Fusion of Earth Data,
Sophia Antipolis, 26-28 January, France.
[10] Wang, Z., 2004, Image Quality Assessment: From Error
Visibility to Structural Similarity, IEEE Transactions on
image processing, vol. 13, no. 4, april.
[11] Zhang, Y., 2004, Understanding Image Fusion,
Photogrammetric Engineering & Remote Sensing, s. 657661.