Deniz Y¨uzeyi Hedefleri için Farklı Kızılötesi ˙Imge Pekistirme

Deniz Yüzeyi Hedefleri için Farklı Kızılötesi İmge
Pekiştirme Tekniklerinin Karşılaştırılması
A Comparison of Different Infrared Image
Enhancement Techniques for Sea Surface Targets
Ali Onur Karalı ve Tayfun Aytaç
TÜBİTAK UEKAE/İLTAREN
Şehit Yzb. İlhan Tan Kışlası,
8. cad., 417. sok., 06800, Ümitköy, Ankara
{onur.karali,tayfun.aytac}@iltaren.tubitak.gov.tr
Özetçe
Bu çalışma deniz yüzeyi hedefleri için farklı kızılötesi (KÖ) imge
pekiştirme tekniklerinin karşılaştırmalı bir analizini sunmaktadır. İmge pekiştirme otomatik hedef tespit ve izleme algoritmalarının en önemli önişlem basamağıdır. Etkin hedef tespit
ve izlemeye yönelik hedef ile arkaplan karşıtlığını artırmak,
ayrıtları vurgulamak, ortam ve algılayıcı gürültüsünü ve arkaplan yankısını bastırmak için KÖ imge pekiştirme tekniklerinin
geliştirilmesi önemlidir. Bu bildiride, deniz yüzeyi hedeflerinin
tespiti için farklı histogram uyarlama, süzgeçleme ve morfolojik
işlemleme tekniklerinin başarımları gerçek ve sentetik imgeler
kullanılarak karşılaştırılmaktadır. Dengeli karşıtlık sınırlı
uyarlamalı histogram denkleştirme ve karşıtlık pekiştirme
yönteminin farklı senaryolarda nicel ve öznel testlerde en iyi
sonucu verdiği gözlenmiştir.
Abstract
This study provides a comparative analysis of different infrared
image enhancement techniques for sea surface targets. Image
enhancement is the most important preprocessing step of automatic target recognition and tracking algorithms. For efficient target detection and tracking, it is important to develop
infrared image enhancement techniques to increase the contrast
between the target and background, emphasize edges, and suppress medium and sensor noises and the background clutter. In
this paper, performances of different histogram modification, filtering, and morphological processing techniques are compared
for sea surface targets’ detection using both real and synthetic
images. It is observed that balanced contrast limited histogram
equalization and contrast enhancement technique provides best
result for different scenarios in quantitative and subjective tests.
1. Giriş
Tipik bir KÖ hedef tespit ve izleme algoritması [1] imge
önişleme, aday hedeflerin imgede bulunması, hedeflere ait
özniteliklerin çıkarımı, hedef/arkaplan kararı verme ve hedefin
izlenmesi basamaklarından oluşmaktadır. İmge pekiştirme
önişlem basamağının önemli bir kısmını oluşturmaktadır.
Düşük karşıtlık, arkaplan yankısı, kamera hareketi, algılayıcı
ve ortam gürültüleri ve diğer etkiler hedefin tespitini
ve izlenmesini zorlaştırmaktadır [2].
İmge önişleme
basamağında uygulanan pekiştirme teknikleriyle bu etkiler
azaltılabilmektedir.
İmge pekiştirme teknikleri genel olarak genlik ölçekleme,
histogram uyarlama, gürültü arındırma ve ayrıt pekiştirme
olarak dört ana başlıkta incelenebilir [3]. Çalışma [4]’de
bit dilimleme, histogram denkleştirme, karşıtlık pekiştirme
teknikleri, Fourier süzgeçler ve imge çerçevelerinin ortalaması
gibi teknikler kullanılmaktadır. Dinamik erim pekiştirmesi ve
kararlılık, logaritmik imge işleme modeliyle çalışma [5]’de
gerçekleştirilmektedir. Kaynak [6]’da dalgacık dönüşümüne
dayalı uyarlanır karşıtlık pekiştirmesi imgelere uygulanmaktadır. İnsanın yeğinlik algısı modellenerek oluşturulan KÖ imge
pekiştirme teknikleri çalışma [7]’de değerlendirilmektedir.
Çalışma [8]’de ise imgede yerel alanlar işlenerek histogram
uyarlama karşıtlığın pekiştirilmesi için, uyarlamalı Wiener
süzgeci ise gürültüyü ortadan kaldırmak için kullanılmaktadır.
Bu bildiride, deniz, ufuk ve deniz yüzeyi hedefi içeren
gerçek ve sentetik imgelerde imge pekiştirme yöntemleri
üzerinde durulacaktır.
Bilgimiz dahilinde deniz yüzeyi
hedeflerine ilişkin kapsayıcı benzer bir çalışma daha önce
yapılmamıştır. Karşılaştırma sonuçlarının, deniz yüzeyi hedeflerinin tespit ve izlenmesinin gerektiği KÖ arama ve izleme sistemleri gibi askeri ve güvenlik uygulamalarında faydalı olacağı
değerlendirilmektedir.
2. Karşılaştırılan Kızılötesi İmge
Pekiştirme Yöntemleri
Bu çalışmada histogram uyarlama teknikleri, süzgeçleme ve
morfolojik işlemler kullanarak KÖ imgeler pekiştirilmeye
çalışılmaktadır.
Histogram denkleştirme [3], uyarlamalı
plato denkleştirme [9] ve az kuyruklu versiyonu [10], Aare
Mällo [10], dengeli karşıtlık sınırlı uyarlamalı histogram
denkleştirme ve karşıtlık pekiştirme [11], Retinex [12] ve
silindir şapka [3] yöntemleridir.
Histogram denkleştirme (HD) yönteminde, imge histogramı düz dağılacak şekilde ayarlanmaktadır.
Uyarlamalı plato denkleştirmede (UPD), histogramın sıfırdan farklı
olan değerleri bulunmakta ve ortanca süzgeçten geçirilerek
düzgünleştirilmektedir. Süzgeçten geçirilen elemanların farkı
hesaplanarak en büyük bayır değeri bulunmaktadır.
Bu
bayır değerlerinin ortalaması UPD’de eşik değeri olarak kullanılmaktadır.
Orijinal histogramda eşik değerinin üstü
kırpılmakta, orijinal imge uyarlanmış toplam dağılım fonksiyonuna göre tekrar eşlenmektedir. Az kuyruklu versiyonunda
(UPD-AK), histogram kırpıldıktan sonra, yükselen ve düşen kenarlarının belirli yüzdesi dikkate alınmamaktadır.
Aare Mällo yöntemi (AMY), bulanık maskeleme tabanlı
bir yöntemdir. I(x, y) imgesi alçak ve yüksek frekans bantlarına Iag (x, y) ve Iyg (x, y) olmak üzere ayrılmaktadır. x
ve y ise sırasıyla x ve y eksenlerinde piksel koordinatlarıdır. Iag (x, y)’nin dinamik erimini uyarlamak için doğrusal
ölçekleme kullanılmaktadır. Yüksek frekans bileşenleri içeren
imge Denklem 1’de görüldüğü gibi uyarlanmaktadır:
½
g1 Iyg (x, y), |Iyg (x, y)| < E;
Iyg (x, y) =
(1)
g2 Iyg (x, y), |Iyg (x, y)| ≥ E.
Iyg (x, y)’ye farklı kazanç çarpanları (g1 ve g2 ) eşik
değerine (E) göre seçilerek gürültü arındırmada ve düşük
karşıtlığı yükseltmekte uygulanmaktadır. Sonunda Iag (x, y)
ve Iyg (x, y) imgeleri toplanmakta ve limitleyici çarpanla
sınırlandırılmaktadır.
Dengeli karşıtlık sınırlı uyarlamalı histogram denkleştirme
ve karşıtlık pekiştirme yönteminde (DKSUHD-KP) dinamik
erim sıkıştırma ve yerel karşıtlık pekiştirme birleştirilmektedir.
İmge üzerinde işlem Denklem 3’deki gibi tanımlanmaktadır.
Igirdi (x, y) yüksek dinamik erim imgesi ve C( x, y) ise karşıtlık
imgesidir.
C(x, y)
=
Içıktı (x, y)
=
Igirdi (x, y)
Iag (x, y)
m(Igirdi (x, y)) · [C(x, y)]α
(2)
(3)
Bu çalışmada kullanılan KÖ imgelerde dinamik erimin sıkıştırılması gerekmemektedir, dolayısıyla denklemin ilk
kısmında yer alan m eşleme işlemi karşıtlık sınırlı uyarlamalı histogram denkleştirme yöntemine karşılık gelmektedir. Parametre α ise karşıtlık pekiştirme çarpanı olarak
tanımlanmaktadır.
Karşıtlık sınırlı uyarlamalı histogram
denkleştirme imge histogramına uygulanmaktadır. İmgeye ait
orijinal histogramın en yüksek değeri toplam piksel sayısının
%1’ine denk gelecek şekilde kırpılmaktadır ve kırpma sonucu
oluşan fazla pikseller histogram üzerinde, belirtilen sınırı
aşmamış pikseller üzerine dağıtılmaktadır. Dağılım, sınır
değerinin altındaki her piksele, bulunma olasılığı oranında
gerçekleştirilmektedir.
Retinex modeli ışığa verilen duyumsal tepkiyi hesaplamayı
amaçlamaktadır. Bu çalışmada herhangi bir boyuttaki imgede
uygulanabilecek şekilde uyarlanmış Frankle-McCann Retinex
(FM-Retinex) algoritması [12] uygulanmaktadır.
Silindir şapka (SŞ) yönteminde hedefin tespitini kolaylaştırmaya yönelik olarak morfolojik işlemler
gerçekleştirilmektedir. İmge ortanca süzgeçten geçirildikten
sonra, tanımlanan bir yapıcı eleman üzerinde, sütun boyunca
en küçük yeğinlik değerleri bulunmaktadır. Orijinal piksel değerlerinden, en küçük değerler arasından bulunan
en büyük değer çıkarılarak SŞ morfolojik dönüşümü
gerçekleştirilmektedir [3].
3. Deney Sonuçları
Bu bölümde karşılaştırılan algoritmaların gerçek ve sentetik
imgeler için sonuçları verilmektedir. Uygulamada algoritmalara ait değişken parametreler farklı denemeler sonucu
ayarlanmıştır. UPD-AK yönteminde histogram kuyruk kısmı
%85’i azalacak şekilde kırpılmakta, AMY’de g1 ve g2
kazançları sırasıyla 2 ve 4 olarak alınmakta, E eşik değeri 10
olarak seçilmektedir. DKSUHD-KP yönteminde α karşıtlık
pekiştirme çarpanı 2’dir ve işlem imgenin tümüne uygulanmaktadır. SŞ yönteminde yapısal eleman olarak 12 birim çaplı disk
kullanılmaktadır.
3.1. Gerçek İmgeler
Gerçek imgeler [136,272] çözünürlüğüne sahip uzun dalga KÖ
kameradan elde edilmektedir. İmge piksel yeğinlik değerleri
[0,255] arasında değişmektedir. Deniz yüzeyi hedefinin farklı
erim ve açısal konumlarındaki sonuçları Şekil 1 (Senaryo 1) ve
2’de (Senaryo 2) verilmektedir. Karşılaştırmada verilen senaryolar dışında farklı hava koşullarında, farklı platformların farklı
erim ve açılardaki konumları için de yöntemlerin başarımları
karşılaştırılmıştır.
3.2. Sentetik İmgeler
Yöntemlerin ölçümler sonucunda elde edilen gerçek KÖ
imgeler ile test edilme imkanı, mevcut bulunan KÖ imgeler
ile sınırlıdır. Sentetik imgeler, istenilen ortam ve zamanlama
şartlarını kontrol altında tutarak oluşturulabilmelerinden ve
algılayıcı etkilerinin modellenebilmesinden dolayı hedef tespit
ve izleme algoritmalarının geliştirilme aşamasında sıkça kullanılmaktadır. Oluşturulan sentetik imgeler, gerçek KÖ imgeler
ile histogram karşılaştırılması yoluyla karşılaştırılmıştır [1].
Sentetik KÖ imgelerin oluşturulmasında OpenGL kütüphanesi
kullanılmaktadır. [136,272] çözünürlüğünde 8 bit gri kodlamalı sentetik imgeler oluşturulmaktadır. Kızılötesi algılayıcı
4o görüş alanına sahip olup senaryo dahilinde 100 metre
yükseklikten deniz yüzeyini gözlemektedir. İmgelere algılayıcı
kaynaklı olarak gürültü ve optik, sezimci vb. kaynaklı bozulmaların eklenebilmesi amacıyla bulanıklaştırma eklenmektedir.
Sentetik imgeler için sonuçlar Şekil 3’de verilmektedir.
4. Karşılaştırmalı Analiz
Nicel karşılaştırmada metrik olarak karşıtlık değeri kullanılmaktadır. Orijinal ve pekiştirilmiş imgelerde hedefi ve
arkaplanı içerecek şekilde seçilen alan üzerinden (NxM boyutunda) karşıtlık değeri Denklem 4 ile hesaplanmaktadır [13].
¯ imge ortalamasıdır.
Burada I,
v
u
u
Karşıtlık =t
N X
M
X
1
¯2
(I(i, j) − I)
N × M i=1 j=1
(4)
(a)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
Şekil 1: Örnek gerçek imge için pekiştirme sonuçları (Senaryo 1): (a) orijinal imge ve (b) HD, (c) UPD, (d) UPD-AK, (e) AMY, (f)
DKSUHD-KP, (g) FM-Retinex, (h) SŞ yöntemleri.
(a)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
Şekil 2: Örnek gerçek imge için pekiştirme sonuçları (Senaryo 2): (a) orijinal imge ve (b) HD, (c) UPD, (d) UPD-AK, (e) AMY, (f)
DKSUHD-KP, (g) FM-Retinex, (h) SŞ yöntemleri.
Gerçek ve pekiştirilmiş imgelerde karşıtlık sonuçları Tablo 1’de
verilmektedir. Birinci senaryoda en iyi karşıtlık iyileştirme HD
yönteminde, ikinci senaryoda ise DKSUHD-KP yönteminde
elde edilmektedir. FM-Retinex yöntemi orijinal imgeye göre
karşıtlığı her iki senaryoda da kötüleştirmektedir. Bunun
nedeni, yöntemin deniz arkaplanının yeğinlik değerini daha
sıcak değerlere doğru açmasıdır. En parlak ufuk çizgisi de
benzer nedenden bu yöntemde ortaya çıkmaktadır. Benzer
şekilde SŞ yöntemi karşıtlığı iyileştirmesede, hedef tespitini
kolaylaştırmaktadır.
İnsan algısına dayalı performans testleri için 10 farklı
gözlemciye ikinci senaryoya ait imgeler sunularak, 3 farklı
ölçüte göre çalışma [11]’dekine benzer şekilde imgelere puan
vermeleri istendi. Ölçütler gerçeklik, detay görünürlük ve
toplam imge kalitesi olarak belirlendi. Yapılan değerlendirmede
yöntemlere ve orijinal imgeye ilişkin hiç bir bilgi verilmedi. Gözlemcilerin yöntemlere ilişkin verdiği ortalama puanlar ve standart sapmaları Tablo 2’de gösterilmektedir. Yapılan
değerlendirmede DKSUHD-KP yöntemine göre yapılan imge
pekiştirmenin üç değerlendirme ölçütünde de en yüksek puanı
aldığı gözlenmiştir. Değerlendirme niceliksel olarak karşıtlığın
hesaplandığı Tablo 1’deki sonuçlarla tutarlıdır.
Sentetik imge sonuçları orijinal imgelerde elde edilen
sonuçlarla benzerlik göstermektedir.
Şekil 3’te yeralan,
ufuk çizgisine yakın nokta hedefin iyileştirilmesi karşıtlık
gözönünde bulundurularak değerlendirilmiştir ve DKSUHD-
KP yönteminin karşıtlığı diğer yöntemlere göre daha çok
artırdığı gözlemlenmektedir. Ayrıca, FM-Retinex yönteminin
hedefin dağılımını artırarak daha iyi gözlenebilir hale getirdiği
görülmektedir.
DKSUHD-KP, hedef ile deniz yüzeyi arasındaki karşıtlığı
artırarak ayrıt ve karşıtlık iyileştirme konusunda başarılı bir
sonuç ortaya koymuştur. AMY kullanılarak DKSUHD-KP
ile benzer sonuçlar elde edilmiştir. SŞ yöntemiyle deniz
yüzeyi ile gökyüzü arasındaki karşıtlık ortadan kalkmaktadır, böylece bazı önişleme algoritmalarında kullanılan ufuk
çizgisi tespit gereksinimi ortadan kalkmaktadır.
Retinex
yöntemi hedef ile deniz arasındaki karşıtlığı azaltmaktadır
fakat deniz yüzeyindeki detayların gösteriminde görece artış
gözlenmektedir.
5. Sonuçlar
Bu çalışmada, gerçek ve sentetik imgelerde yüzer platform
hedefleri için farklı KÖ imge pekiştirme yöntemlerinin nicel ve öznel olarak başarımları karşılaştırılmıştır. Yakın
zamanda başarım karşılaştırma ölçütü olarak çalışma [1]’de
ileri sürülen otomatik hedef tespit ve izleme yöntemi kullanılarak pekiştirme tekniklerinin hedef tespit olasılığı üzerine
olan etkilerinin incelenmesi planlanmaktadır. İleride sentetik
imgelerde farklı atmosfer koşulları, deniz yüzeyi yansımaları
ve platform modelleri kullanılarak imge pekiştirmede kullanılan yöntemlerin parametrelerinin eniyilenmesi üzerinde du-
(a)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
Şekil 3: Örnek sentetik imge için pekiştirme sonuçları: (a) orijinal imge ve (b) HD, (c) UPD, (d) UPD-AK, (e) AMY, (f) DKSUHD-KP,
(g) FM-Retinex, (h) SŞ yöntemleri.
Tablo 2: Gerçek imgelere dayalı senaryo 2’ye ilişkin gözlemci puanları ortalama değerleri ve standard sapmaları (parantez içinde) (1:
kötü, 2: zayıf, 3: orta, 4: iyi, 5: harika).
Orijinal
2,8(1,03)
2,6(1,07)
2,7(0,67)
Gerçeklik
Detay
Toplam kalite
HD
2,8(0,92)
3,2(1,40)
2,9(1,29)
UPD
3,6(0,97)
3,2(0,92)
3,6(0,97)
UPD-AK
3,4(0,70)
3,4(1,07)
3,4(0,52)
Tablo 1: Gerçek imgeler için karşıtlık sonuçları.
Senaryo 1
Senaryo 2
Orijinal imge
47,89
47,43
HD
63,35
56,16
UPD
56,98
55,93
UPD-AK
59,74
57,29
AMY
41,30
38,24
DKSUHD-KP
57,38
60,52
FM
39,96
33,44
SŞ
42,99
43,83
rulacaktır. Karşılaştırma sonuçlarının deniz yüzeyi hedefi
tespit ve izlenmesinin gerektiği KÖ arama ve izleme sistemleri gibi askeri ve güvenlik uygulamalarında faydalı olacağı
değerlendirilmektedir.
6. Teşekkür
Yazarlar Dr. M. Alper Kutay’a bildirinin hazırlanmasında,
Onur Bekmen’e sentetik imgeleri oluşturmada ve çalışma
arkadaşlarına değerlendirmede verdikleri destekten dolayı
teşekkür eder.
7. Kaynakça
[1] T. Aytaç ve O. Bekmen. Görüntülemeli kızılötesi
arayıcılar için bir hedef izleme algoritması geliştirilmesi.
Proc. IEEE SIU, 1-4, 2008, Aydın, Türkiye.
[2] A. Bal ve M. S. Alam. Automatic target tracking in
FLIR image sequences using intensity variation function and template modeling. IEEE Trans. Instrum. Meas.,
54:(1864-1852), 2005.
[3] W. K. Pratt. Digital image processing. 3. baskı, John Wiley & Sons, NewYork, 2001.
AMY
2,6(1,17)
2,7(1,25)
2,7(1,06)
DKSUHD-KP
4,0(1,15)
3,7(0,82)
4,1(0,88)
FM Retinex
2,4(1,07)
2,9(0,88)
2,2(0,79)
SŞ
1,5(0,71)
1,4(0,52)
1,4(0,70)
[4] H. McCauley ve J. Auborn. Image enhancement of infrared uncooled focal plane array imagery. Proc. SPIE
Surveil. Tech., 1479: (416-422), 1991.
[5] M. Jourlin ve J. Pinolib. Image dynamic range enhancement and stabilization in the context of the logarithmic image processing model. Sig. Proces., 41:(225-237), 1995.
[6] R. N. Strickland ve H. I. Hahn. Wavelet transform methods for object detection and recovery. IEEE Trans. Image
Proces., 6:(724-735), 1997.
[7] G. Aviram ve S. R. Rotman. Evaluating the effect of
infrared image enhancement on human target detection
and image quality judgement. Opt. Eng., 38:(1433-1440),
1999.
[8] T. Pace, D. Manville, H. Lee, G. Cloud ve J. Puritz. A
multiresolution approach to image enhancement via histogram shaping and adaptive wiener filtering. Proc. SPIE
Vis. Inform. Proces. XVII, 6978:(1-11), 2008.
[9] M. Shao, G. Liu, X. Liu ve D. Zhu. A new approach for infrared image contrast enhancement. Proc. SPIE Opt. Test
and Meas. Tech. and Equip., 6150:(1-6), 2006.
[10] S. Weith-Glushko ve C. Salvaggio. Quantitative analysis
of infrared contrast enhancement algorithms. Proc. SPIE
Des., Anal., Model., and Test. XVII, 6543:(1-11), 2007.
[11] F. Branchitta, M. Diani ve A. Porta. Dynamic-range compression and contrast enhancement in infrared imaging
systems. Opt. Eng., 47:(1-14), 2008.
[12] B. Funt, F. Ciurea ve J. McCann. Retinex in Matlab. Proc.
IS&T/SID 8th Imag. Conf.: Color Sci., Sys. and Appl., s.
112-121, 2000.
[13] A. R. Weeks. Fundamentals of Electronic Image Processing. IEEE Press, NewYork, 1996.