Hiperspektral Görüntüleme İle Kamuflaj Tespiti

Transkript

SAVTEK 2012, SAVUNMA TEKNOLOJİLERİ KONGRESİ
20-22 Haziran 2012, ODTÜ, Ankara
HİPERSPEKTRAL GÖRÜNTÜLEME İLE KAMUFLAJ TESPİTİ
Ali Can KARACA (a),(b), Alp ERTÜRK (b), M. Kemal GÜLLÜ (c),
Muharrem ELMAS(d), Sarp ERTÜRK (e)
(a)
(b)
Palsis Elektronik Optik Ltd. Şti., 41275, Kocaeli, [email protected]
KOU, Elektronik ve Haberleşme Müh. Böl., 41040, Kocaeli, {alican.karaca1, alp.erturk}@kocaeli.edu.tr
(c)
Yard. Doç. Dr. KOU, Elektronik ve Haberleşme Müh. Böl., 41040, Kocaeli, [email protected]
(d)
(e)
MS MacroSystem Nederland, Hollanda, [email protected]
Prof. Dr. KOU, Elektronik ve Haberleşme Müh. Böl., 41040, Kocaeli, [email protected]
ÖZET
Bu makalede, bitkiler arasında gizlenen nesne veya insanların hiperspektral
görüntüleme kullanılarak tespiti amaçlanmaktadır. Problemin benzetimi için
yapay yapraklar, kamuflaj malzemesi, doğal yapraklar ve askeri oyuncaklar
kullanılmış olup, hiperspektral görüntülerin alımı için Palsis Elektronik Optik
Ltd. Şti.’de oluşturulmuş ve konumlandırılmış olan Hiperspektral Görüntüleme
Sisteminden yararlanılmıştır. Uygun işaret işleme tekniklerinin kullanılması ile
doğal bitkiler ile yapay bitkiler ve kamuflaj malzemeleri arasında yüksek
seçicilik elde edilmekte ve gizlenen nesneler kolaylıkla ayırt edilebilmektedir.
Anahtar Kelimeler: Hiperspektral Görüntüleme, Kamuflaj Tespiti, Bitkilerin
Hiperspektral Özellikleri.
ABSTRACT
In this paper, detection of hidden objects or people among plants, using
hyperspectral imaging is aimed. Both natural leafs, camouflage materials,
artifical leafs and military toys, are used to simulate the problem; and a
Hyperspectral Imaging System which was constructed and placed at Palsis
Electronic Optic Ltd. Co. is used to capture hiperspectral images. Through the
application of appropriate signal processing techniques, high selectivity is
achieved between natural plants, artificial plants and camouflage materials,
and the hidden objects can easily be distinguished.
Keywords: Hyperspectral Imaging, Camouflage Detection, Hyperspectral
Properties of Vegetation.
1. GİRİŞ
Hiperspektral görüntüleme askeri, savunma, kimyasal inceleme, tarım ve
medikal gibi pek çok alanda kullanılmaktadır. Hiperspektral görüntüleme ile
kızıl ötesi ve görünür bölgelerden birçok dar dalga boyuna ait imge verileri
elde edilmekte ve bunun sonucunda dalga boyuna göre ayrışım
sağlanmaktadır. Hiperspektral görüntü üzerinden seçilen herhangi bir pikselin
ışıklılık değerlerinin dalgaboylarına göre oluşturduğu imza malzemeye özel bir
davranış göstermektedir.
Hiperspektral görüntülemenin askeri alandaki genel uygulamalarına [1]'deki
çalışmada yer verilmiştir. Bu çalışma HYMEX (HYperspectral iMage
EXploitation) projesi kapsamında Kanada silahlı kuvvetleri için
gerçekleştirilmiş ve geniş bir spektral aralıkta (0.4-2.5 mikrometre) elde edilen
görüntülerle hedef tanıma, arazi analizi ve su kaynaklarının haritalanması
uygulamaları üzerinde çalışılmıştır. [2]'de pek çok sensör üzerinden iki farklı
zamanda alınan hiperspektral görüntüler değerlendirilerek yüzeydeki ve
gömülü mayınlar tespit edilmiştir. [3]'de askeri bir araç üzerine yerleştirilmiş
kamera ile uzun dalga boylu kızıl ötesi (LWIR) (1.8-2.3 mikrometre) bandında
görüntü alınarak kum ve bitki örtüsü arasından askeri araçlar tespit edilmiştir.
Bu bildiride, 400-1000 nm spektral aralığında alınan hiperspektral
görüntülerdeki kamuflajlı bölgelerin tespiti amaçlanmaktadır. Tespit için
hiperspektral veriye önce gürültü giderimi ve normalizasyon ön işlemleri
uygulanmakta, sonra da saçılım/soğrulma oranı, bitki indekslerinin bulunması
ve bunların birleştirilmesi ile tespit gerçekleştirilmektedir.
2. TEORİ
Bu çalışmada, hiperspektral görüntülerde doğal bitkiler arasına
konumlandırılmış kamuflajlı bölgelerin tespiti ve tespit edilen bölgelerin kendi
içinde ayrıştırılması için bitki özelliklerinin ve belirli bantlardaki
saçılım/soğurulma oranı sonuçlarının birleştirilerek kullanılması önerilmektedir.
Problemin benzetimi için hiperspektral görüntünün alımı Palsis Elektronik
Optik Ltd. şirketindeki Hiperspektral Görüntüleme Sistemi (HGS) ile
yapılmıştır. Bu HGS, ışıklandırma, yürüyen bant ve görüntü alma donanımı
olmak üzere üç alt sistemden oluşmaktadır.
Görüntü alma donanımı, Specim firmasının Imspector V10E spektrometresi ile
PCO firmasının Pixelfly markalı geniş bir spektrumda yüksek kuantum
verimliliği olan monokromatik kamerasından oluşmaktadır. Monokromatik
kamera 1392x1040 piksellik çözünürlükte ve 14 bit derinliğinde görüntü
almaktadır. Imspector V10E spektrometresi, 400-1000 nm arasındaki görünür
ve yakın kızıl ötesi dalga boylarından 2.8 nm spektral çözünürlükle görüntü
elde etmektedir. Spektrometre, giriş yarığı üzerinden gelen ışığı optik
sayesinde dalga boylarına ayrıştırarak monokromatik kamera algılayıcısı
üzerine izdüşürmektedir.Şekil 1.a'da spektrometre bileşenleri gösterilmektedir.
(a)
(b)
Şekil 1. (a): Spektrometre bileşenleri, (b): Hiperspektral imgenin RGB görüntüsü.
Bu çalışmada dış ortam aydınlatmasına benzerlik sağlamak üzere geniş bir
spektrumda ışık sağlayabilen halojen lamba seçilmiş ve iki adet 1000 wattlık
halojen lamba karşılıklı olarak konumlandırılmıştır. Görüntü alma sistemi çizgi
tarama esasına göre çalıştığından tarama için hızı ayarlanabilir bir yürüyen
bant kullanılmıştır.
Yapılan tarama sonucunda 1040 spektral bant içeren bir hiperspektral küp
oluşmaktadır. Şekil 1.b'de hiperspektral olarak taranan bitkilerin CIE
(Internatinal Commission on Illumination) D65 ışık standardının ağırlıkları
kullanılarak oluşturulmuş RGB imgesi verilmiştir. Veri setinde üç farklı türden
toplam dört yapay bitki, bir kamuflaj kumaşı ve iki farklı türden dört doğal bitki
yaprağı kullanılmıştır.
Hiperspektral görüntü donanımı bize dalgaboylarına göre yansıma değerlerini
vermektedir. Normalize edilmiş yansıma değerleri ise eşitlik (1) ile elde
edilmekte, normalizasyon işlemi ile yansıma spektrumundaki ötelenme ve
düzgün dağılmayan ışıklılıktan kaynaklanan hatalar giderilmektedir.
Y (λ ) =
Y0 (λ ) − S (λ )
B(λ ) − S (λ )
(1)
Bu eşitlikte λ dalga boyunu, Y0 yansıma değerlerini, S siyah referans
spektrumunu, B beyaz referans spektrumunu ve Y normalize edilmiş yansıma
değerlerini göstermektedir. Şekil 1.b'de RGB görüntüsü verilen hiperspektral
verideki farklı türlere ait normalize edilmiş spektral imzalar Şekil 2'de
verilmiştir. Şekil 2'de yeşil ve eflatun rengine sahip çizimler doğal bitkileri
göstermektedir. Doğal bitkiler, klorofil içerdiklerinden dolayı yeşil renkte (550
nm dalga boyu civarında) ışıma yaparlar. Yapay yaprakların da yeşil renkteki
ışımalarından dolayı bu bölgede ayırt edilemeyebilirler. Ayrıca doğal bitkiler
hücresel özelliklerinden dolayı yakın kızıl ötesi bandında da yüksek ışıma
yaparlar. Kızıl ötesindeki bu özel davranış kullanılarak doğal bitkiler yapay
bitkiler ve kamuflaj malzemelerinden ayrıştırılabilirler. Ancak "küçük yapay
yaprak" etiketli olan yapay yaprak gibi çok az örnekte de doğal bitkileriin bu
özelliğini içeren spektrumlar gözlenebilmektedir.
Şekil 2. Farklı Malzemelere ait normalize edilmiş spektral imzalar
Şekil 3. Ayrıştırılması Zor Örnekler
Şekil 3'te ışıklandırma ve diğer koşulların en kötü olduğu durumda elde edilmiş
örneklere ait normalize edilmiş yansıma değerleri verilmiş olup, elde edilen
imzalar doğal ve yapay yapraklar arası yeterli ayrıştırma sağlamamaktadır. Bu
çalışmada aradaki farklılıkları ön plana çıkarmak için sırasıyla Standart Normal
Değişim (SNV), Savitzky-Golay süzgeçlemesi ve Kubelka-Munk teorisi
uygulanması önerilmektedir. Bu yöntemlerin adli belgelerdeki bulguların analizi
için uygulanmasına [4]'te yer verilmiştir.
Standart Normal Değişim (Standart Normal Variate) yansıma spektrumundaki
saçılımlarda bulunan çarpımsal girişimleri kaldırmaktadır [5]. Temel olarak,
ortalama ve standart sapmayı kullanarak normalizasyon yapmaktadır.
Kameranın bazı dalga boylarındaki düşük kuantum verimliliği ile ışık
kaynağının o dalga boylarındaki zayıf yansıması, alınan spektral veride bu
dalga boylarında gürültüye neden olmaktadır. Bu gürültülerin yansıma
spektrumunun formunu bozmadan en iyi şekilde süzülmesi için Savitzky-Golay
(SG) süzgeçlemesi kullanılır. SG, [6]'da önerilmiş olup, en küçük kareler
yöntemine göre polinom uydurma temelli bir yöntemdir. Kubelka-Munk (KM)
teorisi ise iletilen ve yansıyan ışınlardan yola çıkarak bir materyal üzerindeki
soğurulma-saçılım oranı bulunmasını sağlar ve (2)'teki eşitlikten hesaplanır
[7].
K (1 − Y (λ ))
=
S
2Y (λ )
2
(2)
Bu eşitlikte K soğurulma katsayısı, S ise saçılım katsayısıdır. Bu işlem
hiperspektral imgelerde her spektral banda bağımsız olarak uygulanır ve
spektral imzalar arasındaki pek çok farkı ön plana çıkarabilir. Şekil 4'te önceki
aşamada elde edilen SG ve SNV sonucuna Kubelka-Munk teorisi uygulanınca
elde edilen imzalar verilmiştir.
Şekil 4. Kubelka-Munk uygulanmış imzalar.
Şekil 4'deki 680-730 nm arasındaki keskin düşüşler bitkilere özel olan ve
kırmızı kenar (red edge) olarak adlandırılan bir özelliktir. Şekil 5'te 675 nm
dalgaboyunda doğal ve yapay bitkiler arasıdanki fark açık bir şekilde
gözükmektedir. Şekil 5'te yöntemlerin ilgili banda uygulanması ile elde edilen
sonuçlar sırasıyla verilmiştir. Ayrıca, Şekil 5.c'deki sonuç yapay renklendirme
ile Şekil 6.a'da gösterilmiştir. Bu renklendirme ile en düşük değere koyu mavi
en yüksek değere koyu kırmızı tonu atanarak aradaki değerler renk tonlarına
yayılmış ve imge olarak gösterilmiştir.
(a)
(b)
(c)
Şekil 5. 675 nm'deki (a):Normalize edilmiş yansıma imgesi, (b):SG ve SNV sonucu,
(c):Kubelka-Munk Sonucu.
Farklı bir yaklaşım hiperspektral görüntülerdeki belirli spektral bant imgeleri
kullanarak bitki indislerinin hesaplanmasıdır. Bunlardan birisi Normalize Fark
Bitki İndeksi (NDVI) (Normalized Difference Vegetation Index) olup tipik
olarak yakın kızıl ötesi ve kırmızı dalga boyunda bulunan değerlere
dayanmaktadır [8]. NDVI hesabı eşitlik 3'te verilmiştir.
NDVI = (NIR - RED) / (NIR + RED)
(3)
Bu eşitlikte NIR yakın kızıl ötesi bandındaki değerleri, RED kırmızı banttaki
değerleri göstermektedir. Şekil 6.b'de hiperspektral verinin NDVI değerlerinden
oluşan yapay renklendirilmiş görüntüsü verilmiştir.
Önemli bitki indislerinden bir diğeri de yine [8]'de adı geçen PSND (Pigments
Specified Normalize Difference) indisidir. PSND eşitlik (4)'teki gibi
hesaplanmaktadır.
PSND=(R800- R675)/ (R800- R675)
(4)
Eşitlikte R alt indisle gösterilen dalga boylarındaki yansıma imgesini
göstermektedir. Şekil 6.c'de PSND değerlerinden oluşan yapay renklendirilmiş
görüntü verilmiştir.
(a)
(b)
(c)
Şekil 6. (a):Kubelka-Munk, (b):NVDI indeksleri, (c):PSND indeksleri
Işıklılık Değerleri
Şekil 6'daki yapay renklendirilmiş imgelerdeki matris değerlerinin eleman
elemana çarpılması (Hadamard product) ile elde eden sonuçlar Şekil 7.a'da
gösterilmiştir. Arkaplan çıkartımı için her piksele ait CIE Lab değerleri
hesaplanmış ve fark değerlerinden (∆E) arkaplan maskesi hazırlanmıştır.
Oluşan maskenin siyah-beyaz gösterimi Şekil 7.b'de verilmiştir. Maske
hazırlandıktan sonra sonuç imge ile çarpılarak terslenmiştir.
Yapay renklendirilmiş sonuç imgesi Şekil 7.c'de verilmiştir. Bu görüntüde açık
mavi tonları yapay bitkileri, sarı ve kırmızı tonları kamuflaj kumaşını ve yeşil
tonları ise doğal yaprakları göstermektedir. Önerilen yöntem sonucunda doğal
bitkiler, yapay bitkiler ve kamuflaj kumaşının birbirlerinden net olarak ayrıldığı
görülmektedir.
(a)
(b)
(c)
Şekil 7. (a):Çarpım imgesi, (b):Arka plan maskesi, (c): Sonuç İmgesi.
Veri setini doğal bir araziye benzetmek için iki farklı görüntü daha alınmıştır.
Alınan görüntülerde oyuncak tank ve askeri ekipmalar ile farklı ağaçların
yaprakları harmanlanmış bu şekilde gerçeğe yakın bir veriseti elde edilmiştir.
Şekil 8'de alınan ilk veriseti için RGB görüntü ve önerilen yöntem sonucunda
oluşan sonuç imge verilmiştir.
(a)
(b)
Şekil 8. İkinci veri setinin (a): RGB görüntüsü, (b): Sonuç imgesi.
Hazırlanan diğer setinde tanklar ve diğer askeri malzemelerin dal ve
yaprakların arasında olma koşulu incelenmiştir. Şekil 9'de görüldüğü gibi
yüksek ayırt edicilik sayesinde üzerlerinde yaprak parçaları olsa dahi
malzemeler tespit edilebilmektedir.
(a)
(b)
Şekil 9. Üçüncü veri setinin (a): RGB görüntüsü, (b): Sonuç imgesi.
4. TEŞEKKÜR
Bu çalışma 2011K120330 nolu DPT projesi ve Bilim, Sanayi ve Teknoloji
Bakanlığı tarafından 0043.TGSD.2011 nolu Teknogirişim Sermayesi Desteği
projesi kapsamında desteklenmektedir.
5. SONUÇ
Bu çalışmada, kamuflajlı bölgelerin hiperspektral görüntüleme ile tespiti
gerçekleştirilmiştir. Kamuflaj benzetimi için farklı spektral imzalara sahip yapay
bitkiler, doğal bitkiler, kamuflaj kumaşı ve oyuncak askeri malzemelerden üç
ayrı veri seti oluşturulmuş ve hiperspektral sistem tarafından taranmıştır.
Taranan görüntü kübü için bitkilerin hücresel ve yapısal özelliklerinden yola
çıkılarak yapay bitkiler, kamuflaj malzemeleri ve doğal bitkiler kolayca
birbirinden ayırt edilebilmektedir. Önerilen yaklaşım uzaktan görüntüleme ile
hedef tespiti kullanımına uygundur.
KAYNAKÇA
[1] J. P. Ardouin, J. Lévesque, T. A. Rea, (2007), “A Demonstration of
hyperspectral image exploitation for military applications”, 10th International
Conference on Information Fusion, July 9-12, Canada.
[2] E. M. Winter, (2004), "Detection of surface mines using hyperspectral
sensors", In Proceedings of the IEEE: Geoscience and Remote Sensing
Symposium, September , Anchorage, AK.
[3] R.P. Bongiovi, J.A Hackwell, T.L. Hayburst, (1996), “Airborne LWIR
hyperspectral measurements of military vehicles”, Proceedings Aerospace
Applications Conference, February 3-10, Aspen, CO, USA.
[4] A.C. Karaca, A. Ertürk, M.K. Güllü, M. Elmas, S. Ertürk, (2012),
“Hiperspektral Görüntüleme ile Adli Belgelerdeki Bulguların Analizi,” 20. IEEE
Sinyal İşleme ve İletişim Uygulamaları Kurultayı (SIU2012).
[5] R.J. Barnes, M.S. Dhanoa, S.J. Lister, (1989), “Standard Normal Variate
Transformation and De-trending of Near-Infrared Diffuse Reflectance,” in
Applied Spectroscopy, 43 (5), 772-777.
[6] A. Savitzky, J.E. Golay (1964). “Smoothing and differentiation of data by
simplified least squares procedures,” in Analytical Chemistry, 36 (8), 1627–
1639.
[7] P. Kubelka, F. Munk (1931), “Ein Beitrag Zur Optik der Farbanstriche,”
Zeitschrift fur technische Physik 12, 593-601.
[8] P. S. Thenkabail, J. G. Lyon, A. Huete (2011), Hyperspectral Remote
Sensing of Vegetation, CRC Press.

Hiperspektral Görüntüleme İle Kamuflaj Tespiti

Transkript

Benzer belgeler

görünür ve yakın kızılötesi bölge uygulamaları için bir

Görüntüleme Metotları - Kitap Şifahanesi ve Arşiv

Eksenel Simetrili Dairesel Şeritlerden Dalga Kırınımı için

Siemens Miyabi sistemini kullanarak hepatoselüler karsinomanın

Fizik-1 Uygulama-5