TERMAL KAMERA GÖRÜNTÜLERĐNĐN PĐKSEL SÜPER

URSI-TÜRKĐYE’2014 VII. Bilimsel Kongresi, 28-30 Ağustos 2014, ELAZIĞ
TERMAL KAMERA GÖRÜNTÜLERĐNĐN
PĐKSEL SÜPER ÇÖZÜNÜRLÜK YÖNTEMLERĐYLE ĐYĐLEŞTĐRĐLMESĐ
IMPROVING THERMAL CAMERA IMAGES BY USING
PIXEL SUPER RESOLUTION METHODS
Eren Alp ÇELĐK, Đsa NAVRUZ*
ASELSAN Haberleşme ve Bilgi Teknolojileri Grup Başkanlığı,
Test Sistemleri ve Süreçler Tasarım Müdürlüğü
Yenimahalle, Ankara
[email protected]
*Ankara Üniversitesi
Elektrik- Elektronik Mühendisliği Bölümü
Gölbaşı, Ankara
[email protected]
ÖZETÇE
Piksel süper çözünürlük yöntemi, aynı sahnenin birden fazla görüntüsünün çakıştırılmasıyla, görüntülerin piksel
çözünürlüğünü ve görüntülerdeki detay miktaını arttıran bir tekniktir. Görünür bölgede çalışan kamera
görüntülerinde piksel süper çözünürlük yöntemi başarıyla uygulanmaktadır. Bu çalışmada piksel süper çözünürlük
yöntemleri ile termal kamera görüntülerinin iyileştirilmesi için analizler ve testler yapılmıştır. Elde edilen sonuçlar,
termal kamera görüntülerinde piksel süper çözünürlük yönteminin başarıyla uygulanabileceğini göstermiştir.
ABSTRACT
Pixel Super Resolution method, is a technique that is used to increase pixel resolution and detail level of images by
registering multiple images of the same scene. For the images of visible region camera systems, pixel super resolution
method is applied successfully. In this paper, pixel super resolution method has been applied on thermal camera
images, also some analyses and tests have been performed. Obtained results indicate that pixel super resolution
method can be successfully applied to thermal camera images.
1. GĐRĐŞ
Piksel çözünürlük kavramı, sayısal bir görüntünün, satır ve sütunlarındaki piksel sayısıyla ilişkilidir. Örneğin satır ve
sütunlarındaki piksel sayıları sırasıyla M ve N olan sayısal bir görüntünün, piksel çözünürlüğü MxN ile ifade edilir.
Çözünürlük artışı, görüntüyü oluşturan aynı sahnenin, piksel sayısının arttırılması yoluyla daha yüksek detay seviyesi
sunulmasıdır. Çözünürlük artışı yüksek çözünürlüklü kamera sensörleri kullanılarak sağlanabilir. Bununla beraber
mevcut kamera görüntülerinde piksel süper çözünürlük algoritmaları görüntüyü daha küçük piksellere ayrıştırarak
mevcut görüntüden 2-3 kat daha yüksek çözünürlüklü görüntü elde edilmesine olanak sağlar [1]. Süper-çözünürlük
yöntemleri, esas olarak düşük çözünürlüklü birçok görüntüden, görüntülerin çakıştırılması ve işlenmesi sonucu daha
yüksek çözünürlüklü görüntü elde etmek için kullanılmaktadır [3]-[5].
Termal kameralar çözünürlük yönünden normal kameralara göre daha farklıdır. Görüntü alma işlemi fiziksel boyutu
olan FPA (focal plane array) yapılarına dayanan termal kamera sistemlerinde, piksel oranı artırımı yavaş ilerlemiştir.
FPA yapılarının daha da sıklaştırılması işlemi, maliyet artışları ve oluşturulan görüntülerde aşırı örtüşme (aliasing)
problemlerini de beraberinde getirmektedir [2]-[6]. Piksel yoğunluğu artamayan termal görüntü sistemleri,
görüntülenen bölgedeki yüksek frekanslı bölgeleri tam olarak tespit edememekte ve detay seviyesi düşük bulanık
görüntüler sunmaktadır [3]. Buna rağmen askeri, medikal ve güvenlik alanlarında sıklıkla kullanılmakta olan termal
kameralardan daha yüksek detaylı görüntüler alma ihtiyacı vardır. Bu amaçla termal kamera görüntülerinde süper
çözünürlük metotlarının uygulanması, tasarımı oldukça zor ve pahalı olan yüksek çözünürlüklü termal kameralara
alternatif çözümler sunabilir.
URSI-TÜRKĐYE’2014 VII. Bilimsel Kongresi, 28-30 Ağustos 2014, ELAZIĞ
2. SÜPER-ÇÖZÜNÜRLÜK KAVRAMI
Süper-çözünürlük yöntemlerinin işlevsellik kazanabilmesi için temel kıstas, veri setinde aynı sahnenin birden çok
görüntüsünün olmasıdır. Ancak bu görüntüler arasında, yatay ve dikey eksenlerde piksel-altı düzeyde kaymalar
olmalıdır. Đşlem sonucu olarak istenen detay miktarının artırılması düşüncesinin temeli, piksel-altı düzeyde kaymış
görüntülerin içerdiği bilgilerin birbirleriyle çakıştırmasıyla yeni bilgilerin (detayların) ortaya çıkartılması esasına
dayanır [2]-[4]-[5].
Bu çalışmada, termal kameradan alınan aynı sahneye ait birden fazla görüntü, Şekil 1’de gösterildiği gibi önce hareket
tahmin yöntemleriyle üst üste çakıştırılmıştır. Bir sonraki adımda, piksel-altı seviyede kaymalara sahip bu
görüntülerin içerdiği farklılıklar tespit edilmeye çalışılarak tek bir görüntü elde edilmeye çalışılmıştır. Son olarak elde
edilen gürültü azaltma ve bulanıklık giderme teknikleri ile sonuç görüntüsü yapılandırılarak daha yüksek çözünürlük
seviyelerine ulaşılmıştır.
Şekil 1:Süper-çözünürlük yönteminin genel şeması
Süper-çözünürlük yöntemlerinin temel ve başlangıç işlemi olan hareket tahmin yöntemlerinin, hem frekans bölgesinde
hem de uzamsal bölgede uygulanan farklı teknikleri mevcuttur. Đşlenecek görüntüdeki bütün ya da yerel iyileştirme
istemine göre, bu yöntemlerden biri seçilebilir. Düşük çözünürlüklü görüntü içerisindeki hareket eden bir obje (insan,
araç vs) takibi yapılacaksa uzamsal bölgesindeki yöntemlerden biri seçilmektedir, aksi takdirde görüntünün
tamamında detay artırılmak isteniyorsa, frekans bölgesi yöntemlerden birisi kullanılmaktadır [7].
3.DENEYSEL ÇALIŞMALAR
Bu çalışmada termal kameralar kullanılarak, açık ortam olan köy/arazi üzerinden ve tarafımızca oluşturulmuş
çözünürlük analizinde kullanılan USAF Chart benzeri bir test deseni ile kapalı ortamdan alınmış kızılötesi hareketli
video görüntüleri kullanılmıştır.
Arazi resimlerinde tam çerçeve takibi, test deseni görüntülerinde ise yerel obje takibi işlemleri için kullanılması
önerilen süper-çözünürlük yöntemleri uygulanmıştır. Süper-çözünürlük işlemleri sürekli video görüntülerden alınan
ardışık 20 adet çerçeveye uygulanmıştır. Elde edilen çerçeveler, %25 oranında küçültülerek, kısmen daha düşük
çözünürlüklü görüntüler oluşturulmuştur. Ardından elde edilen görüntülere hareket kestirim ve süper çözünürlük
yöntemleri uygulanarak yüksek çözünürlüklü görüntü oluşturulmuştur. Son olarak oluşturulan bu görüntülere, gürültü
azaltma ve bulanıklık azaltma yöntemleri uygulanarak görüntüler yapılandırılmıştır.
Deneysel çalışmalarda kullanılan süper çözünürlük yöntemleri sıklıkla POCS (Projections Onto Convex Sets), IBP
(Iterative Back Projection), Kaydırma&Toplama (Shift&Add) yöntemleridir. Hareket kestirim yöntemleri olarak,
frekans bölgesinde çalışan yöntemlerden biri olan Vandewalle kestirim yöntemi ile uzamsal bölge yöntemlerinden biri
olan Karen kestirim yöntemi seçilmiştir. Bulanıklık azaltma yöntemleri olarak ise Wiener, Blind, Iteratif, RichardLucy Ters Evrişim (Deconvolution) yöntemleri kullanılmıştır.
Deneysel amaçlı kullanılmak üzere oluşturulmuş test deseni üzerinden alınan görüntülere yukarıda sözü edilen
yöntemlerin uygulanması neticesi elde edilen süper çözünürlüklü görüntüler Şekil 2’de sunulmuştur.
URSI-TÜRKĐYE’2014 VII. Bilimsel Kongresi, 28-30 Ağustos 2014, ELAZIĞ
(a)
(c)
(e)
(b)
(d)
(f)
Şekil 2. a) Termal kamera ile alınan orijinal görüntü, b)Orijinal görüntünün %25 oranında küçültülüp tekrar
büyültülmüş durumu, c)Keren + POCS + Blind Ters Evrişim işlemi sonucu, d)Vandewalle + POCS + Blind Ters
Evrişim işlemi sonucu, e)Keren + IBP + Blind Ters Evrişim işlemi sonucu, f)Vandewalle + IBP + Blind Ters Evrişim
işlemi sonucu.
Açık ortam görüntülerinde, piksel süper çözünürlük yöntemlerinin başarısını test etmek için termal kamera ile alınan
arazi/köy video görüntüsü kullanılmıştır. Şekil 3’de sırasıyla (a) orijinal görüntü, (b) %25 küçültülerek elde edilmiş
düşük çözünürlüklü görüntü, (c) ve (d) iki farklı piksel süper çözünürlük yöntemi ile elde edilen sonuç görüntüler
sunulmuştur.
(a)
(c)
(b)
(d)
Şekil 3. a) Termal kamera ile alınan orijinal açık ortam görüntüsü, b) Orijinal görüntünün %25 oranında küçültülüp
tekrar büyültülmüş durumu, c) Vandewalle + IBP + Blind Ters Evrişim işlemi sonucu, d) Vandewalle + POCS +
Blind Ters Evrişim işlemi sonucu.
URSI-TÜRKĐYE’2014 VII. Bilimsel Kongresi, 28-30 Ağustos 2014, ELAZIĞ
4.SONUÇLAR
Bu çalışmada termal video kameradan alınan ardışıl çerçeve görüntülere süper çözünürlük metotları uygulayarak,
çözünürlük artışı sağlanmıştır.
Çözünürlük artışıyla yapılan iyileştirmeler, hem göz denetimiyle hem de elde edilen PSNR seviyeleriyle ortaya
konulmuştur. Sonuç görüntülerinin, termal kameradan alınan video görüntülerden ilk çerçevenin %25 oranında
küçültülmüş halindeki görüntüyle karşılaştırılmasıyla PSNR değeri hesaplaması yapılmıştır. Aşağıdaki tabloda, açık
alan ve test deseni üzerinden alınmış termal görüntülere uygulanan işlemler sonucunda elde edilen görüntülerden elde
edilen PSNR değerleri verilmiştir.
Yöntem
Açık Arazi Görüntüsü
Test Deseni Görüntüsü
Keren + IBP
15.9 dB
18.8 dB
Keren + POCS
20.9 dB
24.4 dB
Vandewalle + IBP
15.8 dB
19.1 dB
Vandewalle + POCS
20.7 dB
23.4 dB
Tablo 1. Açık arazi ve test deseni görüntülerine piksel süper çözünürlük yöntemleri uygulanmasıyla elde
edilen PSNR değerleri
Çalışmada, süper çözünürlük uygulamaları sonucu elde edilen görüntülerin PSNR seviyelerinin, işleme giren resim
sayısıyla ilintili olduğu gözlemlenmiştir. Aynı sahneye ait görüntü sayısı arttıkça elde edilen süper çözünürlüklü
görüntülerde gözle fark edilir iyileşmeler gözlenmiştir.
Yöntem olarak, görüntü birleştirme yöntemlerinin PSNR değerlerine katkısının hareket kestirim yöntemlerinden daha
belirgin olduğu görülmektedir. Bu açıdan hem performans değeri hem de daha kısa işlem süresi nedeniyle POCS
yönteminin daha kullanışlı olduğu sonucuna varılmıştır.
5.KAYNAKÇA
[1] Park, Park, Kang, “Super-Resolution Image Reconstruction-A Technical Overview”, IEEE Signal Processing
Magazine, May 2003.
[2] Alam, Bognar, Hardie, Yasuda, “Infrared Image Registration and High-Resolution Reconstruction Using Multiple
Translationally Shifted Aliased Video Frames”, IEEE Transactions On Instrumentation And Measurement, Vol. 49,
No. 5, Oct 2000.
[3] Kaltenbacher, Hardie, “High Resolution Infrared Image Reconstruction Using Multiple, Low Resolution, Aliased
Frames”, Hybrid Image and Signal Processing SPIE-V, 142, June 1996.
[4] Young, Sims, Kraples, Waterman, Smith, Jacobs,Corbin, Larsen, Driggers, “Applications of Super-Resolution and
Deblurring to Practical Sensors”, Infrared Imaging Systems: Design, Analysis, Modeling, and Testing XIX,
Proeedings. of SPIE Vol. 6941, 2008.
[5] Malczewski, Stasinski, “Super-Resolution Thermal Image Reconstruction”, IWSSIP - 17th International
Conference on Systems, Signals and Image Processing, 2010.
[6] M. Kaczmarek, Borwanski, “Resolution Enhancement Of Thermal Images in Active Dynamic Thermography
Sequences”, 11th International Conference on Quantitative InfraRed Thermography, 11-14 June 2012.
[7] Krapels, Driggers, Jacobs, Burks, “Characteristics of Infrared Imaging Systems which benefit from SuperResolution Reconstruction”, Infrared Imaging Systems: Design, Analysis, Modeling, and Testing XVII, Proceedings
of SPIE Vol. 6207, 2006.