i Trafik Levhası Belirleme ve Tanımlanması Ersin

i
Trafik Levhası Belirleme ve Tanımlanması
Ersin Demir
LİSANS TEZİ
Bilgisayar Mühendisliği Bölümü
21.01.2011
ii
Traffic Sign Detection and Recognition
Ersin Demir
SCIENCE THESIS
Department of Computer Enginnering
21.01.2011
iii
Trafik Levhası Belirleme ve Tanımlanması
Ersin Demir
Eskişehir Osmangazi Üniversitesi
Mühendislik Mimarlık Fakültesi
Lisans Yönetmeliği Uyarınca
Bilgisayar Mühendisliği Bölümü
LİSANS TEZİ
Olarak Hazırlanmıştır
Danışman: Yrd. Doç. Dr. Kemal Özkan
21.01.2011
iv
ONAY
Eskişehir Osmangazi Üniversitesi Mühendislik Mimarlık Fakültesi Bilgisayar
Mühendisliği
Lisans öğrencisi Ersin Demir‟in LİSANS tezi olarak hazırladığı “Pattern
Recognition S&D” başlıklı bu çalışma, jürimizce lisans yönetmeliğin ilgili maddeleri
uyarınca değerlendirilerek kabul edilmiştir.
Danışman
: Yrd. Doç. Dr. Kemal ÖZKAN
İkinci Danışman : -
Lisans Tez Savunma Jürisi:
Üye : Yrd. Doç. Dr. Kemal ÖZKAN
Üye : Yrd. Doç. Dr. Selçuk CANBEK
Üye : Yrd. Doç. Dr. Metin ÖZKAN
Bilgisayar Mühendisliği Yönetim Kurulu‟nun ............................. tarih ve
........................ sayılı kararıyla onaylanmıştır.
Yrd.Doç.Dr. Nihat ADAR
Bölüm Başkanı
v
ÖZET
Görüntü işleme tabanlı teknoloji günümüz koşullarıyla gün geçtikçe gelişmektedir.
Trafik levhaları tanımlama sistemi de görüntü işleme ile geliştirilen bir uygulamadır. Trafik
levhası belirleme ve tanıma sistemi kullanıcının görsel olarak kolaylık ve yardım
sağlamaktadır. Günümüz teknolojisinde bu sistemler tam anlamıyla gerçek zamanlı
geliştirilmemiştir; ancak gelişmeye açık ve üzerinde çalışılmaya devam edilen bir
teknolojidir.
Tez çalışmasında trafik levhaları belirleme ve tanımlama sisteminde; HSV-RGB renk
uzayına dönüştürme, renk maskeleme, kırmızı renk bileşenlerini eşikleme, Hough Circle
Transform, üçgen şekil tanımlama ,dikdörtgen(kare) şekil tanımlama
kullanılacaktır.
Üçgen
ve
dikdörtgen
tanımlama
yöntemleri
tam
yöntemlerini
anlamıyla
geliştirilmediğinden üzerinde çalışmalar yapılacaktır.
Tez araştırması ile üçgen ve dikdörtgen tanımlama için gerekli algoritmalar ve trafik
levha tanımlamasını geliştirilmesi üzerine çözümlemeler yapılacaktır.
vi
SUMMARY
Image processing based technology develops by using today's circumstances. System
of Recognizing Traffic signboard is also application which developed by image processing.
Capturing and recognizing traffic sing board system makes visual easiness and helps to users.
In today's technology, these systems actually is not developed at run-time, but it is still open
to develop and keep going on to work on this subject.
In this work, for system of capturing and recognizing of traffic, some methods will be
used such as signboard; HSV-RGB color space converting, color masking, red color
components thresholding, Hough Circle Transform, definition of triangle shapes, definition
of square shapes. Although definition of triangle and square is not be developed well , so
mainly will work on this subject.
By this thesis, necessary algorithms and solutions will be done to develop definition
traffic signboard for definition of triangle and square .
vii
TEŞEKKÜR
Tez çalışmalarımda bana danışmanlık ederek, bana göstermiş olduğu özveriye ve her
türlü yardımı sağlayan Yrd Doç Dr Kemal Özkan „a çok teşekkür ederim.
viii
İÇİNDEKİLER
Sayfa
ÖZET ..................................................................................................................................... v
SUMMARY ..........................................................................................................................vi
TEŞEKKÜR ........................................................................................................................ vii
İÇİNDEKİLER .................................................................................................................. viii
ŞEKİLLER ............................................................................................................................ix
GİRİŞ ..................................................................................................................................... 1
1.1
Trafik İşaretleri ....................................................................................................................1
GELİŞTİRİLEN UYGULAMALAR ...................................................................................... 3
2.1. Literatürdeki Yeri ve Geliştirilen Uygulamalar ...........................................................................3
2.2. RGB Renk Uzayını HSV Renk Uzayına Dönüştürme ....................................................................3
2.3. Hough Daire Dönüşümü (Hough Circle Transform) ...................................................................5
2.4. Üçgen Cisimlerin Belirlenmesi ..................................................................................................7
ÖNERİLER .......................................................................................................................... 11
3.1.Uygulamanın Eksik Kısımları .................................................................................................... 11
KAYNAKLAR DİZİNİ ........................................................................................................ 12
ix
ŞEKİLLER
Sayfa
Şekil 1.1...................................................................................................................................................2
Şekil 1.2 ..................................................................................................................................................2
Şekil 1.3...................................................................................................................................................2
Şekil 1.4...................................................................................................................................................2
Şekil 1.5...................................................................................................................................................2
Şekil 2.1...................................................................................................................................................4
Şekil 2.2...................................................................................................................................................5
Şekil 2.3...................................................................................................................................................6
Şekil 2.4 ..................................................................................................................................................7
Şekil 2.5...................................................................................................................................................7
Şekil 2.6...................................................................................................................................................8
Şekil 2.7...................................................................................................................................................9
Şekil 2.8...................................................................................................................................................9
Şekil 2.9..................................................................................................................................................10
1
BÖLÜM 1
GİRİŞ
Hızla artan nüfusa paralel olarak araçlarda ki hızlı artışta görülmektedir. Araçların
artması ile sürücülerin daha rahatlığını ve güvenliğini sağlamak için yolların sayısı ve trafik
işaretleri de artmakdır. Yollarda bulunan trafik işaretlerinin sayısının artması ile sürücülerin
tüm trafik işaretlerini algılamaya çalışırken sürücünün dikkatinin dağılmasına ve sürüş
emniyetinin azalmasına sebep olmaktadır. Sürücülerin dikkatlerinin dağılmasını önlemek,
sürücülere daha rahat bir sürüş sağlamak için günümüzde otomatik olarak trafik işaretlerini
tanıyan sistemlerin geliştirilmesine önem verilmektedir.
Görüntü işleme metodlarıyla buna paralel olarak gelişen görsel teknoloji ile birlikte
otomotiv firmaları yeni araçlarına yol güvenliğini artırmak için yeni sistemler eklemeye
başladılar. Bunlara en yaygın olarak kullanılan yol çizgilerini takip etme, öndeki araç
mesafesini takip etme gibi görsel teknolojiyi kullanan yeni sistemler geliştirilmektedir. BMW,
Mercedes ve Opel firmalarında trafik işaretlerini tanıyan sistemler müşterilere opsiyonel
olarak sunulmaktadır.1
Günümüzde trafik levhalarını tanıyan sistemler, yol üzerinde hız limitlerini gösteren
levhaları tanıyarak, sürüclere hız limitleriyle ilgili uyarılar vermektedir. Bu nedenle kullanılan
tüm trafik levhalarının tanımlanmasının geliştirilmesine gereksinim duyulmaktadır.
1.1 Trafik İşaretleri
Trafik işaretleri ülkeler arasında farklılık göstermesi sürücülerin birçok trafik işaretini
öğrenmesine neden olmaktaydı. Bu sorunu çözmek için Trafik İşaretleri ve Sinyalleri
konferansı (Vienna Convertion on Road Signs and Signals) ile trafik güvenliğini artırmak ve
sürücülere kolaylık sağlamak için trafik işaretleri standartları belirlenmiştir. Birçok ülke
Viyena Trafik İşaretleri ve Sinyalleri konferasında yayınlanan bildiriye uymakla beraber, bazı
ülkelerde trafik işaretleri farklılıklar göstermektedir. İngiltere, Almanya , Fransa, İtalya ve
İspanya gibi ülkelerde bazı trafik levhalarında değişiklikler gözlenmektedir. 2
Ülkemizde Trafik İşaretleri Hakkında Yönetmelik 1985 yılında Bayındırlık ve İskan
Bakanlığı tarafından belirlenmiştir. Böylece trafik işaretleri niteliklerine göre 5 katogoriye
1
2
Ahmet Gürbüz, “Otomatik Trafik İşareti Tanıma” Yüksek Lisans Tezi,Mart 2010
Ahmet Gürbüz, “Otomatik Trafik İşareti Tanıma” Yüksek Lisans Tezi,Mart 2010
2
ayrılmıştır; tehlike uyarı işaretleri, trafik tanzim işaretleri, bilgi işaretleri, otoyol işaretleri,
duraklama ve parketme işaretleri.
1)
2)
3)
Şekil 1.1 Tehlike Uyarı İşaretleri: 1)Kasisli yol, 2)Sola tehlikeli viraj, 3)Yol çalışması3.
1)
2)
3)
Şekil 1.2 Trafik Tanzim İşaretleri: 1)Ana yola girerken dur, 2)Taşıt giremez, 3 )Öndeki taşıtı geçme.
1)
2)
3)
Şekil 1.3 Bilgi İşaretleri: 1) Tek yön , 2) Girişi olmayan yol kavşağı, 3)Hastane.
1)
2)
3)
Şekil 1.4 Otoyol işaretleri : 1) Otoyol başlangıç, 2) Otoyol band değiştirme, 3) Otoyol çıkış .
1)
2)
3)
Şekil 1.5 Duraklama ve Park İşaretleri : 1) Park yeri, 2)Haftanın tek günleri park yasak, 3)Park etmek
ve duraklamak yasak.
3
http://www.ayazagasurucukursu.net/trafik_levhalari.html
3
BÖLÜM 2
GELİŞTİRİLEN UYGULAMALAR
2.1. Literatürdeki Yeri ve Geliştirilen Uygulamalar
Daire ve üçgen trafik levhalarını görüntü üzerinde belirlemek için uygulanması gereken
işlemler sıralanmıştır;
HSV-RGB renk uzayı ve eşikleme işlemi yapılarak görüntüdeki kırmızı
renklerin ayırt edilmesi sağlanacaktır.
Hough Daire Dönüşümü (Hough Circle Transform) ile RGB renk uzayında
eşiklenmiş görüntüde daire biçimindeki cisimler aranacaktır.(Daire levhalar )
Üçgen cisim belirleme işlemiyle RGB renk uzayında eşiklenmiş görüntüde
üçgen cisimler aranacaktır. (üçgen levhalar) 4
2.2. RGB Renk Uzayını HSV Renk Uzayına Dönüştürme
RGB renk uzayı ışığı temel alarak, doğadaki tüm renklerin kodları bu üç temel renge
referansla belirtilir. Her renk %100 oranında karıştırıldığında beyaz ve %0 oranında
karıştırıldığındaysa siyah elde edilir. Bu uzayda, ana renkler olan kırmızı, mavi ve yeşil
belirtilmediği için, bu ana renklerin tanımı değiştikçe, tüm renkler değişir.
HSV (Hue, Saturation, Value) veya HSB (Hue, Saturation, Brightness) renk uzayı,
renkleri sırasıyla renk özü, doygunluk ve parlaklık olarak tanımlar. Renk özü, rengin baskın
dalga uzunluğunu belirler, örneğin sarı, mavi, yeşil, vb. açısal bir değerdir. 0° - 360°, bazı
uygulamalarda ise 0-100 arası olağanlaştırılır. Doygunluk ise rengin canlılığını belirler.
Yüksek doygunluk canlı renklere neden olurken, düşük olasılık rengin gri tonlarına
yaklaşmasına neden olur ve 0-100 arasında değişir. Parlaklık ise rengin aydınlığını yani
içindeki beyaz oranını belirler. 0-100 arasında değişir.5
RGB renk uzayında ki bir resmi HSV renk uzayına dönüştürdüğümüzde çevre
koşullardan kaynaklanan gürültü, parlaklık gibi sorunları ortadan kaldırmış veya azaltmış
oluruz.
Trafik işaretlerinin çerçevelerinin kırmızı renklerden oluştuğundan RGB‟den HSV ye
4
5
Hassan Shojania, “Real-time Traffic Sign Detection”,2006
http://tr.wikipedia.org
4
renk uzayı dönüşümü ve belli bir eşik (Threshold) değerinin üzerinde değerleri elde edersek
trafik levhalarının kırmızı renkli olan kısımlarını elde etmiş oluruz. Eşikleme işlemi sayesinde
resimde trafik işaretinin aranması gereken yerleri azaltılmış olunur. 6
H ∈ {0,360},S,V,R,G,B ∈{0,1}
MAX= max{ R,G,B}, MIN=min{ R,G,B}
S= 0 eğer MAX=0 ise ;
MIN
S= 1eğer değilse;
MAX
V=MAX
Formülasyonuyla RGB renk uazyı HSV renk uzayına dönüştürülür.
Şekil 2.1 RGB renk uzayını HSV renk uzayına dönüştürülecek orjinal görüntü.
Şekil 2.2‟ de bulunan kırmızı üçgen renkli levha RGB renk uzayındna HSV renk
uzayına dönüşümü yapılarak belirli bir eşik değerinin üzerindeki değerler elde edilmiştir.
Yangxing Liu, Satoshi Goto ve Takeshi Ikenaga “An MRF Model Based Algorithm of Triangular
Shape Object Detection in Color Images” Ağustos 23-26, 2005.
6
5
Şekil 2.2 HSV renk uzayına dönüşümü ve eşik değerinin alınmış görüntüsü.
2.3. Hough Daire Dönüşümü (Hough Circle Transform)
Hough Daire Dönüşümü(Hough Circle Transform), daire şeklindeki trafik levhalarını
bulmak için kullanılmıştır. Hough daire dönüşümü ile daire şeklindeki cisimler hızlı bir
algoritma ile elde edilmektedir.
Hough dönüşümü temelde kenarların olası geometrik şekilleri oylaması mantığı ile
çalışmaktadır. Hough dönüşümü kullanılarak şekil tespiti genel olarak aşağıdaki adımlar ile
özetlenebilir:
Kaynak görüntü üzerinde kenarlar belirlenir.
Bir eşikleme yöntemi kullanılarak görüntü ikili (siyah-beyaz) hale getirilir.
Her kenar pikseli için noktanın üzerinde olabileceği olası geometrik şekillerin
polar koordinattaki değerleri kullanılan bir akümülatör matrisi üzerinde birer artırılarak her
kenar pikselin olası şekilleri oylaması sağlanmış olur.
Akümülatör değeri en yüksek olan şekiller en çok oy alan şekiller
olduklarından görüntü üzerinde bulunma veya belirgin olma olasılıkları en yüksek olmaktadır.
Uygulamamızda kaynak görüntüler üzerinde dairesel şekil arandığından kullanılan
akümülatör matrisi çemberin merkezi olan [a,b] noktaları ve yarıçap değeri [r] olmak üzere üç
boyuttan oluşmaktadır. Belirlenen aralıktaki yarıçap değerleri için çember merkezi çember
denkleminden faydalanılarak bulunabilir.
r2 = ( x – a )2 + ( y – b )2
x = a + r*sin(θ)
y = b + r*cos(θ)
6
Kullanılan açı değeri 0 – 2π aralığında değiştirilerek bir noktanın, yarıçapı bilinen bir
çember üzerinde yer alıp almadığı tespit edilebilmektedir. Yarıçap değerinin bilinmesi
durumunda çember merkezini ifade eden [a,b] değerlerinin iki boyutlu bir akümülatör matrisi
üzerinde tutulması yeterli olacaktır. Yarıçap değerinin bilinmemesi veya bir aralık halinde
olması durumunda ise olası yarıçap değerleri bir döngü içerisinde denenerek merkez
koordinatları ve yarıçap uzunluğu boyutlarına (a,b,r) karşılık gelen akümülatör değerleri
artırılarak elde edilen üç boyutlu akümülatör matrisi elde edilebilmektedir. 7
Şekil 2.3 Hough Circle Transformu uygulanacak orjinal resim.
Şekil 2.3‟ teki 50 hızlı limitini gösteren daireye
Hough Circle Transformu
uygulanarak daire şeklinin yeri belirlenmiştir.Şekil 2.4‟ te Hough Circle Transformu
uygulanarak elde edilmiş sonuç gösterilmektedir.
7
Wojciech Wojcikiewicz ,“Hough TransformLine Detection in Robot Soccer”, 14 Mart 2008
7
Şekil 2.4 Hough Circle Transformu sonucu elde edilen görüntü.
Şekil 2.5‟ te görüntü üzerinde elde edilen sonuç gösterilmiştir.
Şekil 2.5 Hough Circle Transformunun resimdeki görüntüsü.
2.4. Üçgen Cisimlerin Belirlenmesi
Üçgen şeklindeki cisimleri belirleme ile üçgen şeklindeki trafik levhalarının yerlerinin
tespiti sağlanacaktır.
Kullanılan algoritmayla
sonuca
en
hızlı
biçimde
erişilmek
amaçlanmaktadır.
Kenar algılama(Edge Detection) verilen herhangi bir resimdeki kenarları elde etmeye
yarar. Böylelikle resimler içindeki isteğe yönelik nesneler algılanıp gerekli işlemler
yapılabilir. Temelde bir kenar farklı yüzeylerin yan yana gelmesiyle oluşmuştur. Kerneller
8
görüntü içerisinde ışık yoğunluk değişiminin ani olduğu yerleri belirlememize yarar. Kenar
algılama algoritması görüntü işlemede birçok alanda kullanılmaktadır. Trafik levhası
tanımlamada kenar algılama(Edge detection) algoritmasıyla üçgenin çerçeve (kenarları)
kısımları belirlenecektir.8 Kenar algılama dönüşümü uygulanmış görüntüye, üçgenin kenarları
elde edilen görüntüsünü y ekseni üzerinde iz düşümü alındığında küçük pigler ve bir tane
uzun pig elde edilir. Elde edilen küçük pigler düşey konumda ki üçgenin iki kenarından elde
edilen düşey görüntülerdir. Uzun pig ise üçgenin yatay konumda bulunan kenarından elde
edilen iz düşüm görüntüleridir. Şekil 2.6 „ da resmin orjinal görüntüsünün y eksenine göre iz
düşüm görüntüsü bulunmaktadır.
Şekil 2.6 Orjinal görüntünün y eksenine göre iz düşümü.
Üçgen trafik levhaları eşkenar üçgen şeklindedir. Eşkenar üçgenin açıları 60 o olup tüm
açıları birbirine eşittir. Görüntüyü 600‟‟lik açılarla döndürdüğümüzde üçgen levhaların
şekillerinde ve konumlarında bir değişiklik gözlenmemektedir. Elde ettiğimiz üç ayrı
görüntünün ayrı ayrı y eksenine göre iz düşümlerini aldığımızda tüm görüntülerin birbirine
benzer, küçük pigler ve bir tane uzun pig elde edildiği gözlenmiştir. Şekil 2.7‟ de orijinal
görüntü, şekil 2.8 „ de
60o döndürülmüş, şekil 2.9‟ da 120o
döndürülmüş üç farklı
görüntünün y ekseni üzerinde iz düşümleri gösterilmektedir.
Jiang-Ping He ve Yan Ma “Triangle Detection Based OnWindowed Hough Transform” 12-15
Temmuz 2009
8
9
Şekil 2.7 Orjinal görüntünün y ekseni üzerindeki iz düşümü
Şekil 2.8. 60o döndürülmüş görüntünün y ekseni üzerindeki iz düşümü
10
Şekil 2.9 120o döndürülmüş görüntünün y ekseni üzerindeki iz düşümü
Eşkenar üçgenin simetrik x eksenine göre simetrik özelliği bulunmaktadır. Üçgen
cismin x ekseni üzerinde simetrisi alındığında elde edilen değerlerinin belirli bir eksen
üzerinde birbiriyle eşitliği belirlenmiştir. Simetri işlemiyle üçgen şekillerin kenarlarının
birbiriyle bağlantılı olarak kapalı bir üçgen oluşturduğu kontrol edilmiştir.
Sonuçların hata payını azaltmak için orjinal görüntüyü eşit parçalara ayırarak işlemler
tekrarlanmıştır. Birbirinden kopuk
halde bulunan ve bir üçgen oluşturabilcek çizgilerin
yarattığı hataların görünmediği gözlenmiştir.
11
BÖLÜM 3
ÖNERİLER
Trafik levhalarını tanımlama sistemlerinde en önemli kısmının trafik işaretinin olduğu
bölgeyi bulabilmektir. Trafik işaretlerinin Trafik işaretinin olduğu bölgeyi tespit ettikten sonra
elde edilen resim databaseden verilerle karşılaştırılabilir.
Trafik levhalarının iki tür özelliği olan şekil ve renkleri üzerinde durularak
uygulamalar geliştirilebilir. Şekil belirlemeden önce yapılacak olan renk belirlemeyle sonuca
erişim daha hızlı sağlanacaktır.
Yapılan çalışmanın eksik yönleri bulunmaktadır. Bunlar aşağıda sırayla belirtilmiştir.
3.1.Uygulamanın Eksik Kısımları
Yeşil ve mavi renkler incelenmeyerek, sadece kırmızı renkli lavhalar üzerinde
durulmuştur.
Kırmızı iki renk cismin birbiriyle birleşmesi durumunda cisimler tek bir cisim
olarak algılanıyor ve levha belirlenemiyor.
Varolan görüntüler üzerinden denemeler yapılarak gerçek zamanlı bir işlem
gerçekleşmemiştir.
Hough dönüşümü kullanılması daha fazla işlem hacmi gerektirmektedir.
12
KAYNAKLAR DİZİNİ
[1]
Ahmet Gürbüz, “Otomatik Trafik İşareti Tanıma” Yüksek Lisans Tezi,Mart 2010.
[2]
Jiang-Ping He ve Yan Ma “Triangle Detection Based OnWindowed Hough
Transform” 12-15 Temmuz 2009.
[3]
Hassan Shojania, “Real-time Traffic Sign Detection”,2006 .
[4]
http://www.ayazagasurucukursu.net/trafik_levhalari.html .
[5]
http://tr.wikipedia.org .
[6]
http://homepages.inf.ed.ac.uk
[7]
Tam T. Le, Son T. Tran, Seichii Mita ve Thuc D. Nguyen, “Real Time Traffic Sign
Detection Using Color and Shape-Based Features” 2005.,
[8]
Yangxing Liu, Satoshi Goto ve Takeshi Ikenaga “An MRF Model Based Algorithm
of Triangular Shape Object Detection in Color Images” Ağustos 23-26, 2005.
[9]
Vavilin Andrey ve Kang Hyun Jo “Automatic Detection and Recognition of Traffic
Signs using Geometric Structure Analysis”, Oct. 18-21, 2006.
[10]
2008.
Wojciech Wojcikiewicz ,“Hough TransformLine Detection in Robot Soccer”, 14 Mart