Bu tezde ilk olarak renkli imgelerde yüz bulma üzerine hibrid bir
Transkript
Bu tezde ilk olarak renkli imgelerde yüz bulma üzerine hibrid bir
ÖZET İNSAN – MAKİNE ETKİLEŞİMİ İÇİN YÜZ İFADELERİNDEN DUYGU TANIMA Ulukaya, Sezer Elektrik-Elektronik Mühendisliği Tez Danışmanı: Doç. Dr. Çiğdem Eroğlu Erdem Haziran 2011, 62 sayfa Bu tezde ilk olarak renkli imgelerde yüz bulma üzerine hibrid bir yöntem sunulmaktadır. İyi bilinen ve gri tonlu imgelerde çalışan Haar öznitelik tabanlı Viola ve Jones (VJ) yüz bulma algoritmasını, renkli resimlerde daha iyi çalışır hale getirmek için, tamamlayıcı bir bilgi olan insan teninin rengini de kullanan bir yöntem önerilmektedir. İmge önce Haar öznitelik tabanlı yüz bulucudan alıcı işletim karakteristiğinde düşük yüz kaybı oranı ve yüksek yanlış yüz bulma oranı olacak şekilde geçirilir. Daha sonra, yanlış bulunan yüzler önerilen ardıl ten rengi filtresi ile kolayca elenir. Ayrıca, aydınlanma etkilerini azaltmak için renk dengeleme algoritması da kullanılmıştır. Bao renkli imge veritabanı kullanılarak yapılan deneyler sonucunda, önerilen algoritmanın orijinal VJ ve literatürdeki ön-filtreleme algoritmasından kesinlik bakımından üstün olduğu görülmüştür. Bu tezde ikinci olarak, yüz ifadesi tanıma amacıyla, bilinmeyen nötr yüz ifadesinin kestirimi için, yüzdeki geometrik öznitelik vektörleri kullanılarak Gauss Karışım Modelleri’ne dayalı bir yöntem sunulmaktadır. Kestirilen nötr yüz ifadesi, duygulu ifadeden çıkarılarak kişiye bağımlı bileşenler yerine duygu değişimini veren bileşenler elde edilmektedir. Sonra, bu elde edilen duygu değişimine ait bileşenler, destek vektör sınıflandırıcıları kullanılarak sınıflandırılmıştır. Genişletilmiş Cohn-Kanade veritabanı ile yapılan deneylerde, kişiye özel nötr yüz ifadesinin bilinmediği durumlarda yüz öznitelik vektörlerini tek başına sınıflandırmaktansa, kestirilen nötr yüz ifadesinin duygulu yüz ifadesi şeklinden çıkarıldıktan sonra sınıflandırmanın daha iyi tanıma oranları verdiği gözlenmiştir. Ayrıca, duygu tanıma için iki farklı geometrik yüz öznitelik çıkarma yöntemi deneysel olarak değerlendirilmiştir. Bunlardan ilki, takip noktalarının koordinatları tabanlı, ikincisi de bu koordinatlar arasındaki çeşitli mesafe ve açı bilgisi tabanlı yöntemlerdir. Önerilen kestirilen yüz ifadesini çıkaran ve takip noktası koordinat tabanlı öznitelikleri kullanan yöntem ortalama yüzde 88 duygu tanıma oranı vermektedir. Bu oran literatürdeki temel yöntemlere göre daha yüksektir (kişiye özel nötr yüz ifadesi ve görünüm tabanlı öznitelik vektörleri kullanmamasına rağmen). Kişiye özel nötr yüz ifadesi kullanıldığında ise ortalama duygu tanıma oranı yüzde 94’e ulaşmaktadır. Bu tezde üçüncü olarak, filmlerdeki oyuncuların otomatik tanınmasını ve izleyicinin ilgili Internet Movie Database (IMDB) web sayfasına yönlendirilmesini sağlayan bir sistemin ön çalışmasına da yer verilmiştir. Sistemde oyuncuların tanınması için gerekli olan eğitim imgeleri, oyuncuların isimleri kullanılarak yapılan Google görsel arama sonucunda elde edilmiştir. İzleyici, filmde ilgisini çeken bir oyuncu hakkında bilgi edinmek için bu oyuncunun ekrandaki yüzüne tıklar. Bunun ardından, sistem ilk olarak ön, eğer bulamazsa, profil yüz bulma işlemini gerçekleştirir. Bulunan yüz, o sahnede ileri ve geri doğru takip edilip, bir yüz dizisi oluşturulur. Oyuncunun kimliğinin saptanması için önceden webden toplanmış, farklı oyunculara ait eğitim yüz imgesi kümeleri ile filmden çıkartılan yüz dizisi karşılaştırılır. Karşılaştırma sonucunda bulunan en yakın üç kişinin IMDB sayfalarının bağlantıları kullanıcıya sunulur. Bu ön çalışmada, yüz tanımayla ilgili şu üç ilgi çekici nokta incelenmiştir: Yüz imgesi kümesi ile yüz dizilerinin karşılaştırılması, metin tabanlı görsel arama sonucu webden otomatik elde edilen ve gürültü içeren eğitim yüz imgelerinin yüz tanıma başarımı üzerine etkisi, ve son olarak, filmdeki oyuncu listesinden yararlanılması ve bu önsel bilgiyi kullanarak karşılaştırma işleminin daha kısıtlı bir sınıf sayısı için yapılmasının başarıma etkisi. Deneyler sonucunda yüz imgesi kümesi ile yüz dizilerinin karşılaştırılmasının zor bir problem olduğu gözlemlenmiştir. Anahtar Kelimeler: Adaboost, Haar öznitelik vektörleri, Nötr yüz, Gauss karışım modelleri, Ten rengi bulma, Duygu tanıma, Yüz bulma