Bu tezde ilk olarak renkli imgelerde yüz bulma üzerine hibrid bir

ÖZET
İNSAN – MAKİNE ETKİLEŞİMİ İÇİN YÜZ İFADELERİNDEN DUYGU TANIMA
Ulukaya, Sezer
Elektrik-Elektronik Mühendisliği
Tez Danışmanı: Doç. Dr. Çiğdem Eroğlu Erdem
Haziran 2011, 62 sayfa
Bu tezde ilk olarak renkli imgelerde yüz bulma üzerine hibrid bir yöntem sunulmaktadır. İyi
bilinen ve gri tonlu imgelerde çalışan Haar öznitelik tabanlı Viola ve Jones (VJ) yüz bulma
algoritmasını, renkli resimlerde daha iyi çalışır hale getirmek için, tamamlayıcı bir bilgi
olan insan teninin rengini de kullanan bir yöntem önerilmektedir. İmge önce Haar öznitelik
tabanlı yüz bulucudan alıcı işletim karakteristiğinde düşük yüz kaybı oranı ve yüksek yanlış
yüz bulma oranı olacak şekilde geçirilir. Daha sonra, yanlış bulunan yüzler önerilen ardıl
ten rengi filtresi ile kolayca elenir. Ayrıca, aydınlanma etkilerini azaltmak için renk
dengeleme algoritması da kullanılmıştır. Bao renkli imge veritabanı kullanılarak yapılan
deneyler sonucunda, önerilen algoritmanın orijinal VJ ve literatürdeki ön-filtreleme
algoritmasından kesinlik bakımından üstün olduğu görülmüştür.
Bu tezde ikinci olarak, yüz ifadesi tanıma amacıyla, bilinmeyen nötr yüz ifadesinin
kestirimi için, yüzdeki geometrik öznitelik vektörleri kullanılarak Gauss Karışım
Modelleri’ne dayalı bir yöntem sunulmaktadır. Kestirilen nötr yüz ifadesi, duygulu ifadeden
çıkarılarak kişiye bağımlı bileşenler yerine duygu değişimini veren bileşenler elde
edilmektedir. Sonra, bu elde edilen duygu değişimine ait bileşenler, destek vektör
sınıflandırıcıları kullanılarak sınıflandırılmıştır. Genişletilmiş Cohn-Kanade veritabanı ile
yapılan deneylerde, kişiye özel nötr yüz ifadesinin bilinmediği durumlarda yüz öznitelik
vektörlerini tek başına sınıflandırmaktansa, kestirilen nötr yüz ifadesinin duygulu yüz
ifadesi şeklinden çıkarıldıktan sonra sınıflandırmanın daha iyi tanıma oranları verdiği
gözlenmiştir. Ayrıca, duygu tanıma için iki farklı geometrik yüz öznitelik çıkarma yöntemi
deneysel olarak değerlendirilmiştir. Bunlardan ilki, takip noktalarının koordinatları tabanlı,
ikincisi de bu koordinatlar arasındaki çeşitli mesafe ve açı bilgisi tabanlı yöntemlerdir.
Önerilen kestirilen yüz ifadesini çıkaran ve takip noktası koordinat tabanlı öznitelikleri
kullanan yöntem ortalama yüzde 88 duygu tanıma oranı vermektedir. Bu oran literatürdeki
temel yöntemlere göre daha yüksektir (kişiye özel nötr yüz ifadesi ve görünüm tabanlı
öznitelik vektörleri kullanmamasına rağmen). Kişiye özel nötr yüz ifadesi kullanıldığında
ise ortalama duygu tanıma oranı yüzde 94’e ulaşmaktadır.
Bu tezde üçüncü olarak, filmlerdeki oyuncuların otomatik tanınmasını ve izleyicinin ilgili
Internet Movie Database (IMDB) web sayfasına yönlendirilmesini sağlayan bir sistemin ön
çalışmasına da yer verilmiştir. Sistemde oyuncuların tanınması için gerekli olan eğitim
imgeleri, oyuncuların isimleri kullanılarak yapılan Google görsel arama sonucunda elde
edilmiştir. İzleyici, filmde ilgisini çeken bir oyuncu hakkında bilgi edinmek için bu
oyuncunun ekrandaki yüzüne tıklar. Bunun ardından, sistem ilk olarak ön, eğer bulamazsa,
profil yüz bulma işlemini gerçekleştirir. Bulunan yüz, o sahnede ileri ve geri doğru takip
edilip, bir yüz dizisi oluşturulur. Oyuncunun kimliğinin saptanması için önceden webden
toplanmış, farklı oyunculara ait eğitim yüz imgesi kümeleri ile filmden çıkartılan yüz dizisi
karşılaştırılır. Karşılaştırma sonucunda bulunan en yakın üç kişinin IMDB sayfalarının
bağlantıları kullanıcıya sunulur. Bu ön çalışmada, yüz tanımayla ilgili şu üç ilgi çekici
nokta incelenmiştir: Yüz imgesi kümesi ile yüz dizilerinin karşılaştırılması, metin tabanlı
görsel arama sonucu webden otomatik elde edilen ve gürültü içeren eğitim yüz imgelerinin
yüz tanıma başarımı üzerine etkisi, ve son olarak, filmdeki oyuncu listesinden
yararlanılması ve bu önsel bilgiyi kullanarak karşılaştırma işleminin daha kısıtlı bir sınıf
sayısı için yapılmasının başarıma etkisi. Deneyler sonucunda yüz imgesi kümesi ile yüz
dizilerinin karşılaştırılmasının zor bir problem olduğu gözlemlenmiştir.
Anahtar Kelimeler: Adaboost, Haar öznitelik vektörleri, Nötr yüz, Gauss karışım
modelleri, Ten rengi bulma, Duygu tanıma, Yüz bulma