Poisson Denklemini Kullanarak Mobil Tabanlı Fotomontaj

URSI-TÜRKİYE’2014 VII. Bilimsel Kongresi, 28-30 Ağustos 2014, ELAZIĞ
Poisson Denklemini Kullanarak Mobil Tabanlı Fotomontaj
Bekir Dizdaroğlu, Ender Karaağaç, Murat Kaya, Esra Durak, Hilal Ergün, Yavuz Sayılgan
Karadeniz Teknik Üniversitesi
Bilgisayar Mühendisliği Bölümü
Trabzon
[email protected], [email protected], [email protected], [email protected],
[email protected], [email protected]
Özet: Bu çalışmada, Poisson denkleminin çözümü iteratif bir yaklaşımla gerçekleştirilerek fotomontaj yapma
işlemi için mobil tabanlı bir uygulama geliştirilmiştir. Yöntemde, kaynak ve hedef imge olmak üzere iki farklı
fotoğraf kullanılmaktadır. Kullanıcı, kaynak imgeden herhangi bir nesneyi interaktif olarak seçmekte, ondan
sonra seçilen nesne hedef imgeye kopyalanmaktadır. Kopyalanan nesne Poisson denklemi yaklaşımıyla çıplak
gözle neredeyse hiç fark edilmeyecek şekilde hedef imgeye yapıştırılmaktadır. Görsel olarak elde edilen sonuçlar
önerilen yöntemin geçerliliğini desteklemektedir.
Abstract: In this study, a mobile-based application is developed for the photomontage process with an iterative
approach for the solution of the Poisson equation. In the method, two different photographs, called source and
target images, are used. The user interactively selects an object from the source image and then the selected
object is copied to the target image. The copied object is pasted to the target image by using the Poisson
equation approach in a way that the transition is hardly noticed with naked eye. The visually obtained results
prove the validity of the proposed method.
1. Giriş
Sayısal imge işleme alanında son yıllarda kısmi diferansiyel denklemlere bağlı olarak birçok yaklaşım
geliştirilmiştir. Bu yaklaşımlardan bir tanesi de imge üzerinde fotomontaj yapma işlemidir. Fotomontaj yapma
işleminde kaynak imgeden seçilen bir bölge, hedef imgede istenilen bir yere kopyalanmaktadır. Burada en temel
sorun, doğrudan kopyala-yapıştır işleminde kopyalanan bölgenin sınırlarının sonuç imgesinde belirgin bir
şekilde fark edilebilmesidir. Bu sorun Poisson denklemi yaklaşımıyla giderilmektedir.
Fotomontaj yapma işleminde kullanılan Poisson denkleminin çözümü için literatürde farklı yöntemler
bulunmaktadır. Perez ve arkadaşları iteratif bir yaklaşım olan ardışık aşırı gevşetme (AAG) yöntemini
kullanmışlardır [1]. Yang ve arkadaşları doğrudan ve seyrek bir yaklaşım olan alt-üst üçgen matrislere ayırma
yöntemine bağlı bir algoritma geliştirmişlerdir [2]. Morel ve arkadaşları ise, ayrık Fourier dönüşümüne bağlı
olarak doğrudan bir çözüm yöntemi önermişlerdir [3]. Yukarıdaki yöntemlerden ilk ikisinin denklem çözümünde
Dirichlet sınır koşulları dikkate alınırken [1-2], son yöntemin denklem çözümünde ise Neumann sınır koşulları
göz önüne alınmıştır [3].
Bu çalışmada ise, iteratif bir yaklaşım olan AAG yöntemi kullanılarak mobil tabanlı bir uygulama
geliştirilmiştir. Önerilen çalışma ile ilgili olarak ilk önce mobil teknolojilerden kısaca bahsedilecek ve daha sonra
fotomontaj yapma işlemi açıklanacaktır.
2. Mobil Teknolojiler
Günümüzde, hemen hemen bütün kullanıcılar, zamana ve konuma bağımlı olmaksızın, kablosuz ağ erişimi
olanağıyla internet ortamında gezinebilmek veya başkalarıyla haberleşebilmek için mobil teknolojilerinden
yararlanmaktadır.
Piyasada kullanılan mobil teknolojili akıllı telefonların çoğu Android işletim sistemiyle çalışmaktadır. Fakat
Android işletim sisteminde dezavantaj olarak görülebilecek ısınma, yavaşlama ve ekran donması gibi bazı
sorunlar hali hazırda çözüme kavuşturulamamıştır.
URSI-TÜRKİYE’2014 VII. Bilimsel Kongresi, 28-30 Ağustos 2014, ELAZIĞ
Temelde Linux çekirdeği üzerine kurulan Android işletim sistemi, ara katman yazılımı ve API (Application
Programming Interface-Uygulama Programlama Arayüzü) yaklaşımıyla C programlama dilinde yazılmış birçok
kütüphane içermektedir. Genelde Java baytkodundan çevrilen yürütülür Dalvik kodunun çalıştırılması içinse JIT
(Just In Time-Tam Zamanında) dinamik derlemeli Dalvik sanal aracı kullanılmaktadır. Geliştirilen projeler ise,
Apache Harmony yaklaşımına bağlı Java uyumlu kütüphaneler içeren bir uygulama çerçevesi üzerinden
çalıştırılmaktadır [4]. Oluşturulan projeler, derlenip ".apk" uzantılı paketlere dönüştürüldükten sonra uygulama
olarak mobil cihazlara yüklenebilmektedir.
3. Fotomontaj Yapma İşlemi
Bu çalışmada, Poisson denkleminin çözümünde, iteratif bir yaklaşım dikkate alınmış ve mobil tabanlı bir
uygulama geliştirilmiştir. Doğrudan yaklaşımlar, sonuca hızlı bir şekilde gitmelerine rağmen, bu yöntemler hem
daha fazla belleğe hem de ilave kütüphane yazılımlarına gereksinim duyduklarından, mobil tabanlı uygulama
geliştirmek açısından şimdilik uygun görülmemiştir. Önerilen yöntemde, iteratif bir yaklaşım olan ve Jacobi ve
Gauss-Seidel gibi diğer iteratif yaklaşımlara göre, sonuca daha hızlı bir şekilde yakınsama sağladığından AAG
yöntemi tercih edilmiştir.
Fotomontaj yapma işlemi için aşağıda verilen denklemin en küçüklenmesi gerekmektedir [1]:

min f  v d ω
f
2
(1)
ω
Burada g  g x , g y  ve f  f x , f y  sırasıyla kaynak imgeden seçilen bölgenin ve üretilecek
sonuç imgesinin gradyan vektör alanlarıdır. Gradyan vektör alanındaki x ve y bağımsız değişkenlerine bağlı
birinci mertebeden kısmi türevler, Taylor serisi açılımından ileri yönde sonlu farklar yaklaşımı dikkate alınarak
hesaplanabilir. v kılavuz vektörüne, kaynak imgeden seçilen bölgenin gradyan vektör alanından setleme
yapılmıştır (Şekil 1):
T
T
v  g

g
f
*
(2)
ω
ω
f
v
(a)
(b)
Şekil 1. (a) Kaynak imgeden seçilen bölge, kılavuz vektörü ve hedef imge ve (b) Poisson denklemi yöntemiyle
fotomontaj işlemi yapılmış sonuç imgesi.
 ω fotomontaj yapılacak bölgenin sınırını göstermek üzere, (1) nolu denklemin, f
ω
 f*
ω
Dirichlet sınır
koşullarına bağlı sayısallaştırılarak AAG yöntemiyle çözülmesi için aşağıdaki ifade kullanılır:


f x, y   f x, y    f x 1, y   f x, y 1  4 f x, y   f x  1, y   f x, y  1  g x, y  4
n1
n
n1
n1
n
n
n
(3)
Burada n üs-indisi iterasyonu ve x, y  imge koordinatını temsil etmektedir. f * ve f ise, sırasıyla hedef imgeyi
ve fotomontaj işlemi yapılmış sonuç imgesini göstermektedir. g  ise, g imgesinin Laplasıdır ve aşağıdaki
ifade dikkate alınarak hesaplanır:
g x, y   g x  1, y   g x, y  1  4g x, y   g x  1, y   g x, y  1
(4)
4. Deneysel Çalışmalar
Geliştirilen yönteme ait sonuçlar Şekil 2.ve Şekil 3.’de verilmiştir. Yöntemde kullanılan bütün fotoğraflar, mobil
cihazlardaki ısınma gibi sorunlar ve bellek gereksinimi de dikkate alınarak
boyutlarına ayarlanmıştır.
Fotomontaj yapılacak ω bölgesindeki bilinmeyenlere ilk değer olarak sıfır atanmıştır.  katsayısı deneysel
URSI-TÜRKİYE’2014 VII. Bilimsel Kongresi, 28-30 Ağustos 2014, ELAZIĞ
olarak 1.95 değerine setlenmiş ve işlemler 150 iterasyondan sonra sonlandırılmıştır. Geliştirilen uygulamada,
daha önceden veritabanına kaydedilen kaynak fotoğraflardan nesneler kullanıcı tarafından ya interaktif olarak
seçilmekte ya da ilgili nesneler için maske imgeleri oluşturulmaktadır. Daha sonra, seçilen nesne çıplak gözle
fark edilemeyecek şekilde hedef fotoğrafa kopyalanıp yapıştırılmaktadır. Şekil 2.d’deki fotomontaj işlemi
yapılan fotoğraf için akıllı telefondaki işlem süresi yaklaşık olarak 20 sn. dir.
5. Sonuçlar
Önerilen yöntemle elde edilen sonuçlar, fotomontaj yapma işleminin başarılı bir şekilde gerçekleştirildiğini
göstermektedir. Daha sonraki çalışmalarda, işlemleri biraz daha hızlandırmak için Poisson denkleminin
çözümünün iteratif bir yaklaşım yerine doğrudan bir yaklaşımla nasıl yapılacağı araştırılacak ve bu bağlamda
mobil tabanlı bir uygulama geliştirilecektir.
(a)
(b)
(d)
(c)
Şekil 2. Önerilen yöntemle interaktif olarak fotomontaj yapma işlemi: (a) Veritabanında daha önceden
kaydedilmiş kaynak fotoğraf (b) hedef fotoğraf, (c) kullanıcı tarafından kaynak fotoğraftan serbest çizimle
seçilen nesne (akıllı telefon ekran görüntüsü) ve (d) montaj yapılmış sonuç fotoğrafı (akıllı telefon ekran
görüntüsü).
(a)
(b)
(c)
(d)
Şekil 3. Önerilen yöntemle maske imgesine bağlı fotomontaj yapma işlemi: (b) Veritabanında daha önceden
kaydedilmiş kaynak fotoğraf, (b) kaynak fotoğrafa ait maske imgesi, (c) hedef fotoğraf ve (d) montaj yapılmış
sonuç fotoğrafı.
Kaynaklar
[1] Perez P., Gangnet M. ve Blake A., "Poisson image editing", ACM Transactions on Graphics, 22, s. 313318, 2003.
[2] Yang W., Zheng J., Cai J., Rahardja S. ve Chen C. W., "Natural and seamless image composition with color
control", IEEE Trans. Image Processing, 18, s. 2584-2592, 2009.
[3] Morel J. M., Petro, A. B. ve Sbert, C., "Fourier implementation of Poisson image editing", Pattern
Recognition Letters, 33, s. 342-348, 2012.
[4] Wikipedia, "Android (operating system)", http://en.wikipedia.org/wiki/Android_(operating_system), 2014.