FBE_tez yazim kilavuzu

Transkript

İSTANBUL ÜNİVERSİTESİ
FEN BİLİMLERİ ENSTİTÜSÜ
DOKTORA TEZİ
İMGE KAYNAKLARININ AYRILMASINDA BAYESÇİ
YAKLAŞIMLAR
Koray KAYABOL
Elektrik-Elektronik Mühendisliği Anabilim Dalı
Danışmanlar
Prof. Dr. Hakan A. ÇIRPAN
Doç. Dr. Ercan E. KURUOĞLU
Eylül, 2008
İSTANBUL
İSTANBUL ÜNİVERSİTESİ
FEN BİLİMLERİ ENSTİTÜSÜ
DOKTORA TEZİ
İMGE KAYNAKLARININ AYRILMASINDA BAYESÇİ
YAKLAŞIMLAR
Koray KAYABOL
Elektrik-Elektronik Mühendisliği Anabilim Dalı
Danışmanlar
Prof. Dr. Hakan A. ÇIRPAN
Doç. Dr. Ercan E. KURUOĞLU
Eylül, 2008
İSTANBUL
Bu çalışma 08/09/2008 tarihinde aşağıdaki jüri tarafından Elektrik-Elektronik
Mühendiliği Anabilim Dalı, Elektrik-Elektronik Mühendisliği programında Doktora
Tezi olarak kabul edilmiştir.
Tez Jürisi
Prof.Dr. Hakan A. ÇIRPAN (Danışman)
İstanbul Üniversitesi
Mühendislik Fakültesi
Prof.Dr. Bülent SANKUR
Boğaziçi Üniversitesi
Prof.Dr. Aydın AKAN
İstanbul Üniversitesi
Prof.Dr. Ayşın Baytan ERTÜZÜN
Boğaziçi Üniversitesi
Doç.Dr. Yücel YEMEZ
Koç Üniversitesi
Elektrik-Elektronik Fakültesi
ÖNSÖZ
Bayesçi felsefe birbirinden çok farklıymış gibi görünen çözüm yollarına tek bir
pencereden bakılarak büyük resmin görülmesini sağladığından bilim insanlarına
problemler ve çözümleri için geniş bir bakış açısı sunmaktadır. Günümüzde de fizikteki
tüm doğa kuvvetlerinin aslında tek bir kuvvetten farklılaşarak oluştuğu, evrenin tek bir
noktadan genişleyerek bugünkü haline geldiği ve canlıların tek bir canlıdan
evrimleşerek ortaya çıktığı kuramları düşünülürse bütünleştirici ve genel ilkeleri olan
yaklaşımların detaycı ve özel amaca yönelik ilkesiz yaklaşımlardan daha gerçekçi ve
kalıcı olduğu söylenebilir. Elektrik, elektronik ve bilgisayar mühendisliği alanında da
bu yaklaşımların kullanılması araştırmacıları gereksiz ayrıntılarla uğraşmadan doğrudan
hedefe ulaştıracaktır. Örneğin değişimsel yaklaşımlar, eniyileme, yapay sinir ağları ve
son yıllarda yaygınlaşan genetik ve evrimsel algoritmalar Bayesçi bakış açısıyla aynı
çatı altında değerlendirilip gerekli olduğu yerlerde kullanılabilirler.
Bayesçi yaklaşımın diğer bir önemli tarafı bilinmeyene ait önsel bilginin de probleme
eklenebilmesi olanağını sağlamasıdır. Böylelikle bilinmeyen bir yandan somut gözlem
ve verilere bağlanırken diğer yandan somut olmayan bilgi ve inançlara bağlanır.
Bilinmeyene ait olan gözlemesel olmayan bu bilgi insanların o konudaki tecrübelerine,
beklentilerine ve öngörülerine dayalı olarak oluşturulabilir. Bu sayede elde olan somut
ve soyut tüm ipuçları kullanılarak bilinmeyene ulaşılmaya çalışılır.
Bu çalışmanın başından sonuna kadar yapmış olduğu öneriler, karşılıklı tartışmalar,
yurtdışından davet etmiş olduğu bilim insanları ile sağlamış olduğu tartışma ortamı ve
hem bu tezde hem de dergi çalışmalarımızda yapmış olduğu detaylı incelemeler ve
katkıları için Prof. Dr. Bülent Sankur'a, beni Bayesçi yaklaşım ile çalışmaya teşvik eden
ve verdiği Bayes dersleri ve kişisel tartışmalar ile tezime yön veren ve İtalya'daki
çalışmalarım sırasında her türlü desteği sağlayan Doç. Dr. Ercan Engin Kuruoğlu'na,
beni CNR-TÜBİTAK ortak projesine dahil ederek İtalya'da çalışma olanağı tanıyan
proje yürütücüleri Prof. Dr. Bülent Sankur ve Doç. Dr. Ercan Engin Kuruoğlu'na,
İtalya'daki çalışmalarımda kaynak ayrıştırmadaki tecrübelerinden yararlanmış olduğum
Luigi Bedini, Anna Tonazzini ve Emanuele Salerno'ya, tezde kullanmış olduğum
astrofizik imgeleri sağlayan ve gerekli açıklamaları yapan Diego Herranz'a ve PLANCK
proje ekibine, değerli destek ve yardımları için Prof. Dr. Aydın Akan, Prof. Dr. Hakan
Ali Çırpan ve Dr. Mesut Çevik'e teşekkür ederim.
Bu tezi, beni Araştırma Görevlisi olmaya teşvik eden, yüksek lisans tez danışmanım ve
doktora çalışmasına beraber başladığımız fakat genç yaşta aramızdan ayrılan hocam
Doç. Dr. Emir Tufan Akman'a armağan ediyorum.
17.07.2008
İstanbul
Koray Kayabol
i
İÇİNDEKİLER
ÖNSÖZ .........................................................................................................i
İÇİNDEKİLER ......................................................................................... ii
ŞEKİL LİSTESİ ......................................................................................... v
TABLO LİSTESİ .................................................................................... vii
SEMBOL LİSTESİ ...................................................................................ix
KISALTMALAR LİSTESİ .................................................................... xii
ÖZET ....................................................................................................... xiii
SUMMARY ............................................................................................ xiv
1. GİRİŞ ......................................................................................................1
2. GENEL KISIMLAR ...............................................................................9
2.1. BAYESÇİ ÇATI ALTINDA PROBLEM TANIMI ...................................... 10
2.2. GÖZLEM MODELİ: OLABİLİRLİK .......................................................... 11
2.2.1. Karışım Matrisinin Sonsal Dağılımı ........................................................ 12
2.2.2. Gürültü Değişintilerinin Sonsal Dağılımı................................................. 13
2.2.2.1 Gürültü Gücünün Bilinmediği Durum ................................................... 13
2.2.2.2 Gürültü Gücünün Bilindiği Durum ........................................................ 14
2.3 KAYNAK MODELİ: MARKOV RASGELE ALANLARI........................... 15
2.3.1 Markov Şartı ve Gibbs Dağılımı................................................................ 16
2.4 AYRIŞTIRILABİLİRLİK VE MRF................................................................ 22
2.4.1 Gauss Olmama ............................................................................................ 22
2.4.2 Beyaz Olmama............................................................................................. 24
2.4.3 Durağan Olmama........................................................................................ 25
2.5 MRF’LARDA PARAMETRE KESTİRİMİ ................................................... 25
ii
2.5.1 Sözde Olabilirlik Yaklaşıklığı .................................................................... 25
2.5.2 Cauchy Dağılımında Parametre Kestirimi ............................................... 26
2.6 ICA TABANLI AYRIŞTIRMA YÖNTEMLERİ ........................................... 27
2.6.1 FPICA: Sabit Noktalı ICA ......................................................................... 27
2.6.2 SOBI: İkinci Dereceden Gözü Kapalı Tanılama...................................... 29
2.6.3 SMICA ......................................................................................................... 30
3. MALZEME VE YÖNTEM .................................................................32
3.1 DETERMİNİSTİK ENİYİLEMEYE DAYALI BAYESÇİ KAYNAK
AYRIŞTIRMA.......................................................................................................... 32
3.1.1 ICM: Döngüsel Koşullu Doruk.................................................................. 32
3.1.2 ICM-var: Gibbs Önselinin Değişimsel Yaklaşıklığı ile Kaynak
Ayrıştırma............................................................................................................. 35
3.1.3 Yaklaşık Kaynak Modeli ............................................................................ 36
3.1.3.1 Yaklaşık Kaynak Modeli Parametrelerinin Belirlenmesi....................... 37
3.1.4 Benzetim Sonuçları ..................................................................................... 40
3.1.5 Deterministik Eniyileme için Vargılar ...................................................... 48
3.2 MCMC İLE BAYESÇİ KAYNAK AYRIŞTIRMA........................................ 50
3.2.1 Gibbs Örnekleme ile Kaynak Ayrıştırma................................................. 50
3.2.1.1 Markov Zincirleri ................................................................................... 51
3.2.1.2 Metropolis Yöntemi ................................................................................ 53
3.2.1.3 Gibbs Örneklemesi ................................................................................. 55
3.1.5 MCMC Yöntemi için Vargılar................................................................... 63
3.3 İSTATİSTİKSEL EM İLE ÖĞRETİCİSİZ KAYNAK AYRIŞTIRMA...... 64
3.3.1 İstatistiksel Beklenti-Enbüyükleme........................................................... 64
3.4
DÖNGÜSEL
SONSAL
NOKTA
KESTİRİMİ
İLE
KAYNAK
AYRIŞTIRMA.......................................................................................................... 71
3.4.1 Parçacık Yöntemleri ................................................................................... 73
3.4.1.1 Ardışıl Öneme Göre Örnekleme............................................................. 74
3.4.1.2 Döngüsel Sonsal Nokta Kestirimi .......................................................... 75
3.4.2 Benzetim Sonuçları .................................................................................... 78
iii
3.4.3 IPP Yöntemi için Vargılar......................................................................... 81
4. BULGULAR .........................................................................................82
4.1 ASTROFİZİK İMGELERDE BİLEŞEN AYRIŞTIRMA ............................. 82
4.2 ASTROFİZİK İMGELER İÇİN BENZETİM SONUÇLARI....................... 84
5. TARTIŞMA VE SONUÇ .....................................................................92
KAYNAKLAR ..........................................................................................97
ÖZGEÇMİŞ ............................................................................................104
iv
ŞEKİL LİSTESİ
Şekil 2.1
Şekil 2.2
Şekil 2.3
Şekil 2.4
Şekil 2.5
Şekil 2.6
Şekil 3.1
Şekil 3.2
Şekil 3.3
Şekil 3.4
Şekil 3.5
Şekil 3.6
Şekil 3.7
Şekil 3.8
Şekil 3.9
Şekil 3.10
Şekil 3.11
: (a), (b) ve (c) sırasıyla 1., 2. ve 8. dereceden komşuluk sistemleri.
(d) 1. dereceden komşuluk sistemi için klikler, (e) 2. dereceden
komşuluk için (d)’dekilere ek olan klikler .......................................... 16
: ( sl ,n − sl ,m ) ’ye karşılık potansiyel fonsiyonları. Kesikli dikey
çizgiler δ = 0.1 değerini göstermektedir r .......................................... 20
: Bir imgenin ve gradyeninin histogramları. Ayrıt imgenin histogramı
özgün imgeninkine göre daha kolay modellenebilir .......................... 21
: İki iid birbiçimli kaynak ve doğrusal karışımları. Soldakiler
zaman serilerini sağdakiler 2B saçılım diagramlarını
göstermektedir. Gözlemlerden ters dönüşüm bulunabilir .................. 22
: İki iid Gauss kaynak ve doğrusal karışımları. Soldakiler zaman
serilerini sağdakiler 2B saçılım diagramlarını göstermektedir.
Gözlemlerden ters dönüşümün bulunması dairesel yapı yüzünden
olanaksız ............................................................................................. 23
: İki iid Cauchy kaynak ve doğrusal karışımları. Soldakiler zaman
serilerini sağdakiler 2B saçılım diagramlarını göstermektedir.
Gözlemlerden ters dönüşüm bulunabilir ............................................ 23
: Birinci satır: Özgün imgeler; İkinci satır: (3.36)’daki A matrisi
ile karıştırılmış imgeler ...................................................................... 42
: β parametresinin SNR’ye göre değişimi ........................................ 43
: ICM ve ICM-var yöntemlerinin gürültüsüz durum için
ayrıştırma sonuçları.............................................................................. 44
: ICM ve ICM-var algoritmaları ile diğer algoritmalar için
PSNR’ye göre ortalama PSIR iyileşmesi ........................................... 46
: SMICA, ICM ve ICM-var algoritmaları sonuçlarının 35 dB
SNR’de görsel olarak karşılaştırılması ............................................... 47
: ICM-var algoritması ile birbirine karışmış kameraman ve yazı
imgelerinin ayrıştırılması ..................................................................... 48
: Son 1000 döngüde elde edilen değerler kullanılarak oluşturulmuş
histogramları. Birinci histogram: İkinci kaynağın (32,32)’nci
pikselinin, ikinci histogram: A matrisinin (1,1)’inci elemanının,
üçüncü histogram: gürültü değişintisinin histogramıdır .................... 58
: FPICA+GS-MRF ile GS-MRF algoritmalarının ayrıştırma
sonuçları ile özgün imgeler arasındaki karesel hatalar ...................... 60
: FPICA, SMICA ve GS-MRF algoritmaları sonuçlarının 35 dB
SNR’da görsel olarak karşılaştırılması ................................................ 61
: Farklı doku imgeleri için FPICA+GS-MRF ile FPICA ve SMICA
algoritmaları sonuçlarının 35 dB SNR’de görsel olarak
karşılaştırılması .................................................................................... 62
: SEM, GS-MRF ve ICM algoritmaları sonuçlarının 35 dB SNR’de
görsel olarak karşılaştırılması ............................................................. 69
v
Şekil 3.12
Şekil 3.13
Şekil 3.14
Şekil 4.1
Şekil 4.2
Şekil 4.3
Şekil 4.4
Şekil 4.5
Şekil 4.6
Şekil 4.7
Şekil 4.8
: 40 dB SNR altında doku imgeleri için benzetim sonuçları. Birinci
sütun, karışmış imgeler; ikinci sütun, özgün imgeler; üçüncü sütun,
IPP; dördüncü sütun, FPICA; beşinci sütun, GS ............................... 79
: 16, 32 ve 64 parçacık için döngü sayısına karşın üçüncü kaynağın
PSIR’sinin değişimi. var(PSIR), son 500 döngü kullanılarak
hesaplanmış değişintilerdir ................................................................ 80
: Bir pikselin örneklenmiş dağılımları ................................................ 80
: (a)
Özgün astrofizik imgeler, (b) Gibbs örnekleme ile
kestirilen imgeler ................................................................................ 84
: Birinci satır: Şekil 4.1’deki astrofizik imgelerin histogramları.
İkinci satır: Bileşenlere ait ayrıt (gradyen) imgelerinin
histogramları. Düz (kırmızı) çizgi yaklaşık Cauchy dağılımını
göstermektedir .................................................................................... 85
: Şekil 4.1’deki astrofizik bileşenlerin DFT’lerinin genlikleri ........... 85
: 30, 44, 70, 100, 143, 217, 353, 545, ve 857 GHz’deki gerçek
gözlemlere benzetilen yapay karışım imgeleri ................................... 87
: Gürültüsüz durumda tüm yöntemlerin CMB ve synchrotron için
PSIR sonuçlarının dağılımı ................................................................ 88
: Gürültü eklenmiş yapay astrofizik bileşenlerin karışımları. SNR
değerleri herbir imgenin üzerinde gösterilmiştir ................................ 89
: SOBI 2B SMICA ve GS-MRF ile gürültülü gözlemlerden
ayrıştırılan astrofizik bileşenler .......................................................... 90
: SEM, ICM-var ve GS-(GMRF+CMRF) ile gürültülü
gözlemlerden ayrıştırılan astrofizik bileşenler ................................... 91
vi
TABLO LİSTESİ
Tablo 1.1
Tablo 2.1
Tablo 3.1
Tablo 3.2
Tablo 3.3
Tablo 3.4
Tablo 3.5
Tablo 3.6
Tablo 3.7
Tablo 3.8
Tablo 3.9
Tablo 3.10
Tablo 3.11
Tablo 3.12
Tablo 3.13
Tablo 3.14
: Ayrıştırma yöntemlerinin Bayesçi bakış açısı ile karşılaştırılması ... 8
: SMICA algoritması ......................................................................... 31
: Newton-Raphson adımları ile ICM algoritması. Δ PSIR: Tepe
İşaret Girişim Oranındaki (PSIR: Peak Signal-to-Inference Ratio)
değişimi ve e kullanıcı tarafından belirlenen en küçük değişim
miktarını göstermektedir ................................................................... 35
: Yaklaşık önsel ile ICM-var algoritması .......................................... 40
: ICM yöntemleriyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8
öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen
ortalama PSIR değerlerinin karşılaştırılması ..................................... 43
: ICM yöntemleriyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8
öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen
M ( R ) ölçüsünün karşılaştırılması .................................................... 44
: ICM ve ICM-var yöntemlerinin hesap yüklerinin karşılaştırılması. 47
: Bir kaynak imgesi için Metropolis algoritması. qn ( sl , n , w) : l ’inci
imgenin n ’inci pikseli için öneri dağılımı; u : [0,1] aralığında
birbiçimli pozitif rasgele sayı; w : denemek için üretilen rasgele
sayı; r : üretilen örneğin kabul olasılığı ........................................... 54
: Metropolis gömülü Gibbs örneklemenin bir döngüsü ..................... 55
: GS-iid ve GS-MRF yöntemleriyle, FPICA, SOBI 1B (70
öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı)
yöntemlerinden elde edilen ortalama PSIR değerlerinin
karşılaştırılması ................................................................................. 58
: GS-iid ve GS-MRF yöntemleriyle, FPICA, SOBI 1B (70
öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı)
yöntemlerinden elde edilen M ( R ) ölçüsünün karşılaştırılması ....... 59
: Gürültüsüz durumda kaynak imgelerin bireysel PSIR (dB)
değerleri ............................................................................................. 59
: Şekil 3.10’daki imgeler için FPICA+GS-MRF yöntemiyle,
FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA (4
frekans bandı) yöntemlerinden elde edilen ortalama PSIR
değerlerinin karşılaştırılması ............................................................. 61
: Şekil 3.10’daki imgeler için FPICA+GS-MRF yöntemiyle,
FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA (4
frekans bandı) yöntemlerinden elde edilen M ( R ) ölçüsünün
karşılaştırılması ................................................................................. 62
: SEM algoritması ............................................................................. 68
: 35 dB PSNR altında GS-MRF, ICM ve SEM algritmalarının
karşılaştırılması. İkinci sütün: PSIR (dB) değerleri üçüncü sütun:
vii
Tablo 3.15
Tablo 3.16
Tablo 3.17
Tablo 4.1
Tablo 4.2
Tablo 4.3
Tek bir döngünün saniye olarak işlem süresi; dördüncü sütun:
Döngü sayısı; beşinci sütun: Dakika olarak toplam süre ................... 69
: Üç kaynak için 35 dB PSNR altında GS-MRF ve ICM’de sabit
seçilen ve SEM’de kestirilen β ve δ parametreleri......................... 70
: Döngüsel sonsal nokta kestirimi ile kaynak ayrıştırma algoritması
............................................................................................................ 78
: Parçacık sayılarına göre PSIR (dB) değerleri. Üçüncü sütun: tek
bir döngünün saniye olarak işlem süresi; dördüncü sütun: döngü
sayısı; beşinci sütun: dakika olarak toplam süre ................................ 79
: Gürültüsüz durumda ayrıştırılan bileşenlere ait PSIR (dB) ve
karışım matrisi için M ( R ) değerleri ................................................. 87
: Astofizik bileşenler için kullanılan kaynak modelleri .................... 88
: Gürültülü durumda ayrıştırılan bileşenlere ait PSIR (dB) ve
karışım matrisi için M ( R ) değerleri ................................................. 91
viii
SEMBOL LİSTESİ
A
ak , l
: Karşım Matrisi
: Karışım matrisinin elemanı
α
g (.)
H
hm , n
: α -kararlı dağılımın parametresi
: α -kararlı dağılımının momentinin hesaplanmasında kullanılan
fonksiyon
: Özdeğerlerden oluşan köşegen beyazlatma matrisi
: Birinci dereceden piksel komşularının kümesi
: x pikselinin komşularının kümesi
: MRF Gibbs dağılımının parametresi
: Ayrıt imgesinin bağımsız fakat duruğan olmayan değişinti matrisinin
tersi
: Klikler kümesi
: MRF klikleri gösteren indis
: Gamma integrali fonksiyonu
: Karışım matrisinin sonsal dağılımının değişintisi
: Metropolis kabul oranında kullanılan değişken
: Uzamsal frekans bölgesi
: Komşu pikselleri gösteren indis
: Metropolis’teki birbiçimli öneri dağılımının genişliğinin yarısı
: Cauchy dağılımının ölçek parametresi
: Delta Dirac fonksiyonu
: Algoritmalardaki durma kriteri
: Gürbüz hatanın beklenen değeri
: Yüksek geçiren süzgeç operatörü
: Frekans bölgesini gösteren indis
: α -kararlı dağılımın karakteristik fonksiyonu
: İmgeler için yönlü gradyen operatörü
: Gürbüz hata fonksiyonu
: Hessian matrisinin köşegeninden oluşan matris
: Çizgi alanı
I
i
J
j
K
k
κ
L
: Pikseller için toplam parçacık sayısı
: Rasgele piksel değişkenlerinin aldığı yeğinlik değeri
: Kaışım matrisi için toplam parçacık sayısı
: Rasgele piksel değişkenlerinin aldığı yeğinlik değeri
: Tolam gözlem sayısı
: Gözlem sayısını gösteren indis
: Endik iniş adım büyüklüğü
: Tolam kaynak imge sayısı
B (.)
B̂
B1
Bx
β
C
C
c
Γ(.)
γ
D
D
d
Δ
δ
δ (.)
e
ε
F
f
ϕ (.)
G
ix
l
A
λ
m
μ
N
n
O
P
p
p (.)
Π
π
π (.)
Ψ
ψ
Q (. | .)
q (.)
R
r
ρ (.)
S
s
s
Σ
σ2
T
t
U
V
v
ν
W
w
w
ξ
Y
y
y
η
Z (.)
z
ζ
Ω
Ω0
ω
: Kaynak imge sayısını gösteren indis
: Frekans bölgesini gösteren indis
: Çizgi alanının katsayısı
: Ayrık uzamsal piksel indisi
: Karışım matrisinin sonsal dağılımının ortalaması
: Toplam piksel sayısı
: Ayrık uzamsal piksel indisi
: Döngü sayısı
: Markov zincirindeki geçiş olasılığı matrisi
: Momentin ve gürbüz hata fonksiyonunun derecesi
: Olasılık yoğunluk fonksiyonu
: Çarpım sembolü
: pi sayısı
: Markov zincirinin limit dağılımı
: Rasgele imgelerin oluşturduğu örneklem uzayı
: Rasgele imgelerin örneklem uzayından bir örneklem
: EM yönteminin maliyet fonksiyonu
: Öneri dağılımı
: Karışım matrisinin tersiyle kendisinin çarpımından oluşan matris
: Metropolis kabul oranı
: Gibbs dağılımının potansiyel fonksiyonu
: Kaynak imgelerden oluşan matrisi
: Kaynak imgelerin vektör gösterimi
: Kaynak imgelerin piksel bölgesi gösterimi
: Toplam sembolü
: Gürültü değşintisi
: Sıcaklık parametresi
: Döngü sayısını gösteren indis
: Dikgen matris
: Gürültü matrisi
: Gürültü vektörü
: Rasgele adım süreci
: Karışım matrisinin tersi
: Parçacık ağırlıklarının vektör gösterimi
: Parçacık ağırlıkları
: Gamma integralindeki değişken
: Gözlem imgelerden oluşan matrisi
: Gözlem imgelerin vektör gösterimi
: Gözlem imgelerin piksel bölgesi gösterimi
: Ölçeklenmiş ters chi-kare dağılımının serbetlik derecesi
: Gibbs dağılımın bölüntü fonksiyonu
: Gürültünün ortalama gücü
: FPICA yönteminin adım büyüklüğü
: MCMC’deki döngü sayısı
: MCMC’de alıştrıma dönemindeki döngü sayısı
: MCMC’deki döngü sayısını gösteren indis
x
∇
ςi
: Gradyen operatörü
: i ’nci pikselin kabul olasılığı
xi
KISALTMALAR LİSTESİ
AR
BF
BSS
CMB
COBE
DFT
ESA
fMRI
FPICA
GNC
GS
ICA
ICM
i.i.d
IPP
IS
LMS
MAP
MFA
MCMC
ML
MRF
MSE
NBF
PL
PSIR
SA
SEM
SMICA
SNR
SOBI
WMAP
: Auto-Regressive; Özbağlanımlı
: Belief Propagation; İnanç Yayılımı
: Blind Source Separation; Gözü kapalı Kaynak Ayrıştırmada
: Cosmic Microwave Background; Kozmik Mikrodalga Arkafon
: COsmic Background Explorer; Kozmik Arkafon Kaşifi
: Discrete Fourier Transform; Ayrık Fourier Dönüşümü
: European Space Agency; Avrupa Uzay Ajansı
: functional Magnetic Resonance Imaging; İşlevsel Magnetik Rezonans
Görüntüleme
: Fixed Point Independent Component Analysis; Sabit Noktalı Bağımsız
Bileşen Analizi
: Graduated Non-Convexity; Aşamalı Dışbükeysizlik
: Gibbs Sampling; Gibbs örneklemesi
: Independent Component Analysis; Bağımsız Bileşen Analizi
: Iterated Conditional Mode; Döngüsel Koşullu Doruk
: independent and identically distributed; bağımsız ve özdeşçe dağılmış
: Iterated Posterior Point; Döngüsel Sonsal Nokta
: Importance Sampling; Öneme göre Örnekleme
: Least Mean Square; Enküçük Ortalama Karesel
: Maximum-a-Posteriori; Enbüyük Sonsal
: Mean Field Approximation; Ortalama Alan Yaklaşıklığı
: Markov Chain Monte Carlo; Markov Zinciri Monte Carlo
: Maximum Likelihood; Enbüyük Olabilirlik
: Markov Random Field; Markov Rasgele Alanları
: Mean Square Error; Ortalama Karesel Hata
: Nonparametric BF; Parametrik olmayan İnanç Yayılımı
: Pseudo Likelihood; Sözde Olabilirlik
: Peak Signal-to-Inference Ratio; Tepe İşaret-Girişim Oranı
: Simulated Annealing; Benzetimli Tavlama
: Stochastic Expectation-Maximization; İstatistiksel BeklentiEnbüyükleme
: Spectral Matching ICA; Spektral Eşleme ICA
: Signal-to-Noise Ratios; İşaret-Gürültü Oranı
: Second Order Blind Identification; İkinci Dereceden Gözükapalı
Tanılama
: Wilkinson Microwave Anisotropy Probe; Wilkinson Mikrodalga
Yönbağımlılık Sondası
xii
ÖZET
İMGE KAYNAKLARININ AYRILMASINDA BAYESÇİ YAKLAŞIMLAR
Bu tezde, imgelerde kaynak ayrıştırma problemi için genel bir çözüm yöntemi
tanıtılmıştır. Ayrıştırma sürecinde, diğer mevcut çalısmalardan farklı olarak,
imgelerdeki uzamsal bağımlılık Markov Rasgele Alanları (MRF: Markov Random
Field) ile modellenmiştir. MRF modelinde, fark imgeler için Cauchy dağılımı
kullanılmıştır. Bayesçi yaklaşım, kaynaklar hakkındaki önsel bilginin de ayrıştırma
problemine katılmasını sağlamaktadır. Kaynak ayrıştırmada karışım matrisi ve gürültü
değişintileri de bilinmediğinden kaynaklar, karışım matrisi ve gürültü değişintilerinin
ortak kestiriminin elde edilmesindeki zorluğun üstesinden sayısal yöntemler
kullanılarak gelinmiştir. Sayısal çözüm için dört farklı yöntem önerilmiştir. Bunlardan
birincisinde, MRF'nin genel Gibbs dağılımıyla analitik olarak çalışmanın zorluğu bu
dağılımın yönlü Gauss'ların çarpımına yaklaştırılmasıyla aşılmıştır. Kaynaklar yaklaşık
dağılımın önsel olarak kullanıldığı Enbüyük Sonsal (MAP: Maximum-a-Posteriori)
kestirimi ile bulunmuştur. İkinci yöntem Markov Zinciri Monte Carlo'yu (MCMC:
Markov Chain Monte Carlo) kullanan tam Bayesçi bir yöntemdir. Metropolis adımları
gömülerek değiştirilen Gibbs örnekleme yöntemi ile kaynaklar, karışım matrisi ve
gürültü değişintilerinin ortak kestirimi bulunmuştur. Üçüncü yöntem ikincinin MRF
parametrelerini de kestirecek şekilde genişletilmesiyle elde edilmiştir. Dördüncü
yöntemde kaynak piksellerinin nokta kestirimlerini döngüsel olarak bulmak için öneme
göre örnekleme kullanılmıştır. Önerilen yöntemler Döngüsel Koşullu Doruk (ICM:
Iterated Conditional Mode) gibi Bayesçi ve Sabit Noktalı Bağımsız Bileşen Analizi
(FPICA: Fixed Point Independent Component Analysis), İkinci Dereceden Gözükapalı
Tanılama (SOBI: Second Order Blind Identification) ve Spektral Eşleme ICA (SMICA:
Spectral Matching ICA) gibi Bağımsız Bileşen Analizi (ICA: Independent Component
Analysis) tabanlı yöntemlerle karşılaştırılmıştır. Yöntemlerin başarımları hem sentetik
doku imgeleri karışımlarında hem de astrofizik imgelerde çesitli gürültü koşulları
altında sınanmıştır. Yöntemler halen keşfedilmemiş bir nokta olan astrofizik
kaynakların ayrıştırılması probleminde kullanılmıştır. Bu problem yayımlanan WMAP (
Wilkinson Microwave Anisotropy Probe) uydu sonuçları ve beklenen PLANCK uydu
ölçümlerinden dolayı çok önemli bir gerçekliktir. Önerilen yöntemlerle diğer
yöntemlere göre daha iyi sonuçlar alınmıştır.
xiii
SUMMARY
BAYESIAN APPROACHES in IMAGE SOURCES SEPARATION
In this thesis, a general solution to the component separation problem in images is
introduced. Unlike most existing works, the spatial dependencies of images are
modelled in the separation process with the use of Markov random fields (MRFs). In the
MRFs model, Cauchy density is used for the gradient images. We provide a general
Bayesian framework for the estimation of the parameters of this model. Due to the
intractability of the problem we resort to numerical solutions for the joint maximization
of the a posteriori distribution of the sources, the mixing matrix and the noise variances.
For numerical solution, four different methods are proposed. In first method, the
difficulty of working analytically with general Gibbs distributions of MRF is overcome
by using an approximate density. In this approach, the Gibbs distribution is modelled by
the product of directional Gaussians. The sources are estimated by Maximum-aPosteriori (MAP) estimation using the approximate density as the prior. The second
method that uses the Markov Chain Monte Carlo (MCMC) is a fully Bayesian method.
In this method, modified-Gibbs embedded with the Metropolis steps is used to find the
joint estimate of sources, mixing matrix and noise variances. The third method is
improved version of the second method by adding learning steps of the MRF
parameters. In the last method, importance sampling is used to find point estimates of
source pixels iteratively. The proposed methods are contrasted to approximate Bayesian
solutions such as Iterated Conditional Modes (ICM) and to non-Bayesian solutions of
Independent Component Analysis (ICA) variety namely, Fixed Point Independent
Component Analysis (FPICA), Second Order Blind Identification (SOBI) and Spectral
Matching ICA (SMICA). The performance of the method is tested on synthetic mixtures
of texture images and astrophysical images under various noise scenarios. The
techniques have been exploited in yet unexplored issues for the astrophysical source
separation problem which has important actuality due to the WMAP satellite results
published and the PLANCK satellite measurements anticipated. The proposed methods
are shown to outperform significantly both its approximate Bayesian and non-Bayesian
competitors.
xiv
1
1. GİRİŞ
Görüntüleme sistemlerinde, özgün imge veya imgeler bir takım bozulmalara uğrar.
Bunlardan bazıları şöyle sıralanabilir: Odaklamadan ve kamera açıklığından
kaynaklanan optik bozulmalar, zamandaki örnekleme sonucu oluşan hareket bulanıklığı,
algılayıcılar tarafından üretilen veya iletim esnasında oluşan gürültü ve sonlu sayıda
algılayıcı kullanılması sebebiyle oluşan sahte spektrum etkisidir. Bu bozulmaları
dikkate alarak kurulan gözlem modeline ileri yönde imge modeli denilebilir.
Gözlemlenen imgelerden geriye doğru gidip özgün imge veya imgelerin bulunması
işlemine tersine imge problemi denir. İleri imge modelinin doğrudan tersinin bulunması,
çok noktanın tek noktaya eşlenmesi sonucu ortaya çıkan iğretilik (ill-posedness) ve
gürültüden kaynaklanan belirsizlikten dolayı kolay değildir.
Tersine problemler imge işleme alanında en fazla yer tutan zor uğraşlardan bir tanesidir.
Tersine imge problemlerine birçok örnek verilebilir. Gürültü temizlemede, gerçek
durumu bilinmeyen kaynak imge, gürültülü bir gözlemden kestirilirken imge
onarımında gürültünün yanında görüntüleme sisteminin nokta dağılım fonksiyonundan
kaynaklanan bulanıklık da giderilmeye çalışılır [1,2,3]. Süper çözünürlüklü imge geriçatımında amaç örnek seyreltilmiş, bulanıklaşmış ve gürültü eklenmiş düşük
çözünürlüklü imgelerden yüksek çözünürlüklü bir imge elde etmektir [4,5,6]. Gözü
kapalı Kaynak Ayrıştırmada (BSS: Blind Source Separation) amaç, kaynakların farklı
oranlarda karışmasıyla oluşmuş K adet gözlemden, L adet kaynağın bağımsız olarak
geri elde edilmesidir. İşlemin gözü kapalı olması demek sadece kaynakların değil
karışıma yol açan karışım matrisi ve gürültü değişintilerinin de bilinmemesidir. Bayesçi
kestirim yöntemleri bu problemin çözümü için etkili ve düzenli bir yol sağlamaktadır.
Bu tezde imge kaynaklarının ayrıştırılması problemi göz önüne alınmıştır. İmge
kaynaklarının ayrıştırılmasına bazı gerçek yaşam uygulamalarında gereksinim
duyulmaktadır. Bunlardan bazıları astrofizik imgeler, belge işleme ve fMRI (functional
Magnetic Resonance Imaging) verilerinin analizi olarak sıralanabilir. Astrofizik imgeler
2
farklı frekanslarda çalışan antenlerle elde edilmiş gözlemlerden oluşur. Bu
gözlemlerden
birbirine
karışmış
farklı
astrofizik
bileşenlerin
ayrıştırılması
gerekmektedir [7]. Belge işleme alanında ise tarama ile elde edilmiş imgelerde arka
sayfanın ön sayfaya sızması probleminin ortadan kaldırılması ve silinerek tekrar tekrar
kullanılmış olan tarihi parşömen belgelerindeki altta kalan yazıların ortaya
çıkarılmasında kaynak ayrıştırma kullanılmaktadır [8]. fMRI imgelerinde ise beynin
farklı bölgelerinde oluşan etkinlik haritalarının uzamsal ve zamansal olarak
ayrıştırılması işleminde kaynak ayrıştırmaya gereksinim duyulmaktadır [9]. Bu tezde,
bu uygulamalardan astrofizik bileşenlerin ayrıştırılması üzerinde durulmuştur.
Klasik kaynak ayrıştırma yöntemleri kaynakların birbirinden bağımsız olması kabulüne
dayanır. Doğrusal olmayan karışımlar için önerilen çözümler olsa da [10], klasik
yöntemlerdeki en genel kabul karışımın doğrusal olmasıdır. Bu çalışmada gözlemler,
bilinmeyen kaynakların bilinmeyen doğrusal karışımları olarak modellenmiştir. Bir
başka deyişle ne kaynaklar ne de karışım mekanizması bilinmektedir.
Kaynak ayrıştırma problemi için en fazla kullanılan terimlerden bir tanesi de Bağımsız
Bileşen Analizidir (ICA: Independent Component Analysis) [11]. Klasik ICA tabanlı
yöntemler dört yaklaşım altında toplanabilir. Bunlardan bir tanesi karışım matrisinin
katsayılarını kaynaklar arası karşılıklı bilgiyi enküçük yapacak şekilde bulmaktır [12].
Çok iyi bilinen ICA yöntemi, sabit noktalı (Fixed Point) veya hızlı (Fast) ICA (FPICA
veya FastICA) [13] bu yaklaşıma dayanmaktadırlar. FPICA yönteminde kaynaklar ve
gürültüyle ilgili herhangi bir kabul yapılmaz. Gürültünün temizlenmesi için ya
gözlemler bir ön süzgeçleme ya da ayrıştırılan kaynaklar bir art süzgeçleme işleminden
geçirilir. FPICA’da bu işlem bazı bilgilerin kaybına ve ayrıştırma başarımının
kötüleşmesine yol açabilir. İkinci yaklaşımda, kaynakların ve karışım matrisinin
olabilirliği enbüyüklenmeye çalışılır [14].
Üçüncü yaklaşım kaynakların Gauss olmamasını enbüyüklemeye dayanmaktadır. Bu
yaklaşımda Gauss olmama ölçüsü olarak kurtosis [15], Gauss momentleri [16] ve
negentropi [11] kullanılabilir. Dördüncü yaklaşım ise ayırıcılığı sağlamak için
kaynaklardaki zaman ilintisi veya beyaz olmamayı kullanmaktadır [17,18]. İkinci
Dereceden Gözü kapalı Tanılama (SOBI: Second Order Blind Identification)
3
algoritması [17] ikinci derece durağan istatistikleri kullanarak kaynak işaretlerindeki
zaman uyumunu işin içine katmış ve gürültüyü de dikkate almıştır. Herhangi bir 1B
yöntemi, 2B işaretleri 1B olacak şekilde dizerek 2B’ye uygulamak mümkün olmasına
rağmen 2B’nin tüm potansiyeli kullanılmamış olur, çünkü piksel komşulukları arası
farklı etkileşimlerden yararlanılmamaktadır. Bu çalışmada, 2B yerel bilginin
kaybolmaması için en basit komşuluk olan birinci dereceden piksel komşulukları
kullanılmıştır. İleriki çalışmalarda daha yüksek dereceden komşuluklar da kullanılabilir.
Karşılaştırma amacıyla SOBI algoritması da 1B’deki zaman gecikmeleri yerine uygun
2B ötelemeler ile 2B’ye uyarlanmıştır. Karşılaştırmanın en eşit ve uygun şartlarda
yapılması için birinci derece ötelemeler kullanılmıştır.
Kaynak ayrıştırma çalışmaları Bayesçi çerçeve altında gelişme göstermektedir. Klasik
ICA tabanlı yöntemlere karşı Bayesçi yaklaşımla tüm değişkenlere ve parametrelere ait
önsel bilgi çözüme katılmaktadır. Örneğin, gözlem gürültüsü sıklıkla bağımsız ve özdeş
dağılımlı köşegen değişinti matrisli sıfır ortalamalı Gauss olarak kabul edilir. İmge
ayırma bağlamında ise kaynak pikseller arasındaki uzamsal bağımlılık modeli önsel
bilgi olarak kullanılabilir. İğreti (ill-possed) problemlerde, önsel bilgi kullanımı her
zaman daha gerçekçi ve akılcı kestirimlerin elde edilmesini sağlar. Pikseller arası
ilişkinin Markov Rasgele Alanı (MRF: Markov Random Field) olarak modellenmesi ile
pikseller artık herhangi bir 2B yapıya sahip olamayacaktır. Pikseller artık birbirinden
bağımsız hareket edemeyeceği için kaynak ayrıştırmadaki çözüm uzayı da bir miktar
küçülmüş olacaktır. Bayesçi yaklaşım ayrıca tüm parametreler için eniyi çözümün
bulunabilmesine uygun bir çerçeve sağlamaktadır.
Bayesçi kaynak ayrıştırma alanında yapılan ilk çalışmalar [14], [19], [20] ve [21]’de
bulunabilir. Ayrık kaynakların ayrıştırılması için Enbüyük Olabilirlik (ML: Maximum
Likelihood) kestirimi Belouchrani ve diğ. [14] tarafından Beklenti-Enbüyükleme (EM:
Expectation-Maximization) algoritması ile bulunmuştur. Knuth [19] BSS probleminin
Bayesçi çatı altında tekrar düzenlenebileceğini göstermiştir. Mohammad-Djafari [20]
olabilirlik fonksiyonunu oluşturup, kaynaklar ve karışım matrisi için önsel olasılık
yoğunluk fonksiyonları atamıştır. Rowe [21] da BSS problemi için Bayesçi çözümü
önermiş ve Döngüsel Koşullu Doruk (ICM: Iterated Conditional Mode) ve Gibbs
örneklemesi (GS: Gibbs Sampling) yordamlarını kullanmıştır.
4
Bayesçi kaynak ayrıştırma algoritmaları iki yaklaşım altında toplanabilir. Birinci
yaklaşımda, kaynaklar saklı (gizli) değişkenler olarak kabul edilir [14] ve işlem iki
aşamada gerçekleştirilir: 1) Karışım matrisini ve gözlem gürültüsünün değişintisini
öğrenmek , 2) Kaynakları bu öğrenilen parametrelere göre kestirmek. Bu yaklaşımdaki
yöntemler kaynaklar üzerinden integral almayı gerektirdiği için analitik olarak integrali
alınabilen olasılık modelleri tercih edilir. Bu yaklaşım, farklı kaynak modelleri ile çeşitli
uygulamalarda kullanılmıştır. Bu çalışmalardan bazıları şöyle sıralanabilir: Gauss’ların
karışımı modelindeki parametreler Moulines ve diğ. [22], Snoussi ve diğ. [23] ve Attias
[24] tarafından EM yöntemi ile elde edilmiştir. Miskin [25] aynı amaçla değişimsel EM
yöntemini kullanmıştır. Miskin [25], ve Kuruoğlu ve diğ. [26] kendi yöntemlerini çeşitli
imge ayrıştırma problemlerine uygulamışlardır. Karmaşık modeller için integraller
kolay hesaplanamayabilir.
İkinci yaklaşımda, tüm değişkenlere ait ortak kestirimin bulunması için değişkenlerin
hepsine ait ortak sonsal dağılım kullanılır. Bu yaklaşımda, Bayesçi kaynak ayrıştırma
problemi kaynaklar, karışım matrisi ve gürültünün değişintisinin ortak sonsal dağılımı
enbüyüklenerek
çözülür.
Sonsalın
ortak
enbüyüklemesi
genellikle
kolay
gerçekleştirilebilen bir işlem olmadığından birçok sayısal yöntem önerilmiştir. Ortak
sonsalın doruksal kestiriminin bulunması için bir yöntem ICM’dir. Bu yöntemle herbir
değişkene ait koşullu olasılık yoğunluk fonksiyonları üzerinde enbüyükleme döngüleri
uygulanır [21]. Eğer koşullu dağılımın doruk noktası analitik olarak bulunamıyorsa,
herhangi bir belirlenimci eniyileme yöntemi kullanılabilir. Ne var ki, eğer sonsal
dağılım Gauss biçiminde değilse ICM yöntemi global tek çözümü garanti etmez. Diğer
bir seçenek sonsal dağılımdan rasgele örnekler üretilerek çözüme yaklaşılan, bir Monte
Carlo yöntemi olan Gibbs örneklemesidir. Rasgele adımlardan oluşan bu benzetimde bir
alıştırma (kızdırma) dönemi ardından üretilen rasgele örnekler, doğru ortak sonsal
dağılımdan gelmeye başlayacaktır. Bundan sonra elde edilen örneklerden hem MAP
hem de Ortalama Karesel Hata (MSE: Mean Square Error) kestirimi elde edilebilir.
Kaynak ayrıştırma çalışmalarının ilerlediği başka bir alan da kaynak modelleme
problemidir. Basit bağımsız ve özdeşçe dağılmış (i.i.d: independent and identically
distributed) Gauss modeli kaynak ayrıştırma için gerçekçi bir model olmamasına
5
rağmen Cardoso ve diğ. [27,28] durağan Gauss modelini kullanmış ve ayrıştırılabilme
özelliği olarak spektral çeşitliliği işin içine katmıştır. Sıkça kullanılan diğer bir i.i.d
model ise Gauss’ların karışımıdır [22], [23], [24], [25], [26]. Hosseini ve diğ. [29]
kaynakları Markov zinciri modeli kullanarak ayrıştırmayı önermiştir. Böylelikle
kaynakların zaman ilinti bilgisi kullanılabilmektedir. Bu yöntemlerin bazıları [25], [26]
pikseller arka arkaya dizilerek 2B imgelere uygulanmış olmasına rağmen gerçek 2B
durum ihmal edilmektedir. İmgelerin bu şekilde 1B olarak işlenmesi imgelerdeki zengin
2B yapının tam olarak işin içine katılmasını engelleyebilir.
Literatürde 2B’ye özel Bayesçi kaynak ayrıştırma çalışmaları da vardır. Tonazzini ve
diğ. [30] gözü kapalı ayrıştırma için MRF kaynak modelini önermişlerdir. [30]’da,
benzetimli tavlama (SA: simulated annealing) yordamı içinde karma bir sıralı
enbüyükleme yöntemi kullanmışlardır. Kaynaklar dışbükey ve dışbükey olmayan enerji
fonksiyonları ile modellenmiş ve belirlenimci eniyileme yöntemi ile kestirilmiştir.
Karışım matrisi ise Metropolis yöntemi ile güncellenmiştir. Snoussi ve diğ. [31],
kaynaklar için Gauss MRF modeli ve karışım imgelerinin ortak ayrıştırılması ve
bölütlenmesi için hızlı bir Markov zinciri Monte Carlo (MCMC: Markov Chain Monte
Carlo) algoritması önermişlerdir. Kuruoğlu ve diğ. [32] pikseller arası etkileşimi
modellemek için MRF modeli ve ayrıt koruyucu düzenlileştiricileri kullanmışlardır.
Çalışmalarında, karışım matrisinin parametrelerini Enbüyük Olabilirlik (ML: Maximum
Likelihood) kestirimi ile bulurken kaynak pikselleri döngüsel olarak eniyileyerek
kestirmişlerdir. Bir başka çalışmada [8], ortalama alan yaklaşıklığı (MFA: Mean Field
Approximation) MRF’ye uygulanmış ve kaynaklar ve karışım matrisi EM algoritması
ile kestirilmiştir. Ortalama alan yaklaşımı her piksel yerel olarak durağan olan bir Gauss
dağılımı olarak kabul edilerek elde edilir. Bu çalışmada, gürültü değişintisi ve Gibbs
dağılımının parametreleri sabit kabul edilmiştir.
MRF modelinde olasılık yoğunluk fonksiyonları genellikle Gibbs biçiminde
verilmektedir. Gibbs dağılımı klik enerjilerinden oluşturulan bir dağılım biçimidir.
Gibbs dağılımında ayrıt koruma için seçilen dışbükey olmayan potansiyel fonksiyonları,
belirlenimci
eniyilemeyi
zorlaştırmakta
ve
eniyi
noktaya
yakınsama
garanti
olmamaktadır. MAP kestiriminin bulunması için kullanılan yöntemler belirlenimci ve
istatistiksel olarak ikiye ayrılabilir. Belirlenimci yöntemlerin başarımı maliyet
6
fonksiyonunun dışbükeyliğine kuvvetli bir şekilde bağlıdır. En dik iniş ve NewtonRaphson en çok kullanılan belirlenimci yöntemlerdir. İstatistiksel yöntemler dışbükey
olmama durumundan pek etkilenmezler. Bu yüzden MC benzetiminde kullanılan Gibbs
örnekleme ve benzetimli tavlama gibi yöntemler yerel enküçük noktalara saplanma
probleminden kurtulmaktadırlar.
Önerilen yöntemler astrofizik imgelere uygulanmıştır. Çünkü astrofizik imgelerin
ayrıştırılmasına halen devam etmekte olan PLANCK projesinde [33], gereksinim
duyulmaktadır. Maino ve diğ. [34], hızlı ICA algoritmasını gürültüsüzlük kabulu altında
astrofiziksel bileşen ayrıştırmada kullanmışlardır. SMICA algoritması durağan Gauss
modelli astrofizik bileşenleri için [27] ve [28]’de geliştirilmiştir. Piksellerin Gauss
olarak dağılmış olmalarına karşın karışmış bileşenlerin Fourier bölgesinde ayrılabilir
olduğu kabul edilmektedir. [27]’deki çalışmanın tam Bayesçi sürümü [35]’te
önerilmiştir. Bu sürümde, karışım matrisi, gürültü ve kaynakların değişinti
matrislerinden frekans bölgesinde Gibbs örnekleme ile rasgele örnekler üretilmiştir.
Karışım ve gürültü değişinti matrislerinin en son kestirimleri Markov zincirinin
deneysel ortalaması kullanılarak bulunmuştur. Bu aşamadan sonra, kaynak bileşenler
[27]’de olduğu gibi Wiener süzgeç ile bulunmaktadır. SOBI yaklaşımı [36]’da ilintili
astrofizik imgelere uygulanmıştır. Astrofizik bileşen ayrıştırmada MRF modeli ilk
olarak [32]’de kullanılmıştır. Bileşenlerin ve karışım matrisinin ortak kestirimi ICM
tabanlı Bayesçi bir yöntemle bulunmuştur.
Bu tezde, Bayesçi imge ayrıştırma problemi için yeni sayısal çözüm yöntemleri
sunulmuştur. Tezde sunulan yöntemlerin diğer çalışmalar arasındaki yerini göstermek
için Tablo 1.1 hazırlanmıştır. Bu tabloda tüm yöntemler Bayesçi bakış açısı ile
değerlendirilmiş ve herbir yöntemde kullanılan olabilirlik, önsel dağılım ve algoritmalar
sunulmuştur. Çalışmanın diğer çalışmalardan ayrılan tarafı:
1. MRF ile modellenmiş imgeler için tam Bayesçi MCMC kestirimi bu tezde
sunulmuştur. MCMC yöntemi negatif logaritması dışbükey olmayan piksel
önselleri için en iyi kestirim yöntemidir. Bu sayede yerel eniyi noktalara
saplanma şansı deterministik eniyileme yöntemlerinde olduğundan çok daha
azdır. Kaynaklar, karışım matrisi ve gürültü değişintilerinin ortak sonsal
7
dağılımının enbüyük değerini bulmak için Gibbs örnekleme yöntemi
kullanılmıştır. Bu yöntemle herbir değişkenden rasgele örnekler üretilerek,
üretilen örneklerin ortak sonsal dağılımdan gelmesi beklenir. Belirli bir alıştırma
döneminden sonra üretilen rasgele örneklerin ortak sonsal dağılımdan geldiği
kabul edilir. Kaynak ayrıştırma için önerilen Gibbs örnekleme algoritmasının
içine örnek üretilmesi zor olan MRF ile modellenmiş imgeler için Metropolis
adımları gömülmüştür. MRF imge modeli kaynak ayrıştırmada daha önce
kullanılmış olmasına karşı [30], [31], [32], [8], MCMC yöntemi ile MRF
kaynaklarının ayrıştırılması ilk defa bu tezde sunulmuştur.
2. İmge modeli olarak ayrıt (gradyen) imgeleri için Cauchy modeli kullanılmıştır.
MRF’deki bu uzamsal bağımlı piksel modeli ayrıtların keskinliğini korurken
aynı zamanda uzamsal bağımlılığa dayalı bir ayrıştırma özelliği sağlamaktadır.
Bu özellik imgelerde bağımsız ve özdeş Gauss olmama özelliğine göre daha iyi
bir modeldir ve daha iyi ayrıştırma sonuçları elde edilmiştir.
3. Daha
önceki
MRF
modeli
kullanılarak
yapılan
kaynak
ayrıştırma
problemlerinde [26], [32], [8] MRF parametreleri sabit kabul edilmiştir. MRF
modelinin yaklaşımı olan sözde olabilirlik yaklaşıklığı MRF parametrelerinin
kestirilmesi için bu tezde kullanılmıştır.
4. Sunulan yöntemler literatürdeki rakip yöntemlerle karşılaştırılmıştır. Bu
yöntemler ICA tabanlı Gauss olmamaya dayalı olan FPICA, beyaz olmamaya
dayalı olan SOBI ve spektral çeşitlemeye bağlı SMICA ile i.i.d kaynak modelli
Bayesçi yöntemdir.
5. Önerilen Bayesçi yaklaşımlar ve MC çözümleri asrtrofizik imge ayrıştırma
probleminde sınanmıştır. Elde edilen sonuçlar MRF modeli ve Bayesçi çözüm
yöntemlerinin gürültülü astrofizik karışımlarında daha iyi olduğunu göstermiştir.
Bu tezin imge ayrıştırma problemine katkısı, önerilen Cauchy MRF imge modeli
sayesinde Gauss olmamaya ve spektral çeşitliliğe dayalı ayrıştırlabilirliğin etkili
olmadığı durumlarda ayrıştırılamayan gürültülü imge karışımları ayrıştırılabilmektedir.
MRF ile modellenmiş imgeler için kaynak ayrıştırmada MC benzetimi ilk olarak bu
tezde sunulmuştur.
8
Tablo 1.1. Ayrıştırma yöntemlerinin Bayesçi bakış açısı ile karşılaştırılması.
Olabilirlik
Kaynak önseli
Algoritma
FPICA [13]
δ (.)
cosh(.)
Deterministik eniyileme
SOBI [17]
Gauss
tektürel dağılımlı Gauss
Kapalı form çözüm
SMICA [27]
Gauss
frekans bölgesinde i.i.d Gauss
EM
[24]
Gauss
Gauss’ların karışımı
EM
[32]
Gauss
MRF (Huber potansiyeli)
[8]
Gauss
MRF (çizgi alanı)
Ortalama alan EM
Bölüm 3.1
Gauss
Yaklaşık Cauchy MRF
Bölüm 3.2
Gauss
Cauchy MRF
Gibbs örnekleme
Bölüm 3.3
Gauss
Cauchy MRF
İstatistiksel EM
Bölüm 3.4
Gauss
Cauchy MRF
Öneme göre örnekleme
Bölüm 3.1’de, Gauss olmayan önsel dağılımı Gauss’a yaklaştırarak Newton-Raphson
yöntemiyle çözmeye dayalı deterministik yöntem önerilmiştir. Bölüm 3.2’de Bayesçi
ayrıştırma problemi MCMC benzetimine dayalı Gibbs örnekleme algoritması ile
çözülmüştür. Gibbs örnekleme uzun sürmesine rağmen Gauss dağılımlarla sınır
olmadığından daha iyi sonuçlar vermiştir. Bölüm 3.3’te MRF ile modellenmiş imgelerin
önselleri olan Gibbs dağılımının parametrelerini de kestiren istatistiksel EM yöntemi
önerilmiştir. Bölüm 3.4’te, MCMC yönteminin yavaşlığından kurtulmak için öneme
göre örneklemeye dayalı bir ayrıştırma yöntemi önerilmiştir. Önerilen yöntemlere
ilişkin başarımlar için doku imgeleri ile benzetim yapılarak her bölümün sonunda
sonuçları verilmiştir. Astrofizik imge ayrıştırma uygulaması ise ayrı bir bölüm olarak
Bölüm 4.1’de verilmiştir. Son olarak Bölüm 5’te elde edilen sonuçlar tartışılmış ve
ileriye yönelik öneriler yapılmıştır.
9
2. GENEL KISIMLAR
Gözlemlenen y k , k ∈ {1, 2,…, K } imgeleri L adet kaynağın doğrusal karışımı olduğu
kabul edilmiş ve k ’ıncı gözlemin n ’inci elemanı yk ,n olarak gösterilmiş olsun. Burada
n ∈ {1, 2,…, N } vektör olacak şekilde sıralanmış piksellerin indislerini göstermektedir.
Gözlem imgesi N1 × N 2 boyutunda ise bu imgenin satırları arka arkaya gelecek şekilde
sıralanmış vektör gösterimi N = N1 N 2 boyunda olacaktır. Gözlemlerle aynı boyutta ve
birbirinden istatistikselce bağımsız olan kaynak imgeleri s l , l ∈ {1,…, L} şeklinde
gösterilmiş olsun. İmge ayrıştırma problemi K adet gözlemden L adet kaynak imgenin
bulunması olarak tanımlanır. Gözlem modeli n indisli piksel için
⎡
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
y1,n ⎤⎥
⎥
y2,n ⎥⎥
y
⎥
⎥
⎥
⎥
K , n ⎥⎦
=A
⎡
⎤
⎢ 1, n ⎥
⎢
⎥
⎢
⎥
⎢ 2, n ⎥
⎢
⎥
⎢
⎥
⎢
⎥
⎢
⎥
⎢ L,n ⎥
⎣
⎦
s
s
+V ,
n ∈ {1, 2,…, N }
(2.1)
s
şeklinde yazılabilir [11]. Burada A , elemanları ak ,l olan K × L boyutunda karışım
matrisidir. V sıfır ortalamalı ve K × K boyutunda Σ = diag{σ 12 ,…, σ K2 } kovaryans
(ortak değişinti) matrisli gürültü vektörüdür. Gürültü her imgenin her pikselinde
i.i.d’dir.
Kaynak ve gözlem imgelerinin N ×1 boyutundaki vektör gösterimleri sl ve y k göz
önüne alındığında (2.1)’deki gözlem modeli
⎡
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
y1T ⎤⎥
⎥
yT2 ⎥⎥
y
⎥
⎥
⎥
T ⎥
⎥
K⎦
=A
⎡
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
s1T ⎤⎥
⎥
sT2 ⎥⎥
⎥
⎥
⎥
T⎥
⎥
L⎦
s
+V
(2.2)
10
Y = AS + V
(2.3)
şeklinde yazılabilir. Burada gürültü V sıfır ortalamalı ve NK × NK
boyutlu
Σ = diag{ σ 12 I N ,…, σ K2 I N } kovaryans matrislidir. I N , N × N boyutunda birim matristir.
Gözlem modelinin bir başka matematiksel gösterimi
L
y k = ∑ ak ,l sl + v k
k ∈ {1, 2,…, K }
(2.4)
l =1
şeklindedir. Burada v k sıfır ortalamalı ve σ k2 I N kovaryanslı i.i.d gürültüdür. Denklem
(2.1), (2.2) ve (2.4)’teki bu gösterimler çalışma boyunca gösterim kolaylığı sağladıkları
yerlerde kullanılacaklardır.
2.1. BAYESÇİ ÇATI ALTINDA PROBLEM TANIMI
Gözü kapalı kaynak ayrıştırma problemini, Bayesçi yaklaşım ile tanımlamak için
bilinmeyenlerin, s1:L , A ve σ 12:K , gürültülü gözlemler cinsinden ortak sonsal dağılımı
yazılır [37,38]:
p(s1:L , A, σ 12:K | y1:K ) =
p(y1:K | s1:L , A, σ 12:K )
p (s1:L , A, σ 12:K ) .
p(y1:K )
(2.5)
Burada p ( y1:K | s1:L , A, σ 12:K ) gözlemlerin olabilirlik fonksiyonudur ve bilinmeyenlerin
gözlemlere bağlılığını tanımlar. Gürültü toplamsal Gauss olduğu için olabilirlik de bir
Gauss ifadesi olacaktır. Kanıt terimi p (y1:K ) bilinmeyenlerin hiçbirine bağlı olmadığı
için bir sabit olarak düşünülebilir. p (s1:L , A, σ 12:K ) terimi ise bilinmeyenlere ait ortak
önsel dağılımdır. Bu üç tür değişken birbirinden bağımsız olduğu için ortak önsel
dağılımları
p (s1:L ) p ( A ) p (σ 12:K )
şeklinde çarpanlara ayrılabilir. Bunun ötesinde
kaynaklar birbirinden bağımsız kabul edildiği için kaynakların ortak önsel dağılımı
L
p (s1:L ) = ∏ p (sl )
l =1
(2.6)
11
şeklinde çarpanlara ayırılabilir. Burada bağımsızlık sadece kaynaklar arasında olup her
bir kaynağın sl ,n , n ∈ {1, 2,…, N } pikselleri birbirine bağımlıdır. Bu yapısal imge bilgisi
MRF modeli yardımıyla kaynak ayrıştırma problemine katılabilir. Bu kabuller altında
(2.5)’teki sonsal olasılık ifadesi
L
p (s1:L , A, σ 12:K | y1:K ) ∝ p (y1:K | s1:L , A, σ 12:K ) p ( A ) p (σ 12:K )∏ p (sl )
(2.7)
l =1
olarak sadeleşir. Bu sonsal dağılımdaki çarpanların ayrıntıları izleyen iki bölümde
verilecektir.
2.2. GÖZLEM MODELİ: OLABİLİRLİK
Gözlem gürültüsü birbirinden bağımsız sıfır ortalamalı Gauss olarak kabul edildiğinden
olabilirlik fonksiyonu:
p (y1:K | s1:L , A, σ
2
1:K
K
)=∏
k =1
1
(2πσ k2 ) N / 2
⎧⎪ (y k − ∑ L ak ,l sl )T (y k − ∑ L ak ,l sl ) ⎫⎪
l =1
l =1
exp ⎨−
⎬
2
2σ k
⎪⎩
⎪⎭
(2.8)
K
p (y1:K | s1:L , A, σ 12:K ) = ∏ N (y k | y k , σ k2 )
(2.9)
k =1
şeklinde ifade edilir. Burada N (y k | y k , σ k2 ) , y k ortalamalı ve σ k2 değişintili Gauss
dağılımını göstermekte olup, her pikselin beklenen değeri
L
y k = ∑ ak ,l sl ,
k ∈ {1, 2,…, K }
(2.10)
l =1
olur.
Gözlem modelinin iki parametresi A , K × L boyutunda karışım matrisi ve σ 12:K , gürültü
değişintileridir. Bu parametrelere ait sonsal dağılımlar izleyen iki bölümde verilecektir.
12
2.2.1. Karışım Matrisinin Sonsal Dağılımı
Karışım matrisi A ’nın elemanlarının önsel dağılımı negatif olmayan birbiçimli
dağılımlar olarak seçilmiştir. Böylece ak ,l için önsel dağılım
p (ak ,l ) =
1
[u (ak ,l ) − u (ak ,l − Amax )]
Amax
(2.11)
şeklinde ifade edilebilir. Burada Amax , A ’nın alabileceği enbüyük değerdir ve u (.)
birim basamak fonksiyonudur. Amax benzetimler sırasında 100 olarak alınmıştır.
Uygulamaya yönelik olarak karışım matrisi hakkında birşeyler biliniyorsa bu bilgi
karışım matrisinin önselinin belirlenmesinde kullanılabilir; örneğin astrofizik kaynak
ayrıştırmada [36]. Bu çalışma boyunca karışım matrisine ait bir bilginin olmadığı kabul
edilerek (2.11)’deki önsel kullanılacaktır. ak ,l ’nin sonsal dağılımı (2.9) ve (2.11)
kullanılarak
p(ak ,l | y1:K , s1:L , A − ak ,l , σ 12:K ) ∝ p(y1:K | s1:L , A, σ 12:K ) p(ak ,l )
(2.12)
∝ N ( ak ,l | μ k ,l , γ k ,l )[u ( ak ,l ) − u ( ak ,l − Amax )]
şeklinde bulunur. Burada A − ak ,l , ak ,l hariç A matrisinin tüm elemanlarını ifade
etmektedir. Denklem (2.12)’deki Gauss’un ortalaması μk ,l ’yi bulmak için (2.9)
ifadesindeki üssel kısmın ak ,l ’ye göre türevi alınarak sıfıra eşitlenir ve elde edilen
denklemden ak ,l çözülür.
−ak ,l sl + (y k −
L
∑
i =1,i ≠ l
ak ,i si ) = 0
k ∈ {1, 2,…, K }
(2.13)
buradan ak ,l ’nin ML kestirimi sonsal dağılımın ortalamasına eşittir ve
μ k ,l =
L
1 T
(
s
y
−
∑ ak ,isi )
l
k
sTl sl
i =1,i ≠ l
k ∈ {1, 2,…, K }
(2.14)
13
şeklinde bulunur. Denklem (2.12)’deki ak ,l ’nin değişintisi γ k ,l ’yi bulmak için ise (2.9)
ifadesindeki üssel kısmın 2. dereceden türevi alınır. Elde edilen ifade değişintinin
tersine eşittir. Bu Fisher enformasyon matrisinin köşegen elemanlarını verir. Buradan
değişinti
γ k ,l =
σ k2
sTl sl
k ∈ {1, 2,…, K }
(2.15)
şeklinde bulunur.
2.2.2. Gürültü Değişintilerinin Sonsal Dağılımı
Bu çalışmada, gürültü için iki farklı önsel dağılım modeli kullanılmıştır. Bunlardan
birincisi gürültü hakkında hiçbir bilginin olmadığı durumda kullanılan (bilişsiz) Jeffrey
önseli, ikincisi ise gürültünün değişintisi veya gücü hakkında bir bilginin olduğu
durumda kullanılan ölçeklenmiş ters chi kare dağılımıdır [37]. Astrofizik imgelerde
oluşan gürültü antenlerden kaynaklandığı için antenlerin gürültü güçleri önceden
hesaplanabilmektedir. Önceden bilinen bu bilgi Bayes yaklaşımı sayesinde probleme
eklenebilir.
2.2.2.1. Gürültü Gücünün Bilinmediği Durum
Gürültü hakkında bir bilginin olmadığı durumda değişintiler için bilgi vermeyen Jeffrey
önseli pnon (σ k2 ) = 1/σ k2 kullanılabilir. Gürültünün ortalama gücü
zk =
L
L
1
(y k − ∑ ak ,l sl )T (y k − ∑ ak ,l sl )
N
l =1
l =1
k ∈ {1, 2,…, K }
(2.16)
şeklinde tanımlanırsa, (2.9)’daki olabilirlik fonksiyonu
K
p(y1:K | s1:L , A, σ 12:K ) = ∏
k =1
1
(2πσ k2 ) N / 2
e
−
Nzk
2 σ k2
halini alır. Böylece sonsal dağılım
p(σ k2 | y1:K , s1:L , A, σ (12 :K )5 k ) =
p ( y1:K |s1:L , A ,σ 12:K ) pnon (σ k2 )
∫ p ( y1:K |s1:L , A ,σ12:K ) pnon (σ k2 ) dσ k2
(2.17)
14
=
∫
Nz
− k
2 σ k2
2 − N/ 2
(2πσ k )
e
(σ k2 )−1
Nz
− k
2σ 2
(2πσ k2 )− N / 2 e k (σ k2 )−1 dσ k2
−
(σ k2 )− ( N / 2+1) e
=
∫
Nzk
2 σ k2
Nz
− k
2 σ k2
2 − ( N / 2+1)
(σ k )
e
dσ k2
paydadaki integralde ξ = Nzk / 2σ k2 değişken dönüşümü yapılırsa sonsal dağılım
p (σ k2 | y1:K , s1:L , A, σ (12 :K ) 5 k ) =
(σ k2 ) − ( N / 2+1) e
( Nzk / 2)
⎛ Nz ⎞
=⎜ k ⎟
⎝ 2 ⎠
−N/2
N/2
∫ξ
−
Nzk
2 σ k2
(2.18)
e dξ
N / 2 −1 − ξ
(σ k2 ) − ( N / 2+1) − 2σkk2
e
Γ( N / 2)
Nz
şeklini alır. Burada
Γ( N / 2) = ∫ ξ N / 2−1e−ξ d ξ
(2.19)
şeklinde tanımlı gamma integralidir ve bu dağılım da ters gamma dağılımı olarak bilinir
[37].
Bu
durumda
gürültünün
sonsal
dağılımı
ters
gamma
dağılımı
Inv − G( σ k2 | N /2 , Nzk /2 ) olarak gösterilebilir.
2.2.2.2. Gürültü Gücünün Bilindiği Durum
Gürültünün değişintisi bilindiği durumda gürültü değişintisi sabit olarak kabul
edilebileceği gibi bilinen değişintiyi de içeren bir önsel belirlenebilir. Bilinen
değişintiler genellikle daha önceden algılayıcılar üzerinde yapılan fiziksel deneylerle
ölçülmektedir. Bilinen değişintiler σ 2k olarak gösterilirmiş olsun. Olabilirliğe eşlenik
bir önsel olarak ölçeklenmiş ters chi-kare dağılımı kullanılabilir [37]. Bu durumda önsel
dağılım Inv − χ 2 (σ k2 | η , σ k2 )
σ2
(η/ 2)η/ 2 2 η/ 2 2 − (η/ 2+1) −η 2σkk2
(σ k ) (σ k )
pinf (σ ) =
e
Γ(η/ 2)
2
k
(2.20)
15
şeklinde ifade edilir. Burada η ölçeklenmiş ters chi-kare dağılımının serbestlik
dercesidir ve önsel değişinti bilgisinin sonsala katkısını belirleyecektir. (2.17)’deki
olabilirlik ve (2.20)’deki önsel dağılımın çarpılıp düzenlenirse sonsal dağılım
p(σ k2 | y1:K , s1:L , A, σ (12 :K )5 k ) ∝ p(y1:K | s1:L , A, σ 12:K ) pinf (σ k2 )
∝
∝
olarak
elde
edilir.
Inv − χ 2 (σ k2 | η + N ,
η σ 2k + Nzk
η+N
Bu
⎡
⎢
⎢
⎢
⎣⎢
(σ )
2 −N/2
k
e
−
Nzk
2 σ k2
2 − (η + N ) / 2 +1
k
(σ )
dağılım
da
⎤
⎥
⎥
⎥
⎦⎥
e
⎡
σ k2
⎢
2 η/ 2 +1 −η
2 σ k2
⎢ σk
⎢ σ k2
⎢
⎣
−
( )
e
1 (η 2 + Nz
σk
k
2 σ k2
önsel
⎤
⎥
⎥
⎥
⎥
⎦
)
dağılıma
eşlenik
olarak
) şeklinde bir ölçeklenmiş ters chi-kare dağılımıdır [37].
2.3. KAYNAK MODELİ: MARKOV RASGELE ALANLARI
İmgelerde komşu pikseller birbirlerine oldukça bağımlıdır. Bu bağımlılık türdeş veya
aynı rasgele özellikleri gösteren pikseller arasında, bütünsel olarak ilinti fonksiyonu
veya spektral güç yoğunluğuyla tanımlanabilir. Spektral güç yoğunluğu olarak 1/f
spektrumu ya da özbağlanım (AR: Auto-Regressive) spektrumu kullanılabilir. Oysa
Markov Rasgele Alanları (MRF) daha yerel bir model olup, pikseller arası ilişkileri ve
ani değişimleri tanımlamakta kullanılır.
N = N1 × N 2 boyutlu bir görüntü için X = {x1 , x2 , …, xN } siteler kümesi olsun.
B = { B x , x ∈ X} ise bu küme üzerinde tanımlı komşuluk sistemi olsun. Komşuluk
sistemi X ’in alt kümelerinin bir araya getirilmesidir. Bir araya getirilme şartları:
•
x ∉ B x ve
•
x ∈ Br ⇐⇒ r ∈ B x dir.
c ⊆ X olmak üzere, c ’nin içinde kalan ayrı site çiftleri bir birinin komşusuysa bu c
kümesine klik denir. Kliklerin oluşturduğu küme de C olsun.
16
Şekil 2.1: (a), (b) ve (c) sırasıla 1., 2. ve 8. dereceden komşuluk sistemleri. (d) 1. dereceden
komşuluk sistemi için klikler, (e) 2. dereceden komşuluk için (d)’dekilere ek olan klikler.
sl ,n l ’inci kaynağa ait yeğinlik (intensity) süreci olsun. Bu durumda X , bu sürecin
tanımlı olduğu 2B uzamsal koordinat noktalarının sıralanmasından oluşur. Şekil 2.1 (a),
(b) ve (c)’de 1., 2. ve 8. dereceden komşuluk sistemleri görülmektedir. Birinci
dereceden
komşuluk
sisteminde
x = (i , j ) ∈ X
sitesinin
komşuları
kümesi
B(i , j ) = {(i, j − 1), (i, j + 1), (i − 1, j ), (i + 1, j )} dir. Birinci dereceden komşuluk için klikler;
{(i, j )} ,
{(i, j ), (i, j + 1)} ,
{(i, j ), (i + 1, j )} ,
{(i, j ), (i − 1, j )}
ve
{(i, j ), (i, j − 1)}
şeklindedir. Bunlardan ilk üçü Şekil 2.1 (d)’de görülmektedir. İkinci dereceden
komşuluk için Şekil 2.1 (e)’dekilere Şekil 2.1 (d)’dekiler de eklenir.
2.3.1. Markov Şartı ve Gibbs Dağılımı
Sl = {Sl ,n , n ∈ X } bir rasgele değişkenler ailesi olsun. Ψ = {ψ = ( sl ,1 , sl ,2 ,…, sl , N )} bu
rasgele değişkenlere ait örneklem uzayı olsun. Bu örneklem uzayı üzerinde tanımlı
( Sl ,1 = sl ,1 , Sl ,2 = sl , 2 ,…, Sl , N = sl , N ) olayı kısaca ( Sl = ψ ) şeklinde yazılabilir.
17
B komşuluk sistemine göre,
P ( Sl = ψ ) > 0,
∀ ψ ∈Ψ
(2.21)
ve
P ( Sl ,n = sl ,n | Sl ,m = sl ,m , m ≠ n ∈ X ) = P ( Sl ,n = sl ,n | Sl ,m = sl ,m , m ∈ Bn )
(2.22)
şartlarını sağlayan Sl ,n sürecine Markov Rasgele Alanı denir [40].
Gibbs dağılımı bir MRF’ye ait birleşik dağılım fonksiyonu tanımlar. Bir Gibbs dağılımı
her zaman bir MRF üretir. Bunun tersi de doğrudur, dolayısıyla bir MRF, bir Gibbs
dağılımı ile ifade edilebilir. Komşuluk sistemine göre tanımlanan koşullu olasılık
dağılım fonksiyonları bu birleşik dağılım kullanılarak bulunabilir.
Bir MRF’ye ait olasılık yığın fonksiyonu Gibbs dağılımı formunda
p ( Sl ,n = sl , n ) =
1 −U ( sl ,n )
e
Z
(2.23)
olarak tanımlanır. Bu ifadede bölüntü fonksiyonu
Z =∑e
−U ( sl ,n )
(2.24)
sl ,n
toplam olasılığın bire eşit olmasını sağlar. U ( sl ,n ) tüm klik potansiyellerinin
toplamından oluşan enerji fonksiyonudur.
U ( sl , n ) =
1
∑ βl ρ ( sl ,n − sl ,m )
2 {n,m}∈C
(2.25)
Burada ρ (.) , klik potansiyelidir.
İmge işleme alanında, MRF’ler iğreti tersine problemlerde, problemi iyileştirme
işleminde yer almışlardır [40,41]. Tersine problemlerin düzenlileştirilmesinde kullanılan
18
en basit klik potansiyeli karesel fonksiyondur ρ ( sl ,n − sl ,m ) = ( sl ,n − sl ,m ) 2 . Tüm imge için
karesel potansiyel fonksiyonu matris vektör formunda
ρ (Fsl ) =|| Fsl ||22
(2.26)
şeklinde yazılabilir. Bu fonksiyon Tikhonov düzenlileştirmesi olarak da bilinir [39].
Burada F imgenin belirli kısımlarını yakalayan bir matristir. Gözleme yol açan ve ileri
yönde imge modeli diye adlandıracağımız model genelde alçak geçiren bir yapıya
sahiptir. Bu modelin tersi alınmaya- yani gözlemden kaynağa gidilmeye çalışıldığında,
sistemin transfer fonksiyonundaki yüksek frekanslı terimler sıfır veya sıfıra yakın
olduğundan, o frekanslarda ters fonksiyon sonsuza gidecektir. Bu sorunu bertaraf etmek
için düzenlileştirme terimi eklenerek yüksek frekanslı terimlerin olağan üstü büyümesi
denetlemiş olur. Bunun için imge işlemedeki tersine problemlerde F matrisi genellikle
yüksek geçiren bir süzgeci temsil eder. Gibbs dağılımında karesel potansiyel kullanarak
problemin düzenlileşmesi ve gürültünün temizlenmesi sağlanır; ne var ki aynı zamanda
imgedeki yüksek frekans içerikli ayrıtların da düzleşmesine ve netlik yitimine neden
olunur.
Denklem (2.25)’teki Gibbs dağılımının β parametresi belirlenimci (deterministic) veya
değişimsel (variational) yaklaşımdaki Lagrange çarpanına karşılık gelir. Böylece önsel
dağılımın sonsal üzerindeki katkısını ve dolayısıyla düzleme işleminin miktarını
belirler. Eğer β büyük seçilirse önsel dağılımın ağırlığı artacağından imge içindeki
ayrıtlar bulanıklaşacaktır. Çünkü imge yumuşak geçişlere zorlanacaktır. Bu değerler
gözlemlenen imgede gürültü miktarı fazlaysa tercih edilir. Gürültü miktarı az ise küçük
β değerleri daha iyi sonuç verecektir [1,2,3].
Düzleştirme etkisini önlemek için önerilen yöntemlerden biri ayrıtların yerini belirleyen
bir çizgi alanı veya süreci (line field) hn , m kullanmaktır [40],[41]. Çizgi süreci eklenmiş
enerji fonksiyonu
U ( sl ,n , hn ,m ) = U ( sl ,n | hn,m ) + U (hn,m )
19
=
1
β l ( sl , n − sl ,m ) 2 (1 − hn,m ) + ∑ λ hn, m
∑
2 {n,m}∈C
{n , m}∈C
(2.27)
olarak yazılabilir. Burada hn , m ∈ {0,1} gibi ikili değerler alan bir süreçtir. hn , m = 0 , o
klikte süreksizliğin olmadığını ve karesel potansiyelin geçerli olduğu anlamına gelir.
hn,m = 1 ise klikte bir ayrıt olduğunu gösterir ve karesel potansiyel o kliğe uygulanmaz.
Çizgi alanı dışbükeyliği bozduğu için bu problemlerin çözümü için aşamalı
dışbükeysizlik (GNC: Graduated Non-Convexity) [41] ve benzetimli tavlama (SA:
Simulated
Annealing)
[42],[40]
algoritmaları
kullanılmıştır.
Çizgi
alanının
belirlenmesinde, hangi değerden büyük ayrıtların çizgi olarak tanımlanacağı çok açık
değildir. Bu model yerine ayrıt uyumlu potansiyeller önerilmiştir [43], [3], [2], [1].
Bu fonksiyonlar genlikleri düşük ayrıtları düzleştirirken, genlikleri yüksek ayrıtları daha
az düzleştirmekte veya hiç değiştirmemektedir. Bu fonksiyonlardan bazıları şunlardır:
Huber fonksiyonu:
⎧ 1
2
⎪ 2δ ( sl ,n − sl , m ) , | sl , n − sl ,m |≤ δ l , d
⎪
ρ ( sl ,n − sl ,m ) = ⎨ l ,d
⎪ |s − s |−δ l , d
diger
⎪⎩ l ,n l ,m 2
(2.28)
Negatif log-Cauchy fonksiyonu:
⎡ ( sl ,n − sl , m ) 2 ⎤
ρ ( sl ,n − sl ,m ) = log ⎢1 +
⎥.
δ l ,d
⎣⎢
⎦⎥
(2.29)
Doymuş karesel:
ρ ( sl ,n − sl ,m ) =
( sl ,n − sl ,m )2
δ l ,d + ( sl ,n − sl ,m )2
(2.30)
Fonksiyonlara ait grafikler Şekil 2.2’de gösterilmektedir. Fonksiyonlar seçilirken sadece
ayrıtları koruma özelliği değil şu temel özelliklere de sahip olması gerekmektedir [1]:
20
Şekil 2.2: ( sl ,n − sl ,m ) ’ye karşılık potansiyel fonsiyonları. Kesikli dikey çizgiler δ = 0.1
değerini göstermektedir.
•
ρ ( sl , n − sl ,m ) ≥ 0 , ∀( sl ,n − sl ,m ) , ve ( sl ,n − sl ,m ) = 0 için ρ ( sl , n − sl ,m ) = 0 ,
•
çift (simetrik) fonksiyon olmalı,
•
türevi alınabilir olmalı,
•
ρ ′ ( sl ,n − sl ,m ) ≥ 0 , ∀( sl ,n − sl ,m ) ≥ 0 olmalıdır.
Karesel fonksiyon tam dışbükey, Huber fonksiyonu yarı dışbükey ve diğer iki fonksiyon
ise dışbükey olmayandır. Karesel fonksiyon daha önce belirtildiği gibi görüntünün her
yerinde aynı düzleştirmeyi sağlar. Huber fonksiyonu yeğinlikler arasındaki fark belirli
bir δ eşik değerini aştıktan sonra doğrusal bir kısıt uygulamaktadır. Negatif log-Cauchy
ve doymuş karesel fonsiyonları da δ seviyesinden sonra düzleştirme kısıtını gittikçe
azaltan
fonksiyonlardır.
Negatif
log-Cauchy
fonksiyonu
Cauchy
dağılımının
logaritmasının negatifidir.
Negatif log-Cauchy fonksiyonu [43]’te Poisson verilerinden imge geriçatımında
kullanılmış, karesel ve doymuş karesel potansiyellerine göre daha iyi sonuç verdiği
rapor edilmiştir. Bu fonksiyon ayrıca imge işlemede kullanılan değişimsel bir yaklaşım
21
Özgün imge
Ayrıt imge
Özgün imgenin histogramı
Ayrıt imgenin histogramı
Şekil 2.3: Bir imgenin ve gradyeninin histogramlari. Ayrıt imgenin histogramı özgün
imgeninkine göre daha kolay modellenebilir.
olan yönbağımlı yayınımda (anisotropic diffusion) [44] da kullanılmıştır. Bu
yaklaşımda imge kısmi türevsel denklem (yayınım denklemi) ile değişime uğratılır.
Yönbağımlı yayınım ile dayanıklı istatistiksel yöntemler arasındaki ilişki [45]’te
incelenmiştir. Negatif log-Cauchy fonksiyonu [45]’te Lorentzçi hata normu olarak
isimlendirilmiştir. Negatif log-Cauchy fonksiyonu ile yapılan denemeler sonucu gürültü
temizleme uygulamasında da diğer üç fonksiyona göre daha iyi sonuç verdiği
görülmüştür. Bunun için bu tezdeki kaynak ayrıştırma uygulamasında Gibbs
dağılımının potansiyel fonksiyonu negatif log-Cauchy olarak seçilmiştir. Cauchy
dağılımının ölçek paremetresi δ ’nın hesaplanması, örneğin Huber fonksiyonuna göre
daha kolay olacaktır. Şekil 2.3’te bir gradyen operatörü uygulanarak elde edilmiş ayrıt
imgesinin histogramı görülmektedir. Özgün imgenin modellenmesi görüldüğü gibi çok
zordur, örneğin Gauss karışımları gibi genel bir dağılımla modellenebilir. Oysa ayrıt
imgenin dağılımı şekilden görüldüğü gibi uzun kuyruklu bir dağılımla kolayca
modellenebilir. Cauchy dağılımı da uzun kuyruklu bir dağılım olduğu için ayrıt imgeleri
için uygun bir dağılımdır.
22
Birbiçimli 2
Birbiçimli 1
Birbiçimli 1
Gözlem 2
Birbiçimli 2
Gözlem 1
Şekil 2.4: İki i.i.d birbiçimli kaynak ve doğrusal karışımları. Soldakiler zaman serilerini
sağdakiler 2B saçılım diagramlarını göstermektedir. Gözlemlerden ters dönüşüm bulunabilir.
2.4. AYRIŞTIRILABİLİRLİK VE MRF
Kaynakların ayrılabilir olmaları için (2.6)’da verilen bağımsızlık şartından başka her
kaynağın sahip olması gereken özellikler vardır. Cardoso [18] bu özellikleri üç madde
altında toplamıştır:
•
Gauss olmama
•
Beyaz olmama (ilintili olma)
•
Durağan olmama
Kaynak süreçlerinin ayrılabilir olması için bu üç özellikten birine sahip olması
gerekmektedir.
2.4.1. Gauss Olmama
Gauss olmama özelliği i.i.d kaynaklar için geçerlidir. Bunun anlaşılabilmesi için Şekil
2.4-2.6’da üç farklı i.i.d iki değişkenli dağılım karşılaştırılmıştır. Bu dağılımlar
birbiçimli, Gauss ve Cauchy’dir. Gauss dağılımlı kaynaklar için ters dönüşümün
23
Gauss 2
Gauss 1
Gauss 1
Gözlem 2
Gauss 2
Gözlem 1
Şekil 2.5: İki i.i.d Gauss kaynak ve doğrusal karışımları. Soldakiler zaman serilerini sağdakiler
2B saçılım diagramlarını göstermektedir. Gözlemlerden ters dönüşümün bulunması dairesel
yapı yüzünden olanaksız.
Cauchy 2
Cauchy 1
Cauchy 1
Gözlem 2
Cauchy 2
Gözlem 1
Şekil 2.6: İki i.i.d Cauchy kaynak ve doğrusal karışımları. Soldakiler zaman serilerini sağdakiler
2B saçılım diagramlarını göstermektedir. Gözlemlerden ters dönüşüm bulunabilir.
24
bulunması olanaksızdır. Çünkü ters dönüşüm sonucunda bulunacak kaynaklar da
dairesel olarak dağılmış olcağından kaynakları doğru ayırmak olanaksızdır. Birbiçimli
dağılım için ters dönüşümü bulmak daha kolaydır. Uzun kuyruklu bir dağılım olan
Cauchy dağılımında Şekil 2.6’da görüldüğü gibi örnekler eksenler üzerinde dağılmış
olduğundan ayrıştırılabilirlik çok daha basittir.
Gauss olmama özelliğini kullanan yöntemlerden en çok bilineni FPICA’dır [13].
FPICA’da kullanılan karşıtlık fonksiyonu Bayesçi kaynak ayrıştırmada Gauss olmayan
önsel dağılımın negatif log’unun türevine denk gelmektedir [19], [21]. Ayrıntılar için
Bölüm 2.6.1’e bakılabilir. Gauss olmamayı kullanan bir başka yaklaşım da yüksek
dereceden momentleri kullanarak dağılımı mümkün olduğu kadar Gauss’tan
uzaklaştırmaktır [11,15,16].
i.i.d Cauchy ile modellenmiş bir imge kaynağı için önsel dağılım,
⎡ (s − s ) ⎤
p (sl ) = ∏ ⎢1 + l , n l ⎥
δ bod ⎦
n =1 ⎣
N
−1
(2.31)
şeklinde yazılabilir. Burada s l piksellerin ortalamasıdır ve
sl =
1
N
N
∑s
n =1
l ,n
(2.32)
şeklinde tanımlanır. δ bod i.i.d Cauchy dağılımının ölçekleme parametresidir.
2.4.2. Beyaz Olmama
Beyaz olmama özelliği işaretlerin zamansal veya uzamsal olarak ilintili olduğu
kabulune dayanır. Bu da kaynakların zamansal veya uzamsal farklı bir yapıları olması
demektir. İlintiyi kullanan ayırma yöntemlerinden biri Second Order Blind
Identification SOBI yöntemidir [17]. Bu yöntemde çeşitli ötelemeler ile hesaplanan
ikinci dereceden ilintiler ayırım için kullanılır. Bu yöntemin ayrıntıları Bölüm 2.6.2’de
verilecektir. Bir başka çalışmada [29], ilintiyi modellemek için Markov süreci
kullanılmıştır.
25
İmgeler için bu 2B yapı bilgisi MRF ile modellenebilmektedir. MRF ile modellenmiş
bir kaynağa ait önsel dağılımın (2.23)’teki gibi Gibbs formunda olduğu söylenmişti. Bu
dağılım sekiz yöndeki klikler kullanılarak vektör formunda
p (sl | β l ,1:8 , δ l ,1:8 ) =
1
⎧ 8
⎫
exp ⎨−∑ β l ,d ρ (sl − G d sl | δ l , d ) ⎬
Z ( β l ,1:8 , δ l ,1:8 )
⎩ d =1
⎭
(2.33)
şeklinde yazılabilir. Herbir yöndeki klik farkları sl( d ) = sl − G d s l olarak tanımlanır.
Burada, G d , d yönünde tek piksel öteleme operatörüdür.
Bu çalışma boyunca, uzamsal ilinti ayrıştırılabilirlik özelliği olarak kullanılacak ve
(2.33)’teki dağılım Cauchy potansiyeli ile esas alınacaktır.
2.4.3. Durağan Olmama
Kaynakların durağan olmama özelliğinden yararlanılır. Örneğin, değişintileri zamana
göre değişen kaynakların anlık ayrıştırılmasında [46] bu özellik kullanılmıştır. İmge
işlemede ise bu herbir piksel için değişen istatistikleri kullanmak anlamına gelir.
Örneğin pikselleri birbirinden bağımsız ve değişintileri pikselden piksele değişen
Gauss’larla
modelleyerek
ayırmaya
çalışmak
durağan
olmama
özelliğinin
kullanılmasıdır. Bu yaklaşım, MRF için β veya δ parametrelerinin veya her ikisinin
birden uzama bağlı olmasına karşılık gelir. Bu çalışmada bu özellik kullanılmamıştır.
2.5. MRF’LERDE PARAMETRE KESTİRİMİ
Denklem (2.33)’te verilen Gibbs dağılımından β ve δ parametrelerinin öğrenilmesi
bölüntü fonksiyonu Z ( β l ,1:8 , δ l ,1:8 ) yüzünden çok zordur. Bölüntü fonksiyonunun Monte
Carlo ile hesaplandığı çalışmalar [47], [48] olmasına rağmen işlem yükleri çok fazladır.
Bunun yerine sözde olabilirlik (PL: Pseudo Likelihood) yaklaşıklığı kullanılabilir. PL
yaklaşıklığında bölüntü ve enerji fonksiyonu piksel bazında ayrılabilir hale getirilir.
2.5.1. Sözde Olabilirlik Yaklaşıklığı
Gibbs dağılımı kaynaklar için önsel dağılım iken kaynak parametreleri β ve δ ’lar için
olabilirlik fonksiyonudur. Kaynaklara ait bu olabilirlik fonsiyonunu imgenin kendisine
26
değil ayrıt imgeye bağlı olarak yazılabilir. Bu durumda (2.23)’teki Gibbs dağılımının
enerji fonksiyonunu
8
U (sl( d ) | β l ,1:8 , δ l ,1:8 ) = ∑ β l , d ρ (sl( d ) | δ l , d )
(2.34)
d =1
şeklinde yazılabilir. Yönlü türevler alınarak bulunan sıfır ortalamalı sl( d ) ayrıt imgeleri
için klik potansiyeli ρ (sl( d ) | δ l ,d ) = − log p(sl( d ) | δ l ,d ) şeklinde δ l ,d ’nin olabilirliğinin
negatif logaritması olur. p(sl( d ) | δ l ,d ) fonksiyonu ise çok değişkenli Cauchy dağılım
olarak
p(s
(d )
l
| δ l ,d ) = δ
−N/2
l ,d
⎡ (sl( d ) )T sl( d ) ⎤
⎢1 +
⎥
δ l , d ⎦⎥
⎣⎢
− ( N +1) / 2
(2.35)
şelinde yazılabilir. Burada p(sl( d ) | δ l ,d ) fonksiyonu δ ’ların olabilirlik fonksiyonudur.
En sonunda β ve δ ’lara ait ortak yaklaşık olabilirlik
8
p (sl( d ) | β l ,1:8 , δ l ,1:8 ) = ∏ β lN, d/ 2 exp {− β l , d ρ (sl( d ) | δ l ,d )}
(2.36)
d =1
olarak bulunur. Bu olabilirlik kaynak parametrelerinin kestirilmesi için kullanılacaktır.
2.5.2. Cauchy Dağılımında Parametre Kestirimi
Cauchy dağılımı öteleme ve ölçekleme olarak iki parametre ile belirlenir. Denklem
(2.35)’te verilen Cauchy dağılımının öteleme parametresi sıfırdır. Ölçekleme
parametresi ise δ l ,d ’dir. Cauchy dağılımının ortalama ve değişintileri tanımlı değildir.
Parametre kestirimi de kolay değildir. ML kestirimi ile bulunan δ l ,d parametresi doğru
sonuçlar vermemektedir. Bunun yerine moment yönteminden yararlanılır [49]. Cauchy
dağılımı α -kararlı dağılımlar ailesinin bir üyesidir. α -kararlı dağılımlar karakteristik
fonksiyonları ile tanımlanırlar. Bir s değişkeni için karakteristik fonksiyon
ϕ ( ) = exp{js0 − δ | |α }
şeklinde yazılabilir. Bu durumda p ’inci moment
(2.37)
27
E[| s | p ] = B( p, α )δ p/α ,
0< p <α
(2.38)
ifadesi ile bulunabilir [49]. Burada
B( p, α ) =
2 p +1 Γ(( p + 1) / 2)Γ(− p/α )
α π Γ(− p / 2)
(2.39)
dir. Bu çalışmada kullanılan Cauchy dağılımı için (2.37)’deki s0 = 0 ve α = 1 olarak
alınır. Bu durumda (2.38) ve (2.39)
E[| sl(,dn) | p ] = B( p,1)δ p ,
0 < p <1
(2.40)
ve
B ( p,1) =
2 p +1 Γ(( p + 1) / 2)Γ(− p)
π Γ(− p/ 2)
(2.41)
şekline dönüşür. δ parametresi (4)’dan kolayca bulunabilir. Denklem (2.40)’daki
beklenti ayrıt imgedeki tüm pikseller kullanılarak hesaplanan | sl(,dn) | p ’nin ortalaması ile
yaklaşık olarak bulunabilir.
2.6. ICA TABANLI AYRIŞTIRMA YÖNTEMLERİ
Bu bölümde ICA tabanlı kaynak ayrıştırma yöntemlerine ait ayrıntılar verilecektir.
Bunlar FPICA [13], SOBI [17] ve SMICA [27,28] algoritmalarıdır.
2.6.1. FPICA: Sabit Noktalı ICA
FPICA algoritmasında ayrıştırılabilirlik özelliği bağımsız Gauss olmamadır. FPICA
algoritmasının Bayesçi bir yaklaşımla elde etmek için karışım matrisi A ’nın olabilirliği
gizli değişken olarak kabul edilen S matrisi üzerinden
p(Y | A) = ∫ p(S, Y | A)dS
= ∫ p ( Y | S, A ) pS (S )dS
(2.42)
28
şeklinde ifade edilir. FPICA’da gözlemlerde gürültünün olmadığı kabul edildiğinden
olabilirlik p ( Y | S, A ) = δ ( Y − AS) şeklinde delta Dirac fonksiyonu olarak yazılabilir.
S′ = AS değişken dönüşümü yapılıp bu olabilirlik (2.42) ifadesinde yerine yazılırsa
sonsal olasılık
p(Y | A) = ∫
=
1
δ (Y − S′) pS ( A −1S′)dS′
det | A |
1
pS ( A −1Y)
det | A |
(2.43)
(2.44)
olarak elde edilir. A ’nın log olabilirliği
L = − logdet | A | + log pS ( A −1Y )
(2.45)
şeklinde yazılıp, A matrisinin tersi W = A −1 olarak tanımlanırsa log olabilirlik
L
L = logdet | W | + ∑ log psl (w Tl Y )
(2.46)
l =1
halini alır. Burada W = [ w1 …w L ]T ’dir. Bu son ifadenin W ’ya göre enbüyüklemesi ile
ayrıştırma matrisi
W
bulunabilir. Enbüyükleme için gradyen iniş yöntemi
kullanıldığında W döngüsel olarak
W t +1 = W t + ζ∇L
(2.47)
adımları ile hesaplanır. Burada ζ adım büyüklüğüdür. ∇L (2.46) ifadesinin W ’ya
göre birinci dereceden türevidir ve
∇L = [I + g ( W k Y)( W k Y)T ]W k
(2.48)
şeklinde elde edilir [13]. g (.) sinir ağları ile uğraşanlar tarafından karşıtlık fonksiyonu
olarak adlandırılır. Bayesçi bakış açısından karşıtlık fonksiyonu önsel dağılımla
g ( WY ) = −
∂
log pS ( WY)
∂W
(2.49)
29
şeklinde ilişkilidir. Bu yöntem aynı zamanda Bell ve Sejnowski’nin [12] öğrenme
algoritmasıdır. Denklem (2.47)’deki adım büyüklüğü ζ ’nın Newton yöntemi ile
belirlenmesi ile sabit noktalı (fixed-point) ICA algoritması elde edilir [13].
2.6.2. SOBI: İkinci Dereceden Gözükapalı Tanılama
İkinci Dereceden Gözükapalı Tanılama (Second Order Blind Identification)
algoritmasında farklı ötelemelerle hesaplanmış kovaryans matrisleri kullanılır [17]. Bu
yöntemdeki ayrıştırılabilirlik özelliği doğrusal ilintililiktir. Gözlemlerin kovaryans
matrisleri
R (0) = E[ y1:K ( n) y1:K ( n)T ] = AR s (0) AT + σ 2 I
R ( m) = E[ y1:K ( n + m) y1:K ( n)T ] = AR s ( m) AT
şelinde
yazılabilir.
Burada
m≠0
y1:K (n) = [ y1,n , y2,n ,…, yK ,n ]T
(2.50)
gözlemlerin
n ’inci
piksellerinden oluşan bir vektördür. Buradaki beklenen değerler örneklem ortalaması
kullanılarak yaklaşık olarak hesaplanır. σ 2
uzamsal olarak beyaz gürültünün
değişintisidir. Gürültü beyaz olduğu için gürültü değişintisi sadece birinci ifadede yer
almaktadır. SOBI algoritmasının adımları şu şekilde sıralanır [17]:
•
ˆ (0) kovaryans matrisi gözlem verisindeki örneklerden kestirilir.
R
•
ˆ (0) ’ın özdeğer ve özvektörleri kullanılarak bir B̂ beyazlatma matrisi
R
oluşturulur.
•
Veri kümesi B̂ ile beyazlatılır ve beyazlatılmış verilerden R (m) , m = 1,…, M
kovaryansları hesaplanır. Burada M en büyük öteleme miktarıdır.
•
Elde edilen {R (m) | m = 1,…, M } kovaryans setinin ortak köşegenleştiricisi Û
birimcil matrisi hesaplanır.
•
ˆ T BY
ˆ
Kaynaklar S = U
ifadesi ile bulunur. Burada Û dikgen ve B̂ köşegen
matristir.
Burada öteleme miktarı m 1B ve 2B veriler için farklı şekilde seçilebilir. Bu tezde
karşılaştırma amacıyla iki SOBI algoritması kullanılmıştır. Bunlardan 1B ötelemeler ile
30
çalıştırılan algoritma SOBI 1B, 2B ötelemeler ile çalıştırılan algoritma da SOBI 2B
olarak adlandırılmıştır.
2.6.3. SMICA
Spektral eşleme ICA Fourier bölgesinde çalışan bir ayrıştırma yöntemidir. SMICA
algoritmasındaki ayrıştırılabilirlik frekans bölgesindeki çeşitliliğe dayanır. Kaynaklar
tanım bölgesinde i.i.d Gauss olarak kabul edilir. Frekans bölgesinde ise kaynakların güç
spektrumları belirli bölgelerde durağan olarak kabul edilir. Bu bölgeler frekans
bölgesinin halka (simit) şeklinde alt bölgelere ayrılmasıyla elde edilir. Fourier
bölgesinde gözlem modeli
Y ( ) = AS ( ) + N ( )
şeklinde yazılmış olsun. Burada
(2.51)
uzamsal frekansı göstermektedir. Herbir D f alt
bölgesi için gözlem imgelerinin güç spektrumları yaklaşık olarak
Rˆ Y ( f ) =
1
nf
∑ Y(
)Y ( )T ,
f = 1,…, F
(2.52)
∈D f
şeklinde hesaplanır. Burada F halka şeklindeki frekans alt bölgesi sayısını ve n f ,
f ’inci bölgedeki ayrık frekans noktası sayısını göstermektedir. Gözlem imgelerinin
güç spektrumu (2.51)’deki gözlem modeline göre
T
Rˆ Y ( f ) = A Rˆ S ( f ) A + Rˆ N ( f )
(2.53)
şeklinde ifade edilir. Burada Rˆ S ( f ) ve Rˆ N ( f ) = Rˆ N köşegen matrislerdir ve Rˆ Y ( f ) ile
aynı şekilde hesaplanır. SMICA algoritması Tablo 2.1’de verilmiştir. Tabloda nT
toplam ayrık frekans noktası sayısıdır.
31
Tablo 2.1: SMICA algoritması.
Rˆ Y ( f ) ←⎯ (3) ile
A , Rˆ S ( f ) ve Rˆ N için ilkdeğerler atanır.
E-adımı:
tüm frekans bölgeleri için,
f = 1: F
−1
N
C f ←⎯ ( A Rˆ A + Rˆ S ( f ) −1 ) −1
RYS ( f ) ←⎯ Rˆ Y ( f ) Rˆ N ( f ) −1 AC f
T
RSS ( f ) ←⎯ C f AT Rˆ N ( f ) −1 Rˆ Y ( f ) Rˆ N ( f ) −1 AC f + C f
RSS ←⎯ ∑ f =1 nTf RSS ( f )
F
n
RYS ←⎯ ∑ f =1 nTf RYS ( f )
F
n
RYY ←⎯ ∑ f =1 nTf RYY ( f )
F
n
M-adımı:
T
A ←⎯ RYS RSS−1 Rˆ N ←⎯ diag{RYY − RYS RSS−1 RYS
}
A ve RSS ( f ) ’leri tekrar düzgele
32
3. MALZEME VE YÖNTEM
3.1.
DETERMİNİSTİK
ENİYİLEMEYE
DAYALI
BAYESÇİ
KAYNAK
AYRIŞTIRMA
Bu bölümde, bilinmeyenlerin ortak sonsal dağılımları kullanılarak kaynak ayrıştırma
problemi için iki çözüm yöntemi verilecektir. Bu yöntemler döngüsel eniyilemeye
dayalıdır. Bu yöntemlerden bir tanesi sonsal dağılımın doruğunun döngülü olarak
bulunduğu ICM yönteminin Newton-Raphson eniyileme yöntemi ile gerçekleştirilmiş
halidir. Bu yaklaşım daha önce [32]’de gradyen iniş türü eniyileme yöntemi ile
kullanılmıştır. İkinci yöntem olan ICM-var’da ise Gauss olmayan önsel dağılım Gauss
bir önsel dağılıma yakınsatılmıştır. Böylece Newton-Raphson eniyileme yönteminin
dışbükey olmama durumundan dolayı girdiği zorluktan kurtarılması amaçlanmıştır. Bu
yöntem [50]’de sunulmuştur. Bu yöntemin GNC ve değişimsel Bayes’den farkı
yaklaşıklığın sonsal dağılıma değil önsel dağılıma uygulanmasıdır.
3.1.1. ICM: Döngüsel Koşullu Doruk
Bayesçi çatı altında tanımlanan kaynak ayrıştırmada, tüm bilinmeyenler s1:L , A ve σ 12:K
sonsal dağılımın ortak enbüyüklenmesi ile kestirilebilir. Bu durumda MAP kestirimi:
max p (s1:L , A, σ 12:K | y1:K ) = max2 p (y1:K | s1:L , A, σ 12:K ) p (s1:L ) p ( A ) p (σ 12:K )
s1:L , A ,σ 12:K
s1:L , A ,σ 1:K
(3.1)
olarak ifade edilir.
Tüm bilinmeyenleri içeren θ = {s{1:L} , A, σ 12:K } şeklinde yeni bir değişken tanımlanmış
olsun. θ ’dan bir değişken, örneğin s l çıkarılırsa, yeni bilinmeyen kümesi θ −sl şeklinde
gösterilecektir. Denklem (3.1)’deki ortak enbüyükleme işlemi zor olduğundan, bu işlem
her değişkenin ayrı ayrı enbüyüklenmesi işlemine dönüştürülür. Bayes kuralı
kullanılarak kaynaklar, karışım matrisi ve gürültü değişintileri için koşullu olasılıklar
33
p (s l | y1:K , θ − sl ) ∝ p ( y1:K | θ ) p (s l | θ − sl )
(3.2)
p( A | y1:K ,θ − A ) ∝ p(y1:K | θ ) p( A | θ − A )
(3.3)
p (σ 12:K | y1:K , θ −σ 2 ) ∝ p ( y1:K | θ ) p (σ 1:K | θ −σ 2 )
1:K
1:K
(3.4)
şeklinde yazılır. s1:L , A ve σ 12:K değişkenleri birbirinden bağımsızdır. Bu sayede
(3.1)’deki MAP kestirimi, (3.2-3.4)’teki sonsal olasılıkların bir birini izleyen MAP
kestirimleri ile döngüsel bir yöntemle bulunur. Bu durumda enbüyükleme adımları
stl +1 = max p(sl | y1:K ,θ −t sl )
(3.5)
At +1 = max p( A | y1:K ,θ −t A )
(3.6)
sl
A
(σ 12:K )t +1 = max
p (Σ | y1:K , θ −t σ 2 )
2
σ1:K
1:K
(3.7)
şeklinde sıralanır. Burada üst indis döngü adımlarını göstermektedir.
(3.5-3.7) denklemlerinde verilen yordam ICM adımlarıdır [21],[51]. Her adımda sonsal
dağılımın doruğunu bulma işi yinelenir. Eğer dağılımların doruğu doğrudan, analitik
olarak, bulunamıyorsa en dik iniş veya Newton-Raphson gibi döngüsel eniyileme
yöntemleri kullanılabilir. Bu yöntem astrofizik kaynak ayrıştırmada kullanılmıştır [32].
Bu çalışmada, [32]’deki yöntem Bölüm 2’de verilen önsel dağılımlar kullanılarak
yeniden ifade edilmiş ve uygulanmıştır.
Karışım matrisi ve gürültü değişintilerinin sonsal dorukları (2.14) ve (2.18)’den
akt +,l1 =
L
1
t T
s
y
−
akt ,i si )
(
)
(
∑
l
k
t T t
(sl ) sl
i =1,i ≠ l
(σ k2 )t +1 =
L
L
1
(y k − ∑ akt ,l stl )T (y k − ∑ akt ,l stl )
N
l =1
l =1
ifadeleri ile doğrudan yinelenir. Burada k = 1,…, K ve l = 1,…, L ’dir.
(3.8)
(3.9)
34
Kaynaklar için doğrudan çözümün bulunması mümkün değildir. Bu yüzden NewtonRaphson yöntemi kullanılacaktır. Bu durumda (3.5)’teki enbüyükleme
stl +1 = min C (sl )
(3.10)
sl
{
}
= min − log p(y1:K | θ ) p(sl | θ − sl )
sl
(3.11)
şeklinde enküçüklemeye dönüştürülebilir. Burada C (.) maliyet fonksiyonunudur.
Buradaki bir Newton-Raphson adımı
s tl +1 = s tl − ζ∇C (sl )
(3.12)
olup, bu ifadede ∇ gradyen operatörünü temsil etmektedir. Adım büyüklüğü
ζ =
∇T C (sl )∇C (sl )
∇T C (sl )∇ 2C (sl )∇C (sl )
(3.13)
ifadesi ile bulunur. ∇ 2C (sl ) Hessian matrisini göstermektedir.
Denklem (3.5)’teki sonsal dağılım için (3.12)’deki gradyen (2.8), (2.33) ve (2.35)
ifadeleri kullanılarak
K
∇C (sl ) = −∑
(ak ,l )T (y k − ∑ l =1 ak ,l sl )
k =1
L
2σ k2
8
(I − G d )T (I − G d )sl
d =1
1 + ||( I −2Gδld,d) sl ||
+ ∑ βl ,d
2
(3.14)
şeklinde hesaplanır. Burada norm || (I − G d )sl ||2 = sTl (I − G d )T (I − G d )sl ’dir. Hessian
matrisinin ise hesap kolaylığı sağlamak için kendisi değil köşegeni H = diag{ ∇ 2C (sl ) }
kullanılmıştır. Bu matris
2
⎧
2
8
1 − ||( I −2Gδld,d) sl ||
⎪ K ( ak , l )
+ ∑ βl ,d
H l = diag ⎨∑
2
2
σ
2
1
k
d =1
=
k
⎪
1 + ||( I −2Gδ dl ,d)sl ||
⎩
(
)
⎫
⎪
2⎬
⎪
⎭
ifadesi ile hesaplanır. Algoritmanın özeti Tablo 3.1’de verilmiştir.
(3.15)
35
Tablo 3.1: Newton-Raphson adımları ile ICM algoritması. Δ PSIR: Tepe İşaret Girişim
Oranındaki (PSIR: Peak Signal-to-Inference Ratio) değişimi ve e kullanıcı tarafından
belirlenen en küçük değişim miktarını göstermektedir.
s1:L ve A için ilkdeğerler atanır.
tüm kaynak imgeleri için, l = 1 : L
∇C (sl ) ←⎯ (3.14) ile
H l ←⎯ (3.15) ile
T
ζ ←⎯ ∇∇CC(s(s) H) ∇∇CC(s(s) )
l
T
l
l
l
l
sl ←⎯ s − ζ∇C (sl )
t
l
karışım matrisinin tüm elemanları için,
t +1
k ,l
a
(k , l ) = (1,1) : ( K , L)
←⎯ (st )1T st (s ) (y k − ∑ i =1,i ≠l akt ,i si )
l
l
L
t T
l
tüm gürültü değişintileri için, j = 1 : K
(σ k2 )t +1 ←⎯ N1 (y k − ∑ l =1 akt ,l stl )T (y k − ∑ l =1 akt ,l stl )
L
L
Yakınsayana kadar döngüler devam ettirilir. Örneğin Δ PSIR < e .
MAP kestirimindeki zorluklar Gauss olmayan önsel olasılıkların dışbükeyliği
bozmasından kaynaklanır. Dışbükey olmayan Gibbs dağılımının enerji fonksiyonu
yüzünden eniyi noktanın bulunması kesin değildir. Bu durumda, benzetimli tavlama
veya Markov zinciri Monte Carlo gibi sayısal Bayesçi yöntemler kullanılabilir. Bu
yöntemler yayınım türü olduklarından yakınsama süreleri genellikle uzundur.
3.1.2. ICM-var: Gibbs Önselinin Değişimsel Yaklaşıklığı ile Kaynak Ayrıştırma
Gibbs dağılımındaki parametrelerin belirlenmesi kendi başına zor bir iştir. Bu bölümde
önerilen yöntemle Gibbs dağılımı Gauss dağılımına yaklaştırılacaktır. Gauss olmayan
önsel dağılım her pikselde ve yöne bağlı olacak şekilde değişintisi değişen yani durağan
olmayan Gauss dağılımına yakınsatılacatır.
Enbüyük sonsal kestirim yönteminde karşılaşılan zorluklardan bir tanesi kaynaklara ait
olasılık fonksiyonlarının Gauss olmama zorunluluğundan kaynaklanmaktadır. Tek
doruklu Gauss’tan farklı şekilde seçilen önsel dağılımlar dışbükeyliği bozduğu için
enbüyük bulma işlemini zorlaştırmaktadır. Bu durumda yaklaşık Bayes yöntemlerinden
MCMC örneklemeye dayalı Gibbs örnekleme veya benzetimli tavlama kullanılabilir.
Bunlar yayınım tipi yöntemler olduklarından (her bir pikselin güncellenmesi komşu
piksellere bağlı) işlem süreleri çok uzundur.
36
Bu bölümde yaklaşık Bayes yöntemlerinden değişimsel yaklaşıma dayalı olarak önseller
belirlenecektir. Değişimsel yöntemlerin amacı takip edilmesi zor olasılık dağılımlarına
takip edilmesi kolay dağılımlarla bir yaklaşıklık sağlamaktır. Yaklaşık önsellerin
belirlenmesinde önemli olan özellikler işlenmesi kolay ve negatif logaritmasının
dışbükey olmasıdır. Yaklaşık önsel dağılım q(s1:L | τ ) olarak tanımlanmış olsun. Burada
τ , q(s1:L | τ ) dağılımına ait parametrelerin hepsini içeren değişken olsun.
Bu durumda (3.5-3.7)’de verilen kestirim adımları
τ t +1 = min DKL (q(slt | τ ) || p(sl ))
(3.16)
slt +1 = max p(y1:K | θ t )q(slt | τ t +1 )
(3.17)
At +1 = max p( A | y1:K ,θ −t A )
(3.18)
τ
sl
A
(σ 12:K )t +1 = max
p (Σ | y1:K , θ −t σ 2 )
2
σ1:K
şeklinde değiştirilir. Burada
(3.19)
1:K
DKL ( q (slk | τ ) || p (s lk )) ,
p (slk )
ve
q (s lk | τ )
olasılık
dağılımları arasındaki Kullback-Leibler ıraksayıdır ve
⎛ q(s k | τ ) ⎞
DKL (q(slt | τ ) || p(sl )) = ∫ q (slk | τ ) log ⎜ l k ⎟ dsl
⎝ p(sl ) ⎠
(3.20)
şeklinde tanımlanır. q dağılımı τ parametresiyle tanımlanan bir dağılım olsun. İki
fonksiyon arasındaki bu mesafeyi en küçük yapacak paramatrelerin saptanmasıyla q
dağılımı da belirlenmiş olur. Daha sonra kaynaklara ait MAP (3.17) kestiriminde, bu
şekilde saptanan yaklaşık önsel dağılım kullanılır.
3.1.3. Yaklaşık Kaynak Modeli
Her bir yöndeki klik farkları sl( d ) = sl − G d s l olarak tanımlanmış olsun. Yönlü fark
imgelerinin istatistiksel olarak birbirlerinden bağımsız olduğu kabul edilirse, s l
37
imgesinin olasılık fonksiyonunu, sl( d ) ayrıt imgelerinin olasılık fonksiyonlarının
çarpımından oluşur.
p(sl ) =
1
Z ( β l ,1:8
8
∏ exp {− β
)
d =1
l ,d
ρ (sl( d ) )} ,
l = 1,…, L
(3.21)
Aynı s l imgesi klik farkları Gauss olarak modellendiğinde ise olasılık yoğunluk işlevi
vektör formunda
8
q (sl ) = ∏ q (sl( d ) ) ,
l = 1,…, L
(3.22)
d =1
olarak ifade edilir. Burada s l imgesinin olasılık fonksiyonu, yine sekiz yöndeki piksel
farklarının olasılık fonksiyonlarınn çarpımı olarak yazılmıştır. Bu durumda bir yöndeki
ayrıt imgesi sl( d ) ’ye ait olasılık fonksiyonu
q (sl( d ) ) =
1
(2π ) N / 2 ∏ i =1 σ l2,d ,i
N
1
exp{ − (sl( d ) )T Cl , d sl( d ) }
2
(3.23)
olacaktır. Bu modelde, yönlü ayrıt imgelerindeki piksellerin dağılımı ilintisiz ve türdeş
olmayan Gauss’lar olarak kabul edilmiştir. Bir başka değişle, ayrıt imgeleri ortalaması
sıfır ve değişintileri pikselden piksele değişen σ l2,d ,i ’lerden oluşan Gauss’lar olarak
modellenmiştir. Bu durumda Cl ,d = diag ⎧⎨⎩1/σ l2, d ,i ⎫⎬⎭
N
i =1
ayrıt imgesinin bağımsız fakat
duruğan olmayan değişinti matrisinin tersidir.
3.1.3.1. Yaklaşık Kaynak Modeli Parametrelerinin Belirlenmesi
Öneri dağılımı (3.23)’te verildiği gibi Gauss olarak seçilirse τ = {σ l , d ,i | l = 1,…, L,
d = 1,…, 8, i = 1,…, N } parametrelerinden oluşacaktır.
Aynı imgeye ait farklı modeller giydirilerek elde edilmiş iki olasılık fonksiyonu p(sl )
ve q(sl ) arasındaki Kullback-Leibler ıraksama ölçüsü, bu ölçüyü en az yapacak q (sl )
fonksiyonunu belirlemek amacıyla yazıldığında
38
⎛ q (sl ) ⎞
DKL (q(sl ) || p(sl )) = ∫ q (sl ) log ⎜
⎟ dsl
⎝ p(sl ) ⎠
(3.24)
1 8 N
⎡ 8N
log{ 2π } − ∑ ∑ log{ σ l2,d ,i } −
= Eq ⎢ −
2 d =1 i =1
⎣ 2
(d ) 2
8
N
1 8 N ( sl ,i )
⎤
{Z
}
β
βl ,d ρ ( sl(,di ) ) ⎥
+
+
log
(
)
∑
∑
∑
∑
l ,1:8
2
2 d =1 i =1 σ l ,d ,i
d =1 i =1
⎦
=−
8N
1 8 N
log{ 2π } − ∑ ∑ log{ σ l2, d ,i } −
2
2 d =1 i =1
(d ) 2 ⎤
⎡
8
N
1 8 N Eq ⎢⎣ ( sl ,i ) ⎥⎦
log
(
)
+
+
{Z
}
β
β l ,d Eq ⎡⎣ ρ ( sl(,di ) ) ⎤⎦
∑
∑
∑
∑
l ,1:8
2
2 d =1 i =1
σ l , d ,i
d =1 i =1
ifadesi elde edilir. Elde edilen bu son ifadede Eq ⎣⎡⎢ ( sl(,di ) ) 2 ⎦⎤⎥ = σ l2,d ,i olmasına karşı
Eq ⎡⎣ ρ ( sl(,di ) ) ⎤⎦
beklenen değeri ρ (.) fonksiyonu doğrusal olmadığından kolayca
hesaplanamaz. Bu beklenen değeri hesaplamak için ρ ( sl(,di ) ) fonksiyonu bir s l(,di )
etrafında Taylor serisine açılıp üçüncü ve yüksek dereceden terimler gözardı edildiğinde
ρ ( sl(,di ) ) ≈ ρ ( s l(,di )) + ( sl(,di ) − s l(,di )) ρ ′( s l(,di )) + ( sl(,di ) − s l(,di )) 2 ρ ′′( s l(,di ))
(3.25)
yaklaşıklığı elde edilir. Buradan ρ ( sl(,di ) ) ’nin beklenen değeri yaklaşık olarak
Eq ⎡⎣ ρ ( sl(,di ) ) ⎤⎦ ≈ ρ ( s l(,di )) + ( Eq ⎡⎢⎣ sl(,di ) ⎤⎥⎦ − s l(,di )) ρ ′( s l(,di ))
(3.26)
+ ( Eq ⎣⎡⎢ ( sl(,di ) ) 2 ⎦⎤⎥ − 2 Eq ⎣⎡⎢ sl(,di ) ⎦⎤⎥ s l(,di ) + ( s l(,di )) 2 ) ρ ′′( s l(,di ))
≈ ρ ( s l(,di )) − s l(,di )ρ ′( s l(,di )) + (σ l2,d ,i + ( s l(,di )) 2 ) ρ ′′( s l(,di ))
olarak bulunur. Burada öneri dağılımının yeterince hedef dağılımı gösterdiği
varsayılmış ve Eq ⎡⎢⎣ sl(,di ) ⎤⎥⎦ ≅ 0 olduğu kabul edilmiştir. Yaklaşık beklenen değer (3.24)’te
yerine konulursa
DKL (q(sl ) || p(sl )) = − 82N log{ 2π } − 12 ∑ d =1 ∑ i =1 log{ σ l2,d ,i } − 82N + log{Z ( βl ,1:8 ) }
8
N
39
+ 12 ∑ d =1 ∑ i =1 βl ,d ⎡⎣ ρ ( s l(,di )) − s l(,di )ρ ′( s l(,di )) + (σ l2,d ,i + ( s l(,di )) 2 ) ρ ′′( s l(,di )) ⎤⎦
8
N
olur. Bu ifadeyi enküçükleyecek σ k2,e, j yerel değişintilerini bulmak için ifadenin
σ k2,e, j ’ye göre türev alınıp sıfıra eşitlenirse
∂
∂σ
2
k ,e, j
DKL (q(sl ) || p(sl )) = −
1
2σ
2
k ,e, j
1
+ β k ,e ρ ′′( s (je )) = 0
2
elde edilir. Buradan σ l2,d ,i
σ l2,d ,i =
1
βl ,d ρ ′′( s l(,di ))
(3.27)
olarak bulunacaktır. Denklem (2.29)’da tanımlanan klik potansiyeli olarak negatif logCauchy fonksiyonu kullanıldığında
⎡1 + (( s l ,i ) ⎤
δ l ,d ⎥
⎢
⎦
=⎣
(d )
β l , d s l ,i
(d ) 2
σ l2,d ,i
2
(3.28)
olarak bulunur.
Bu durumda (3.27)’deki enbüyükleme
stl +1 = min C (sl )
(3.29)
sl
= min − log { p (y1:K | θ )q (sl | τ )}
(3.30)
sl
şeklinde enküçüklemeye dönüştürülebilir. Denklem (3.17)’deki sonsal dağılım için
Newton-Raphson adınlarında kullanılacak olan gradyen (2.8), (3.22) ve (3.23) ifadeleri
kullanılarak
K
∇C (sl ) = −∑
k =1
(ak ,l )T (y k − ∑ l =1 ak ,l sl )
L
2σ k2
8
+ ∑ (I − G d )T Cl ,d sl( d )
d =1
(3.31)
40
Tablo 3.2: Yaklaşık önsel ile ICM-var algoritması.
tüm yönlü fark imgeleri için, d = 1 : 8
2
⎡
1+ (( s l( ,di ) )2 /δ l ,d ⎤⎥
⎣⎢
⎦
βl ,d s l( ,di )
σ l2,d ,i ←⎯
Cl , d ←⎯ diag ⎩⎧⎨1/σ l2, d ,i ⎭⎫⎬
∇C (sl ) ←⎯ (3.31) ile
H l ←⎯ (3.32) ile
T
ζ ←⎯ ∇∇CC(s(s) H) ∇∇CC(s(s) )
l
T
l
l
l
l
sl ←⎯ s − ζ∇C (sl )
t
l
karışım matrisinin tüm elemanları için, ( k , l ) = (1,1) : ( K , L)
akt +,l1 ←⎯ (st )1T st (stl )T (y k − ∑ i =1,i ≠l akt ,i si )
L
l
l
(σ k2 )t +1 ←⎯ N1 (y k − ∑ l =1 akt ,l stl )T (y k − ∑ l =1 akt ,l stl )
L
L
şeklinde hesaplanır. Hessian matrisinin köşegeni H ise
⎧⎪ K (ak ,l ) 2 8
⎫⎪
T
I
−
G
H l = diag ⎨∑
I
G
C
(
)
(
)
+
−
⎬
∑
d
,
l
d
d
2
d =1
⎪⎩ k =1 2σ k
⎪⎭
(3.30)
ifadesi ile hesaplanır. Algoritmanın özeti Tablo 3.2’de verilmiştir.
3.1.4. Benzetim Sonuçları
Bu bölümde, sunulan Bayesçi yöntemlere ait başarımlar verilerek ICA tabanlı
yöntemlerle karşılaştırılacaktır. Karşılaştırma için kullanılan ICA tabanlı yöntemler
FPICA (Bölüm 2.6.1), SOBI 1B, SOBI 2B (Bölüm 2.6.2) ve SMICA’dır (Bölüm 2.6.3).
Bu tezde kullanılacak deneylerden bir tanesi doku imgeleri kullanılarak elde edilmiş
sentetik imge karışımları olacaktır. Astrofizik imgelerle yapılacak olan deneyler ayrı bir
bölümde verilecektir.
Bu tezde, sayısal başarım göstergesi olarak kullanılacak olan Tepe İşaret-Girişim Oranı
(PSIR: Peak Signal-to-Inference Ratio)
41
⎛ 2552 ⎞
10
log
=
,
PSIR l
⎜
2 ⎟
⎝ || sl − sl || ⎠
l = 1,…, L
(3.33)
şeklinde tanımlanır.
L adet bileşen için PSIR herbir bileşen için hesaplanan PSIR’ların aritmetik
ortalamaları alınarak hesaplanmıştır. Bu ölçüt [24]’de de kullanılmıştır. Bu ölçüt sadece
en kötü ayrıştırılan kaynak için değil, ayrıştırılan tüm kaynaklar halkında bir bilgi
vermektedir.
PSIR =
1 L
∑PSIR l
L l =1
(3.34)
PSIR değerleri hesaplanmadan önce kaynaklar uygun sırada dizilmiş ve yeğinlikleri
uygun şekilde ölçeklenmiştir. Bunun sebebi kaynak ayrıştırmada ayrıştırılan kaynaklarla
gerçek kaynaklar arasında sıralama ve ölçek farkının olmasıdır. Ölçekleme ve sıralama
sadece PSIR hesaplamak için yapılmış olup hiçbir yönteme ait bir adım değildir. Tablo
3.3’te, yukarıda bahsedilen yöntemlere ait PSIR değerleri verilmiştir. Değişimsel önsel
yaklaşımı ile gerçekleştilen yöntem ICM-var olarak isimlendirilmiştir.
ˆ † A matrisi
Diğer bir başarım göstergesi ise karışım matrisi Â ile ilgilidir ve R = A
kullanılarak hesaplanır. Burada † matrisin sözde tersini göstermektedir. Eğer Â
matrisinde herhangi bir permutasyon yoksa, R bir birim matris olacaktır. L × L
boyutunda R matrisi için başarım göstergesi
M (R ) =
⎛ ∑ j | rij |
⎞ 1
⎛ ∑ i | rij |
⎞
1
⎜
⎟
−
+
1
1
−
⎜
⎟
∑
∑
2 L i ⎜ max j | rj ,i | ⎟ 2 L j ⎝⎜ max i | rj ,i | ⎠⎟
⎝
⎠
(3.35)
olarak verilir. R birim matris olduğunda M (R ) sıfır olacaktır.
Deneyler için kullanılan imgeler geometrik bir yapıdan gürültülü bir imge görünümünde
olan doku imgeleri olarak seçilmiştir. Özgün doku imgeleri ve onların karışımları Şekil
3.1’de görülmektedir. Şekil 3.1’de gösterilen örnekte karışım matrisi
Karışımlar
Özgün İmgeler
42
Şekil 3.1: Birinci satır: Özgün imgeler; İkinci satır: (3.36)’daki A matrisi ile karıştırılmış
imgeler.
⎡1.5 0.8 0.4 ⎤
A = ⎢⎢0.6 0.7 0.4 ⎥⎥
⎣⎢ 0.5 0.7 0.8⎦⎥
(3.36)
olarak seçilmiştir.
Üç gözlem için de gürültünün özdeş olduğu kabul edilmiştir, bu durumda σ 12 = σ 22 = σ 32
olur. Bu denemeler için Gibbs dağılımının β ve δ parametreleri kullanıcı tarafından
belirlenmektedir. Bu iki parametrenin imgeler üzerinde türdeş olduğu kabul edilmiştir.
Doku imgeleri için Cauchy dağılımının ölçek parametresi yapılan bir kaç denemeden
sonra δ = 12 olarak seçilmiştir. β önsel dağılımın sonsala katkısını belirlemektir ve
eniyi değeri gürültü seviyesine göre ayarlanmalıdır. Gürültü seviyesi yüksekse
gürültünün değişintisine orantılı olarak gözlemin sonsala katkısı düşürülmelidir. Bu
durumda β artırılarak önselin katkısı artırılmalıdır. β parametresi aynı zamanda
imgelerin düzlüğünü de kontrol etmektedir. Sözgelimi gereksiz büyük bir β seçimi
43
imgeyi çok fazla düzleştirecektir. δ tüm işaret-gürültü oranları için sabit alınmış fakat
β gürültü seviyesine göre değiştirilmiştir. Önerilen yöntemler 15 dB’den ∞ dB’ye
Şekil 3.2: β parametresinin SNR’ye göre değişimi.
Tablo 3.3: ICM yöntemleriyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA
(4 frekans bandı) yöntemlerinden elde edilen ortalama PSIR değerlerinin karşılaştırılması.
σ
SNR
90.98
15
13.95
14.03
14.07
53.34
20
15.31
14.28
30.02
25
17.20
16.88
30
9.49
FPICA SOBI 1B SOBI 2B SMICA
ICM
ICM-Var
14.05
-
14.78
14.37
14.66
-
15.99
15.58
15.07
14.69
-
17.61
18.80
17.26
17.60
17.64
19.12
19.77
35
21.05
17.84
18.99
19.75
21.14
22.63
5.33
40
22.28
21.82
19.80
23.75
22.77
25.61
3.00
45
24.81
26.83
25.87
27.63
24.33
29.57
1.68
50
30.00
32.28
30.04
30.84
25.78
33.45
0
∞
31.43
34.74
33.92
38.29
27.57
45.72
kardar çeşitli işaret-gürültü oranları (SNR: Signal-to-Noise Ratios) altında sınanmıştır.
β ’nın SNR’ye göre değişimi Şekil 3.2’de görülmektedir. Bu şekilde görülen β
değerleri algoritmada en iyi PSIR elde edilecek şekilde belirlenmiştir. Karışım
matrisinin köşegen elemanları 1 ve diğer elemanları 0.5 olacak şekilde ilk değerleri
atanmıştır. Kaynaklara ait ilklendirme için gözlemler kullanılmıştır. Bu özel örnekte,
kaynak ve gözlem sayısı eşit olduğundan atama bire bir yapılmıştır sl0 = y l . Ayrıştırılan
imgeler gürültüsüz durum için Şekil 3.3’te görülmektedir.
44
Özgün
ICM
ICM-var
Şekil 3.3: ICM ve ICM-var yöntemlerinin gürültüsüz durum için ayrıştırma sonuçları.
Tablo 3.4: ICM yöntemleriyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8 öteleme), SMICA
(4 frekans bandı) yöntemlerinden elde edilen M (R ) ölçüsünün karşılaştırılması.
σ
SNR
90.98
15
0.6538
0.8940
0.9664
53.34
20
0.7861
0.8841
30.02
25
0.5242
16.88
30
9.49
FPICA SOBI 1B SOBI 2B SMICA
ICM
ICM-var
0.6803
-
1.0774
1.3099
0.6403
-
1.0301
0.7764
1.2363
0.5228
-
0.2419
0.4330
0.6356
0.7606
0.4285
0.5895
0.1547
35
0.2719
0.8832
0.7173
0.2051
0.5669
0.0971
5.33
40
0.4229
0.4701
0.6341
0.1600
0.5145
0.1032
3.00
45
0.3867
0.2187
0.2899
0.1689
0.4712
0.0501
1.68
50
0.1654
0.0679
0.1633
0.1500
0.4628
0.0440
0
∞
0.2173
0.1365
0.1454
0.2326
0.4602
0.0413
Başarım göstergeleri PSIR ve M (R ) Tablo 3.3 ve Tablo 3.4’te sunulmaktadır. Tablo
3.3’te verilen PSIR değerleri ayrıştırılan üç kaynağın PSIR’larının ortalamasıdır. ICM
45
ve ICM-var algoritmaları ICALAB Toolbox’da [52] yer alan iki algoritma ile
karşılaştırılmıştır. Bu algoritmalar FPICA (Bölüm 2.6.1) ve 1B SOBI (Bölüm 2.6.2)
aloritmalarıdır. Buradaki 1B SOBI algoritmasında, 70 öteleme kullanılarak değişinti
matrisleri hesaplanmıştır. 1B SOBI algoritması için imge ilk önce satırları (veya
sütunları) arka arkaya dizilerek tek boyuta dönüştürülür. Daha sonra bir boyutlu bir
işaretmiş gibi SOBI yöntemi uygulanır. Bu durumda kovaryans matrisleri tek boyuttaki
ötelemeler kullanarak hesaplanacağından diğer doğrultudaki ötelemeler göz ardı
edilecektir. Fakat SOBI algoritması ötelemeler 2B’ye uydurularak (sağ, sol, yukarı,
aşağı ve çapraz) kovaryans matrisleri hesaplanabilir. Bunun için Bölüm 2.6.2’deki
SOBI algoritmasının 2B sürümü 8 adet birer adımlık uzamsal ötelemeler kullanılarak
hesaplanan değişinti matrisleri ile uygulanmıştır. Bu yöntem SOBI 2B olarak
adlandırılmıştır. SMICA algoritmasında halka şeklinde 4 frekans bandı kullanılmıştır.
Bu sayı algoritma eniyi sonucu verecek şekilde seçilmiştir.
•
ICM-var yöntemi diğer yöntemlerin hepsinden daha iyi sonuçlar vermiştir.
•
ICM-var yöntemi gürültüsüz durumda diğer yöntemlerden çok daha iyi sonuç
vermiştir. Bunun sebebi Hessian matrisi hesaplanırken pikselden piksele değişen
değişintilerin kullanılması olabilir. Böylece adım büyüklüğü imgedeki ayrıtlara
göre uzamsal olarak uyarlı hale gelmektedir.
•
ICM algoritması 30 dB’nin altındaki SNR değerlerinde yakınsamamaktadır.
Buna karşın ICM-var algoritması bu zorluğu yenmiştir.
•
ICM-var’a en yakın yöntem bu denemeler için SMICA’dır.
•
Benzer şekilde Tablo 3.4’ten görüldüğü gibi M (R ) ölçüsü bakımından da ICMvar diğer yöntemleri geçmiştir. M (R ) ölçüsünün eniyi değeri sıfırdır. M (R )
ölçüsü SNR düşerken artmaktadır, fakat bu artışın her zaman tekdüze olmadığı
görülmektedir. FPICA, SOBI 1B ve SMICA algoritmalarında gürültüsüz
durumdaki M (R ) ölçüsü 50 dB’dekinden daha kötü çıkmıştır. SOBI ve SMICA
gürültüyü de dikkate alan algoritmalar olduğundan gürültüsüz durumda biraz
daha kötü sonuç vermesi açıklanabilir. Ama aynı açıklama FPICA algoritması
için geçerli değildir. M (R ) ölçüsü çok karalı olmayıp sadece bu ölçüye bakarak
ayrıştırma hakkında yorum yapmak yetersizdir. Yardımcı bir ölçüt olarak
kullanılabilir.
46
30
SOBI 1B
SOBI 2B
FPICA
ICM
ICM-var
SMICA
25
PSIR kazancı (dB)
PSIR gain (dB)
20
15
10
5
0
-5
15
20
25
30
35
40
SNR (dB)
45
50
...
sonsuz
Şekil 3.4: ICM ve ICM-var algoritmaları ile diğer algoritmalar için PSNR’ye göre ortalama
PSIR iyileşmesi.
Şekil 3.4’te, PSIR’deki ilk değere göre ortalama iyileşmeler karşılaştırılmaktadır.
PSIR’daki gelişmenin 0 dB olması ilk değerlere göre algoritmanın hiçbir kazanç
sağlamadığını gösterirken 0 dB’nin altındaki PSIR değerleri algoritmanın ilk değerlere
göre daha kötü bir ayrıştırma sonucu verdiğini göstermektedir. PSIR’deki 1 dB’lik artış
3 kaynak olduğundan toplam 3 dB’lik bir iyileşmeye karşılık gelir. Hem gürültülü hem
de gürültüsüz durumlarda ICM-var yöntemi diğerleri geçmiştir.
Şekil 3.5’te 35 dB için karşılaştırma sonuçlarını görülmektedir. Birinci kaynak tüm
algoritmalar tarafından iyi bir şekilde ayrıştırılmıştır. İkinci kaynak SMICA ve ICM
tarafından görülebilir hale getirilmiştir. Üçüncü kaynakta eniyi sonucu ICM-var
verirken diğer iki yöntem tarafından ayrıştırılmasına rağmen az da olsa girişim ve
47
Original
SMICA
ICM-var
ICM
20
20
20
20
40
40
40
40
60
60
20
40 60
60
20
40 60
60
20 40 60
20
20
20
20
40
40
40
40
60
60
20
40 60
60
20
40 60
20
20
20
40
40
40
40
60
60
60
60
40 60
20
40 60
40 60
20
40 60
20
40 60
60
20 40 60
20
20
20
20 40 60
Şekil 3.5: SMICA, ICM ve ICM-var algoritmaları sonuçlarının 35 dB SNR’de görsel olarak
karşılaştırılması.
Tablo 3.5: ICM ve ICM-var yöntemlerinin hesap yüklerinin karşılaştırılması.
SNR
35
∞
ICM
döngü say. süre (sn.)
90
4.96
6100
335.5
ICM-var
döngü say.
128
1024
süre (sn.)
10.59
79.5
gürültü görülmektedir. ICM-var algoritmasının dezavantajı burada ikinci kaynağın
ayrıştırılmasında görülmektedir. Gürültüden dolayı ayrıştırılan imge aşırı düzleşmiştir.
ICM algoritmasının bir döngüsü 3.0 GHz bir PC’de ortalama 0.055 saniye sürerken
ICM-var algoritmasınınki 0.08 saniye sürmektedir. Tablo 3.5’te iki algoritmanın döngü
sayıları ve süreleri karşılaştırılmıştır. Gürültüsüz durumda ICM yönteminin yakınsaması
çok uzun sürmektedir. Gürültü seviyesi artıkça döngü sayısı ve süre azalmaktadır.
Gürültüsüz durumdaki PSIR kazancı gürültülü duruma göre daha fazladır. Bu da işlem
48
Özgün imgeler
Karışımlar
Ayrıştırılan imgeler
Şekil 3.6: ICM-var algoritması ile birbirine karışmış kameraman ve yazı imgelerinin
ayrıştırılması.
süresini artırabilir. ICM-var gürültünün az olduğu durumlarda döngü sayısını ve
hesaplama süresini düşürmüştür.
ICM-var algoritmasının bir başka uygulama sonucu da Şekil 3.6’da görülmektedir.
Burada kameraman imgesi ile bir yazının karışımı ICM-var algoritması ile
ayrıştırılmıştır. Karışım matrisi
⎡1 0.2 ⎤
A=⎢
⎥
⎣1 0.3⎦
şeklinde alınmıştır.
3.1.5. Deterministik Eniyileme için Vargılar
[32]’de de kullanılan ICM yöntemindeki Gauss olmayan önsel modellerinden
kaynaklanan
yakınsama
problemi
bu
önsellerin
Gauss’lara
yaklaştırılmasıyla
çözülmüştür. Gauss olmayan önsellerle 30 dB’nin altında yakınsamayan ICM yöntemi,
ICM-var diye adlandırılan ve önsel uyumlu bir Gauss atayarak (Denklem (3.22))
yakınsar hale getirilmiştir. Ayrıca gürültünün düşük olduğu durumlarda çok uzun süren
49
ICM yönteminin yakınsaması da hızlandırılmıştır. Bu Gauss’la yaklaşıklama imgedeki
ayrıtları koruma özelliğini bozduğu için ayrıştırılan kaynaklarda, özellikle yüksek
gürültülü durumlarda, aşırı düzleşme gözlemlenmiştir. Bu dezavantaj MFA ve onun
genel hali olan değişimsel Bayes yöntemlerinde ve aşamalı dışbükeysizlik, GNC, gibi
Gauss’a yaklaşıklamaya dayalı yöntemlerde de görülen bir durumdur. Düzleşme
probleminden kurtulmak için bir sonraki bölümde Gauss olmayan önsellere daha uygun
olan MCMC yöntemine dayalı bir ayrıştırma yöntemi önerilecektir.
50
3.2. MCMC İLE BAYESÇİ KAYNAK AYRIŞTIRMA
Bu bölümde, bilinmeyenlerin ortak sonsal dağılımları kullanılarak kaynak ayrıştırma
problemi için Markov zinciri Monte Carlo’ya dayalı bir çözüm yöntemi verilecektir. Bu
çözümde MCMC yöntemi olan Gibbs örneklemesine dayalı bir yöntem kullanılmıştır.
3.2.1. Gibbs Örnekleme ile Kaynak Ayrıştırma
Kaynaklar için kullanılan önsel dağılımlar Gauss olmadığında (bkz. Bölüm 2), (3.5)’te
verilen kaynaklara ait MAP kestirimi bulmak için MCMC yöntemi deterministik
yöntemlerden sonra ikinci bir seçenektir [53,38,54,55,56,57]. Ortak sonsal dağılım
p(s1:L , A, σ 12:K | y1:K ) ’dan doğrudan örnek üretmek mümkün olmadığından, çok
değişkenli problemi tek değişkenli olarak parçalamak için Gibbs örnekleyicisi kullanılır
[54], [38]. Başka bir deyişle, tüm değişkenler kendilerine ait sonsal dağılımdan ayrı ayrı
örneklenirler. Bu döngüsel yordam yakınsadığı takdirde, üretilen örnekler gerçek ortak
sonsal dağılımdan gelmeye başlayacaktır. Kaynak ayrıştırmada sadece kaynaklar değil
karışım matrisi ve gürültü değişintileri de bilinmediğinden limit dağılım ortak sonsal
dağılımdır.
Karşım matrisinin elemanlarının sonsal dağılımı (2.12) ve (2.14) ifadeleri ile
p(ak ,l | .) = N (ak ,l | μk ,l , γ k ,l )[u (ak ,l ) − u (ak ,l − Amax )] olarak belirlenmişti. Burada Gauss
dağılımından rasgele örnekler kolayca üretilebilir. Elde edilen Gauss dağılımlı örnekler
eğer akt +,l1 < 0 ise akt +,l1 = 0 yapılır. Eğer akt +,l1 > Amax ise akt +,l1 = Amax yapılır.
(2.18)
ve
(2.16)
denklemleri
ile
belirlenen
gürültü
değişintilerinin
sonsal
dağılımlarından örnek üretmek de ters Gamma dağılımı oldukları için kolaydır. Ters
Gamma dağılımı için de işlem süreleri kısa ve basit rasgele örnek üretme yordamları
51
vardır. Bu durumda (σ k2 )t +1 ∼ Inv − G (σ k2 | N / 2, Nz / 2) şeklinde ters Gamma dağılımı
kullanılarak örnekler üretilir.
Kaynak ayrıştırma probleminin imge kestirimi kısmı MRF ile modellenmiş imgeler ile
yapıldığından, imgelerden rasgele örnekler üretmek karışım matrisi ve gürültü
değişintileri örnekleri kadar kolay değildir. Bu tezde önerilen örnekleme yöntemi karma
bir yöntemdir. MRF modeline ait olasılık dağılımı Gibbs formunda olduğundan bölüntü
fonksiyonu kolay hesaplanabilir değildir. Sonsal dağılım da Gauss olabilirlik ve Gibbs
önselinin çarpımıdan oluşacağı için sonsal dağılım da kolay hesaplanabilir değildir ve
doğrudan örnek üretmek mümkün değildir. Bunun için Metropolis adımları
kullanılacaktır.
3.2.1.1. Markov Zincirleri
Bu bölümde Markov zincirleri hakkında bilgi verilecektir. Bir Markov sürecinde geçiş
olasılığı fonksiyonu, Markov zincirindeki bir durum verildiğinde sonraki durumun
olasılık fonksiyonunu belirler. Tek boyutlu bir kaynak imge (bir imgenin tek bir satırı
veya sütunu düşünülebilir) göz önüne alınmış ve l ’inci kaynak imgenin n ’inci pikseli
Sl ,n rasgele değişkeni ile gösterilmiş olsun. m ’inci pikselden n ’inci piksele geçiş
olasılığı
pij (m, n) = Pr ( Sl ,n = j | Sl ,m = i ).
(3.37)
şeklinde tanımlanır. Burada i ve j rasgele değişkenlerin aldığı değerlerdir. Örneğin
υ ∼ N (0,1) dağılımlı bir rasgele değişken olmak üzere Sl ,n = Sl ,m + υ modeli için geçiş
olasılığı pij (m, n) = N ( Sl ,m ,1) şeklinde bir normal dağılım olacaktır.
Geçiş olasılığı fonksiyonunun sahip olduğu bir özellik Chapman-Kolmogorov eşitliği
olarak bilinen
pij (m, n) = ∑ pik (m, u ) pkj (u, n) m < u < n
(3.38)
k
eşitliğidir [37,38]. Geçiş olasılığı fonksiyonu sadece n − m farkına bağlıysa Markov
zinciri durağan veya homojen denilmektedir. k ’ıncı adımdaki geçiş olasılığı fonksiyonu
52
pij( k ) (m, n) = Pr ( Sl , n + k = j | Sl , m = i ).
(3.39)
şeklinde tanımlanır. Tek adım geçiş olasılığı matrisi pij(1) olasılıkları cinsinden
⎡ p11(1)
⎢ (1)
P = ⎢ p21
⎢
⎣
p12(1)
p
(1)
22
…⎤
⎥
…⎥
⎥
⎦
(3.40)
şeklinde tanımlanır. Bu istatistiksel bir matris olduğundan satırlarının toplamı bire
eşittir.
∑
j
p (1)
ji = 1 . Durağan bir Markov zinciri için k ’ıncı adımdaki geçiş olasılığı
fonksiyonu geçiş olasılığı matrisi kullanılarak
p ( k ) = p (0) P ( k ) = p (0) P k
(3.41)
şeklinde yazılabilir. Burada p (0) zincirin ilk değeridir.
Markov zincirleri taşıdıkları özelliklere göre çeşitli sınıfalara ayrılırlar. Bu özelliklerden
ikisi şöyle sıralanabilir:
1. İndirgenemezlik: Bir Markov zincirinde pij( k0 ) > 0 durumunu sağlayan bir k0
sayısı bulunabiliryorsa Markov zinciri indirgenemezdir. Bunun anlamı tüm
durumların birbiriyle etkileşim içinde olduğu herbir durumdan diğerine geçişin
mümkün olduğudur.
2. Periyodik olmama: Zincirdeki bir durum K 0 , 2 K 0 , 3K 0 ,… gibi K 0 adımda bir
kendini tekrarlamıyorsa zincir periyodik değildir.
İndirgenemez ve periyodik olmayan bir Markov zinciri için
lim pij( k ) = π j
k →∞
(3.42)
ifadesini sağlayan π dağılımına, denge dağılımı veya durağan dağılım denilmektedir.
Eğer denge dağılımı varsa bu dağılım π = π P eşitliğini sağlar. Markov zinciri Monte
Carlo’nun amacı π dağılımına sahip Markov zincirinden rasgele örnekler almaktır.
53
π j p ji = π i pij ifadesi sağlanıyorsa Markov zinciri tersinebilir, ve pij = p ji ise olasılık
geçiş fonsiyonu simetriktir.
MRF’de geçiş olasılığı sadece bir önceki veya sonraki piksele değil tüm komşu
piksellere bağlıdır. Denklem (3.37)’de tek boyutlu imge için verilen geçiş olasılığı iki
boyutlu imge için
pij (∂n, n) = Pr ( Sl , n = j | Sl ,∂n = i )
(3.43)
şeklinde olacaktır. Burada Sl ,∂n 8 komşu pikseli içeren rasgele vektör ve i bu vektörün
aldığı değerleri içeren vektördür.
3.2.1.2. Metropolis Yöntemi
Metropolis [58] bir Markov zinciri MC yöntemidir. Tek boyutlu durumda Markov
zincirlerinin, çok boyutlu durumda Markov rasgele alanlarının rasgele benzetiminde
kullanılır. MRF modelli imgeden rasgele örnekler üretmek için Metropolis algoritması
kullanılacaktır. Metropolis algoritmasında, bir ilk değerle veya mevcut durum slt,n ile
başlanarak simetrik bir öneri dağılımından w rasgele örneği çekilir. Eğer öneri
fonksiyonu geçiş olasılığının kendisi ise üretilen örnekler 1 olasılığı ile slt,+n1 olarak
güncellenir. Ancak gerçek uygulamaların çoğunda geçiş olasılığı zor bir dağılım
olduğundan q ( slt, n , w) gibi kolay bir öneri dağılımı geçiş olasılığının yerine kullanılır.
Bu geçiş w = sl , n + ν bir rasgele adım süreci ile yaklaşık olarak modellenebilir. Burada
ν , −Δ ve Δ aralığında tanımlı birbiçimli bir rasgele değişkendir. Böylece öneri
fonksiyonu qt ( sl ,n , w) = U ( w | sl , n − Δ, sl ,n + Δ ) şeklinde ifade edilir.
Öneri dağılımından üretilen örnekler gerçek geçiş olasılığından gelmediği için artık 1
olasılığı ile kabul edilemeyecektir. Üretilen örneklerin kabul olasılığı ς i = min{r,1 }
olarak tanımlanır ve kabul oranı r
r=
p ( w | y1:K , θ −t sl ,i )
p ( slt,i | y1:K , θ −t sl ,i )
(3.44)
54
Tablo 3.6: Bir kaynak imgesi için Metropolis algoritması. qn ( sl ,n , w) : l ’inci imgenin n ’inci
pikseli için öneri dağılımı; u : [0,1] aralığında birbiçimli pozitif rasgele sayı; w : denemek için
üretilen rasgele sayı; r : üretilen örneğin kabul olasılığı.
1.
2.
3.
qn ( sl , n , w) ’dan w ’yu üret.
r ’yi hesapla
r ≥ 1 ise slt,+n1 = w
değil ise u ∼ U (0,1) ’i üret.
u < r ise slt,+n1 = w ,
t +1
değil ise sl , n = sl , n
4.
t
n + 1 ←⎯ diğer piksele geç ve 2. adıma git.
şeklinde ifade edilir. Gibbs örnekleme yordamı içine yerleştirilecek olan Metropolis
algoritmasının tek bir adımı Tablo 3.6’da verilmiştir.
(2.9), (2.10), (2.25), (2.23) ve (2.29)’daki denklemlerin Cauchy modeli altında
birleştirilmesi ile l ’inci kaynağın i ’inci pikseli için sonsal dağılımın p( sl ,i | y1:K , θ −t sl ,i )
∝ p (y1:K | θ t ) p ( sl ,i | slt, B1 (i ) ) ’nin açık şekli
p( sl ,n | y1:K , θ
t
− sl ,n
2
⎧⎪
βl ⎡ ( sl ,n − sl ,m ) ⎤ ⎫⎪
) ∝ ∏ N ( yk ,n | y k , n, σ ) exp ⎨− ∑
ln ⎢1 +
⎥⎬
δ
k =1
⎪⎩ m∈B1 ( n ) 2 ⎣
⎦ ⎭⎪
K
2
k
(3.45)
şeklinde yazılır. Burada
L
y k , n = ∑ ak ,l sl ,n
l =1
gözlemin beklenen değeridir.
Buradan kabul oranının açık şekli
2⎤
⎡
⎫
⎢δ + ( w − sl , m ) ⎥ ⎪
⎧K 1
βl
⎣
⎦
ln ⎡
r = exp ⎨∑ 2 [( yk ,n − y k ,n ) + D]D − ∑
t
2⎤⎬
⎢δ + ( sl , n − sl , m ) ⎥ ⎪
m∈B1 ( n ) 2
⎩ k =1 σ k
⎣
⎦⎭
(3.46)
55
Tablo 3.7: Metropolis gömülü Gibbs örneklemenin bir döngüsü.
s1:L ve A için ilkdeğerler atanır.
tüm pikseller için, i = 1 : N
Tablo 3.6’daki Metropolis algoritması ile
{
}
slt,+i 1 ←⎯ sample sl ,i p ( sl ,i | y1:K , θ −t sl ,i ) (Denklem (3.45))
{
(k , l ) = (1,1) : ( K , L)
}
akt +,l1 ←⎯ sample ak ,l p (ak ,l | y1:K , θ −t ak ,l ) (Denklem (2.12))
{
}
(σ k2 )t +1 ←⎯ sampleσ k2 p (σ k2 | y1:K , θ −t σ 2 ) (Denklem (2.18))
Yakınsayana kadar döngüler devam ettirilir. Örneğin
k
Δ PSIR < ε
olur. Burada D = ak ,l ( w − slt,i ) ’dir.
l ’inci kaynak imgeye ait MRF modelinden Metropolis ile örnek üretmek için tarama
doğrultusunda sl ,n n ’inci (şu anki piksel yeğinliği) ve sl ,n +1 (n + 1) ’inci (bir sonraki
piksel yeğinliği) olacak şekilde iki komşu pikseli göz önüne alalım. İlk önce n ’inci
pikselin sonsal dağılımı p( sl , n | y1:K , θ −t sl ,n ) belirlenir ve bir örnek üretilerek slt,+n1 şeklinde
güncellenir. n ’inci pikselin yeni değeri θ t +1 kümesinde yerine yazıldıktan sonra, sıra
(n + 1) ’inci piksel için p( sl ,n +1 | y1:K , θ −t +sl1,n+1 ) dağılımından örnek üretmeye gelir. Bu
yordam tüm pikseller için örnek üretilme işlemi bitene kadar devam eder.
Metropolis algoritması ile tüm imge örneklendikten sonra sıra karışım matrisi ve gürültü
değişintilerinin örneklenmesine gelir. Tüm bilinmeyen değişkenler için örnekleme
işlemi bittiğinde Gibbs örnekleme algoritmasının bir adımı tamamlanmış olur.
3.2.1.3. Gibbs Örneklemesi
Metropolis adımları yerleştirilerek değiştirilmiş Gibbs örnekleme algoritması Tablo
3.7’de görülmektedir. Tüm değişkenlerin kendi sonsal dağılımlarından örneklendiği
görülmektedir. Gibbs örnekleme algoritması bir ilk değerle başlamak zorundadır. Bu
çalışmada, ilk değerler gözlem imgeleri kaynaklara birebir atanarak elde edilmiştir. İlk
değer atamasından sonra birinci kaynak imgesi Metropolis ile örneklenir. Tüm
56
piksellerin örneklemesi bittikten sonra algoritma diğer kaynağa geçer ve böylece devam
eder. Tüm kaynak imgelerinin MCMC benzetimi tamamlandıktan sonra karışım matrisi
için örnekler üretilir. Tablo 3.7’de verilen sonsal dağılımların detaylı açıklamaları
Bölüm 2.2 ve (3.45)’te verilmiştir. Burada önerilen yordam klasik Gibbs örnekleme
algoritması değil Metropolis adımları yerleştirilerek değiştirimiş bir yöntemdir. Bu
yönteme değiştirilmiş Gibbs örnekleme [56] veya Metropolis gömülü Gibbs
örneklemesi denilebilir. Bu yöntemin Metropolis-Hasting adımları ile gerçekleştirilmiş
bir benzeri [59] önerilmiştir. Tablo 3.7’de verilen adımlar algoritma yakınsayana kadar
devam eder.
Bilinmeyen sayısını
azaltmak Gibbs örnekleme algoritmasının yakınsamasını
hızlandıracağı gibi kestirim hatasını da düşürecektir. Bu amaçla, sadece tek bir kaynak
imge örneklenir ve diğerleri sabitlenir. Böylece tek bir kaynak imge, karışım matrisi ve
gürültü değişintileri yakınsayana kadar Gibbs ile örneklenir ve sonra örnekleme işlemi
sıradaki kaynak imge için tekrar başlatılır. Bir önceki örnekleme sürecinden elde edilen
kaynak imge, karışım matrisi ve gürültü değişintileri ikinci kaynak imge için ilk
değerler olarak kabul edilir. Tüm kaynaklar örneklendikten sonra süreç tamamlanmış
olur. Diğer bir deyişle l ’inci kaynak için sadece sl , A ve σ 12:K örneklenir. Bu adımlar
slt,+11
∼
slt,+21
∼
1
slt,+MN
∼
a1t,+11
aKt +,1L
(σ 2 )t +1
p( sl ,1 | y1:K ,θ −t sl ,1 ) ⎫
⎪
p( sl , 2 | y1:K ,θ −t sl ,2 ) ⎪
⎬ Metropolis
⎪
t
p( sl , MN | y1:K , θ − sl ,MN ) ⎪⎭
N (a1t,1 | μ1,1 , γ 1,1 )
⎫
⎪
⎪
⎬ Dogrudan ornekleme
t
N ( aK , L | μ K , L , γ K , L ) ⎪
∼
∼ Inv − G (σ k2 | N / 2, Nz / 2) ⎪⎭
∼
(3.47)
şeklinde sıralanabilir. Bir Ω0 alıştırma periyodu geçtikten sonra, Ω0 + Ω döngülerinin
son Ω örneği MAP kestiriminin bulunulması için kullanılabilir. Böylece sl kaynağının
MAP kestirimi
57
2
sˆ l, A, σ 1:K = arg
max
sωl , Aω , (σ 12:K )ω
p (sωl , Aω , (σ 12:K )ω | s{ 1:L}−l , y1:K )
(3.48)
şeklinde bulunabilir [56]. Burada ω = 1,…, Ω Tablo 3.7’de bir döngüsü verilen Gibbs
örneklemenin döngü sayısını göstermektedir. l ’inci kaynak bir kere yakınsadıktan sonra
sˆ l onun kestirimi olarak alınır ve daha sonraki örnekleme adımlarında sabit kabul edilir.
l ’inci kaynakla beraber örneklenen A ve σ 12:K ’lar (l + 1) ’inci kaynak için ilk değer
olarak kabul edilir. A ve σ 12:K ’ların kestirimi tüm kaynakların kestirimi elde edildikten
sonra bulunur. (3.48)’deki MAP kestirimi tüm Ω örnekleri toplandıktan sonra bunların
histogramından doruk noktası belirlenebilir. İstenildiği takdirde bu örneklerden MSE
kestirimi de elde edilebilr. Yapılan denemeler sonucunda örneklerin histogramlarından
elde edilecek MAP kestirimi ile üretilen son örnekler arasında çok fark olmadığı
görülmüştür. Dolayısıyla histogramları elde edip doruklarını hesaplamak yerine
algoritmanın durduğu andaki değerler MAP kestirimi olarak kabul edilmiştir.
Gürültünün bilindiği durumda gürültü değişintileri için örnekleme yapmaya gerek
kalmaz. Örneğin astrofizik kaynak ayrıştırmada gürültü değişintileri bilinmektedir. Bu
durumda değişintiler için örnekleme adımları atlanabilir. Gürültü değişintileri
olabilirliğin sonsala katkısını belirlediğinden kestirilen değerler β parametresine de
bağlıdır. Bundan dolayı denemeler sonucunda değişintilerin belirli değerlere
yakınsamasına karşı bu değerlerin gerçek değerler olmadığı görülmüştür.
Bu bölümde benzetim için kullanılacak veri kümesi Bölüm 3.1.4’te kullanılanlarla
aynıdır. Gibbs örnekleme algoritması iki farklı kaynak modeli için yürütülmüştür.
Bölüm 2.4.1’deki i.i.d Cauchy modeli ile yürütülen GS-i.i.d olarak ve Bölüm 2.4.2’deki
MRF modeli ile yürütülen de GS-MRF olarak gösterilmiştir. Şekil 3.7’de son 1000
döngüde elde edilen değerler kullanılarak oluşturulmuş histogramlar görülmektedir.
Birinci histogram ikinci kaynağın (32, 32) ’nci pikselinin histogramı görülmektedir.
Yeğinlik değeri 350 ile 360 arasında değişmektedir. Bu pikselin MAP kestirimi
döngünün son adımındaki değeri 355 kabul edilmiştir. İkinci histogram A matrisinin
(1,1) ’inci elemanının histogramıdır. A matrisinin sonsal dağılımı Gauss olmasına karşı
58
çift doruklu bir deneysel sonsal elde edilmiştir. Kestirim değeri olarak 0.6199
alınmıştır. Son histogram ise gürültü değişintisinin histogramı görülmektedir.
Şekil 3.7: Son 1000 döngüde elde edilen değerler kullanılarak oluşturulmuş histogramları.
Birinci histogram: İkinci kaynağın (32, 32) ’nci pikselinin, ikinci histogram: A matrisinin
(1,1) ’inci elemanının, üçüncü histogram: gürültü değişintisinin histogramıdır.
Tablo 3.8: GS-i.i.d ve GS-MRF yöntemleriyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8
öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen ortalama PSIR değerlerinin
σ
90.98
53.34
30.02
16.88
9.49
5.33
3.00
1.68
0
SNR
15
20
25
30
35
40
45
50
∞
FPICA
13.95
15.31
17.20
18.80
21.05
22.28
24.81
30.00
31.43
SOBI 2BSMICA
14.07
14.05
14.37
14.66
15.07
14.69
17.60
17.64
18.99
19.75
19.80
23.75
25.87
27.63
30.04
30.84
33.92
38.29
ICM-var GS-i.i.d
14.78
14.94
15.99
16.05
17.61
17.35
19.77
19.19
22.63
21.10
25.61
24.21
29.57
27.20
33.45
29.78
45.72
32.70
GS-MRF
15.04
16.42
17.66
19.12
21.62
24.57
28.15
32.04
38.89
Sayısal sonuçlar Tablo 3.8 ve 3.9’da görülmektedir. ICM-var sonuçları PSIR değerleri
bakımından diğer yöntemlerden daha iyi görülmesine karşı Şekil 3.5’te de görüldüğü
üzere görsel açıdan bakıldığında gürültülü durumlarda çok fazla düzleşmiş sonuçlar
verdiği görülmektedir. Tablo 3.8’den SMICA ve GS-MRF sonuçlarının birbirlerine
yakın olmakla beraber GS-MRF’nin diğer yöntemlere göre daha iyi sonuç verdiği
görülmektedir. GS-i.i.d düşük SNR seviyelerinde GS-MRF’ye yaklaşmasına karşı
toplamda uzamsal ilintiye dayalı GS-MRF, Gauss olmamaya dayalı GS-i.i.d’den daha
iyidir.
Algoritmaların davranışlarını daha ayrıntılı görebilmek için herbir kaynağın ayrı ayrı
PSIR’ları Tablo 3.10’da verilmiştir. SMICA Doku 2 için en yüksek PSIR değerine
59
Tablo 3.9: GS-i.i.d ve GS-MRF yöntemleriyle, FPICA, SOBI 1B (70 öteleme), SOBI 2B (8
öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen M (R ) ölçüsünün
σ
SNR
90.98
15
0.6538
0.9664
0.6803
1.0774
1.3043
0.8844
53.34
20
0.7861
1.3099
0.6403
1.0301
1.1769
1.2124
30.02
25
0.5242
1.2363
0.5228
0.2419
0.9213
0.8912
16.88
30
0.4330
0.7606
0.4285
0.1547
0.6761
0.7083
9.49
35
0.2719
0.7173
0.2051
0.0971
0.3717
0.4350
5.33
40
0.4229
0.6341
0.1600
0.1032
0.2780
0.2265
3.00
45
0.3867
0.2899
0.1689
0.0501
0.1175
0.1271
1.68
50
0.1654
0.1633
0.1500
0.0440
0.1135
0.0573
0
∞
0.2173
0.1454
0.2326
0.0413
0.1280
0.0212
FPICA SOBI 2B SMICA ICM-var GS-i.i.d GS-MRF
Tablo 3.10: Gürültüsüz durumda kaynak imgelerin bireysel PSIR (dB) değerleri.
GS-MRF
GS-i.i.d
SMICA
FPICA+GS-MRF
SOBI 2B
SOBI 1B
FPICA
Doku 1
43.75
36.27
26.27
50.68
35.34
37.85
29.54
Doku 2
36.87
29.46
57.15
46.46
33.24
32.58
37.73
Doku 3
36.06
32.37
31.43
38.47
33.17
33.78
26.96
ulaşırken, Doku 1 için en düşük değeri vermiştir. Sonuçlar kaynaktan kaynağa
kararsızlık göstermektedir. Buna karşı Bayesçi Gibbs örnekleme ile kaynak ayrıştırma
daha kararlı bir davranış sergilemiş ve Doku 1 ve Doku 3 için eniyi sonuçları vermiştir.
Önerilen GS yönteminin benzetimi uzun sürdüğü için uygun ilk değerlerle başlamak
döngü sayısını azaltacaktır. Bu tür yaklaşımlar karmaşık sayısal yöntemlerle çözülen
tersine imge problemlerinde [60] yakınsama süresini kısaltmak için kullanılmaktadır.
Bunun için FPICA yönteminin çıktıları, GS-MRF için ilk değer olarak kullanılmıştır.
Sonuçlar Tablo 3.10’da FPICA+GS-MRF şeklinde verilmiştir. FPICA üzerine elde
edilen kazanç toplamda yaklaşık 41.38 dB ve ortalamada 13.79 dB’dir. Bu sayede GSMRF yöntemi 73000 döngüde sonuca varırken FPICA+GS-MRF 11600 döngüde
yakınsamaktadır. Fakat bu iki farklı ilk değerle elde edilen sonuçlar aynı değildir. GSMRF’nin bir döngüsü 3.0 Ghz PC’de 0.6443 saniye sürmektedir. Döngü sayısı yaklaşık
olarak 50000 alındığında hesaplama süresi 536.91 dakika (8.94 saat)’dır. İki
algortimanın sonuçları Şekil 3.8’de görülmektedir. Bu imgeler ayrıştırma sonuçları ile
FPICA+GS-MRF
GS-MRF
60
Şekil 3.8: FPICA+GS-MRF ile GS-MRF algoritmalarının ayrıştırma sonuçları ile özgün imgeler
arasındaki karesel hatalar.
özgün imgeler arasındaki karesel hataları göstermektedir. FPICA+GS-MRF’nin
sonuçları GS-MRF’den daha iyidir. Üçüncü kaynak her iki yöntemde de en büyük hata
ile ayrıştırılmıştır.
Şekil 3.9’da 35 dB için karşılaştırma sonuçları görülmektedir. Doku 1 tüm algoritmalar
tarafından iyi bir şekilde ayrıştırılmıştır. Doku 2 FPICA tarafından ayrıştırılamamıştır.
Doku 3 ICA tabanlı yöntemler tarafından ayrıştırılmasına rağmen az da olsa girişim ve
gürültü görülmektedir. GS-MRF Doku 1 ve 2’yi iyi bir şekilde ayrıştırmış ve Doku 2’yi
de daha görülür bir hale getirmiştir.
FPICA+GS-MRF yöntemi farklı doku karışımları için de test edilmiştir. Elde edilen
sayısal sonuçlar Tablo 3.11 ve 3.12’de, görsel sonuçlar ise Şekil 3.10’da görülmektedir.
Buradaki karışımlar (3.36)’daki karışım matrisi ile elde edilmiştir. Tablo 3.11’de, SOBI
1B gürültüsüz durumda iyi iken diğer SNR değerleri için FPICA+GS-MRF sonuçları
daha iyidir. Tablo 3.12’deki M (R ) ölçüsü Tablo 3.9’daki doku imgelerinde olduğu gibi
tutarsızlıklar göstermektedir. Sadece bu ölçüye bakılarak ayrıştırmanın başarımının
ölçülmesi doğru olmayacaktır.
61
Özgün
FPICA
SMICA
GS-MRF
Şekil 3.9: FPICA, SMICA ve GS-MRF algoritmaları sonuçlarının 35 dB SNR’da görsel olarak
Tablo 3.11: Şekil 3.10’daki imgeler için FPICA+GS-MRF yöntemiyle, FPICA, SOBI 1B (70
öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen ortalama
PSIR değerlerinin karşılaştırılması.
σ
SNR
FPICA
SOBI 1B SOBI 2B SMICA
30.02
25
19.71
19.36
19.21
18.75
FPICA+
GS-MRF
20.86
16.88
30
20.50
20.63
20.42
19.26
21.69
9.49
35
22.13
22.13
22.30
22.27
23.55
5.33
40
24.97
24.84
23.97
24.36
25.59
3.00
45
28.53
28.61
25.43
28.03
29.44
1.68
50
31.75
32.38
27.57
32.09
33.46
0
∞
40.90
42.07
41.80
37.04
41.65
62
Tablo 3.12: Şekil 3.10’daki imgeler için FPICA+GS-MRF yöntemiyle, FPICA, SOBI 1B (70
öteleme), SOBI 2B (8 öteleme), SMICA (4 frekans bandı) yöntemlerinden elde edilen M (R )
ölçüsünün karşılaştırılması.
σ
SNR
30.02
25
FPICA SOBI 1B SOBI 2B SMICA FPICA+GSMRF
0.7992 0.7036 1.0901 0.4816
0.9508
16.88
30
0.6119
0.5566
0.9452
0.4763
0.7320
9.49
35
0.5494
0.6768
0.7845
0.4200
0.6217
5.33
40
0.3979
0.4355
0.6817
0.3728
0.3799
3.00
45
0.1598
0.1565
0.7214
0.1831
0.0768
1.68
50
0.1700
0.0978
0.6020
0.1697
0.0875
0
∞
0.1104
0.1016
0.1326
0.1887
0.4668
Karisimlar
Karışımlar
Özgün
Özgün
FPICA
FPICA
SMICA
SMICA
FPICA+GS-MRF
FPICA+GS-MRF
26.80 dB
26.47 dB
28.18 dB
19.43 dB
18.60 dB
20.81 dB
21.43 dB
21.72 dB
21.65 dB
Şekil 3.10: Farklı doku imgeleri için FPICA+GS-MRF ile FPICA ve SMICA algoritmaları
sonuçlarının 35 dB SNR’de görsel olarak karşılaştırılması.
Şekil 3.10’daki sonuçlar 35 dB SNR’de elde edilmiştir. Şekilden görüldüğü gibi birinci
ve ikinci doku imgelerinde FPICA+GS-MRF yöntemi sonuçları diğerlerine göre daha
iyi iken üçüncü doku imgesi için SMICA yöntemi 0.07 dB daha iyi sonuç vermiştir.
63
3.2.3. MCMC Yöntemi için Vargılar
Metropolis gömülü Gibbs örnekleme ile yapılan kaynak ayrıştırmada Gauss olmayan
önsellerden kaynaklanan örnek üretme problemi ortadan kalkmasına rağmen yakınsama
süresi çok uzamıştır. Bu problemi gidermek için Metropolis’te kullanılan öneri
dağılımının daha uygun seçilmesi gerekmektedir. Kullanıcıya bağlı β
ve δ
parametrelerin algoritma boyunca öğrenilmesi ve öneri dağılımının bu parametrelere
bağlı olarak belirlenmesi de yakınsama süresini kısaltabilir. Diğer bir yöntem de
örneklemeyi paralel olarak yapmaktır. Bir sonraki bölümde, MRF parametrelerini de
kestiren bir MC yöntemi önerilecektir.
64
3.3. İSTATİSTİKSEL EM İLE ÖĞRETİCİSİZ KAYNAK AYRIŞTIRMA
Bölüm 3.2’de sunulan Gibbs örnekleme ile kaynak ayrıştırma yönteminin eksik tarafı
Gibbs dağılımı parametrelerinin kullanıcı tarafından ayarlanması gerekliliğidir. Ayrıca
yöntemin yakınsama süresi de oldukça fazlaydı. Bu bölümde İstatistiksel BeklentiEnbüyükleme (SEM: Stochastic Expectation-Maximization) yöntemi kullanılarak
probleme ait tüm parametrelerin otomatik öğrenilmesi sağlanacaktır. Gibbs dağılımının
parametrelerinin öğrenilebilmesi için Bölüm 2.5’te sunulan sözde olabilirlik yaklaşıklığı
kullanılacaktır.
1.1. İstatistiksel Beklenti-Enbüyükleme
Bölüm 3.2’deki yaklaşımda tüm bilinmeyenlerin ortak sonsal dağılımı üzerinden
benzetimler gerçekleştirilmişti. Kaynak ayrıştırmadaki diğer bir yaklaşım ise kaynak
değişkenlerini saklı (gizli) değişkenler olarak kabul edip, bu değişkenler üzerinden
integral alıp, marjinal sonsal dağılımı bulup gizli olmayan değişkenler üzerinden
enbüyükleme işlemi yapmaktır.
Kaynaklara ait parametrelerin belirlenmesinden önce kaynak modelinin seçilmesi
gerekmektedir. Kaynak ayrıştırmada harmanlanmış kaynakların ayrılabilmesi için
yeterli olan şartlardan bir tanesi kaynakların olasılık yoğunluk fonksiyonlarının Gauss
olmamasıdır. Bu amaçla kullanılan modellerden bir tanesi Gauss’ların katışımıdır. Bu
model kaynak ayrıştırma için başarı ile kullanılmaktadır [24], [25]. Gauss’ların
beklentileri analitik olarak hesaplanabildiğinden, Gauss’ların katışımı modelindeki
parametrelerin belirlenmesi EM yöntemiyle yapılmaktadır.
Bu çalışmada kullanılan ayrıştırılabilirlik şartı uzamsal ilintiye ve MRF imge modeline
dayandığından Gibbs dağılımının beklentileri analitik olarak hesaplanamaz, dolayısıyla
EM yönteminin doğrudan kullanılması mümkün değildir. Bunun için önerilen
yöntemlerden bir tanesi ortalama alan yaklaşıklığı ile MRF’ye bir Gauss dağılımı
oturtmaktır. Bu sayede beklentiler hesaplanabilir. Ortalama alan yaklaşıklığı imgedeki
65
ayrıtların düzleştirilmesine neden olmaktadır. Bu çalışmada, Bölüm 2.5’teki sözde
olabilirlik yaklaşıklığı kullanılacaktır.
EM yönteminde gözlem ve kaynak modeli parametrelerini kestirmek amacıyla karışım
matrisi A , gözlem gürültü değişintileri σ 12:K ve Gibbs dağılımı parametreleri β1:L,1:8 ve
δ1:L,1:8 ’ların olabilirliği gizli değişken olarak kabul edilen s1:L ’ler üzerinden
p (y1:K | A, σ 12:K , β1:L,1:8 , δ1:L,1:8 ) = ∫ p (s1:L , y1:K | A, σ 12:K , β1:L,1:8 , δ1:L,1:8 )ds1:L
(3.49)
= ∫ p (y1:K | s1:L , A, σ 12:K ) p (s1:L | β1:L,1:8 , δ1:L,1:8 )ds1:L
olarak ifade edilir. (3.49)’un logaritmasını enbüyük yapan A , σ 12:K , β1:L,1:8 ve δ1:L,,1:8
parametreleri belirlenmek istenirse, θ = { A, σ 12:K , β1:L,1:8 , δ1:L,1:8 } olmak üzere
θˆ = arg maxlog p(y1:K | θ )
θ
(3.50)
şeklindeki ifade edilen enbüyükleme probleminin çözülmesi gerekmektedir. Bu
enbüyükleme içerdiği integralden dolayı zordur. Bunun yerine daha basit bir maliyet
fonksiyonu belirlenip EM yöntemi ile yinelemeli olarak çözülebilir. Bunun için
⎧ p (y1:K , s1:L | θ ) ⎫
log { p (y1:K | θ )} = log ∫ ⎨
p (s1:L | y1:K , θ t )ds1:L
t ⎬
⎩ p(s1:L | y1:K , θ ) ⎭
(3.51)
⎧ p (y1:K , s1:L | θ ) ⎫
(Jensen eşitsizligi) ≥ ∫ log ⎨
p(s1:L | y1:K , θ t )ds1:L
t ⎬
⎩ p(s1:L | y1:K ,θ ) ⎭
⎧ p (y1:K | s1:L , θ ) p (s1:L | θ ) ⎫
t
= ∫ log ⎨
⎬ p (s1:L | y1:K , θ )ds1:L
t
|
,
(
)
p
s
y
θ
1: L
1:K
⎩
⎭
= Q(θ ;θ t ) + H (θ t )
şeklinde bir Q(θ ;θ t ) fonksiyonu belirlenir. Buradan görüldüğü gibi Q(θ ;θ t )
fonksiyonunun en büyük değeri her zaman log p (y1:K | θ ) fonksiyonunun en büyük
değerinin altında kalacaktır. Bu da EM yönteminin bir dezavantajı olarak görülmektedir.
Böylece EM bir alt eniyi çözüme ulaşabilmektedir. Burada
66
Q (θ ;θ t ) = Es
1:L |y ,θ
t
⎡⎣log { p (y1:K | s1:L , θ ) p (s1:L | θ )}⎤⎦
(3.52)
olacak şekilde bir önceki adımda elde edilen parametrelere bağlı olan s1:L ’lerin sonsal
dağılımı üzerinden hesaplanan koşullu beklentidir. H (θ t ) terimi koşullu olasılığın
kendisinin entropisi olup parametrelere bağlı olmadığından sabit olarak kabul edilebilir.
Bu durumda EM yönteminin E adımı Q(θ ;θ t ) fonksiyonunun elde edilmesi ve M adımı
da
θ t +1 = arg max Q(θ ;θ t )
θ
(3.53)
enbüyüklemesinin gerçekleştirilmesinden oluşur.
Q(θ ;θ t ) fonksiyonunun elde edilmesi p (s | y,θ t ) fonksiyonuna bağlıdır. Örneğin bu
fonksiyon MRF’nin ortalama alan yaklaşıklığı olan Gauss seçilirse analitik olarak
hesaplanabilir. Fakat bu bölümde kullanılacak olan sonsal dağılım (2.36)’da tanımlanan
sözde olabilirlik olduğundan analitik olarak hesaplamak mümkün değildir. Bunun için
integralin Monte Carlo yaklaşıklığı kullanılabilir. (3.52)’deki beklenen değeri MC
benzetimi kullanılarak
Q(θ ;θ t ) ≈
1 I
log { p(y1:K | s1(:iL) , θ ) p (s1(:iL) | θ )}
∑
I i =1
(3.54)
şeklinde hesaplanabilir. Bu yöntemle uygulanan EM algoritmasına Monte Carlo EM
denilmektedir [61], [38]. Burada üst indis i üretilen rasgele örnekleri göstermektedir. I
tane örnek hesaplamak yerine tek bir örnekle hesaplandığı takdirde yönteme istatistiksel
EM (SEM) denilmektedir. Bu bölüm de kullanılacak SEM algoritması
s1(:tL+1) ∼ p(s1:L | y1:K , θ t )
(3.55)
Q(θ ;θ t ) = log { p (y1:K | s1(:tL+1) , θ ) p(s1(:tL+1) | θ )}
(3.56)
θ t +1 = arg max Q(θ ;θ t )
(3.57)
θ
67
adımlarına dönüşecektir.
Denklem (3.55)’teki sonsal dağılımdan örnek üretme işlemi Tablo 3.6’da verilen
Metropolis yöntemi ile yapılacaktır. Buradaki tek fark sonsal dağılım için p(s | y, θ t )1/T
şeklinde T gibi bir sıcaklık parametresi ilave edilmiştir. Bu sıcaklık parametresi
döngüler boyunca soğutulmamış sabit olarak alınmıştır.
Denklem (3.57)’deki enbüyükleme adımları dört parametre grubu A , σ 12:K , β1:L,1:8 ve
δ1:L,1:8 için ayrı ayrı yapılacaktır. Karışım matrisi ve gürültü değişintileri için bu adımlar
(3.8) ve (3.9)’daki gibi olacaktır. Kaynak model parametrelerinden δ ’nın kestirimi için
(2.40)’daki moment yöntemi kullanılacaktır. Bu durumda
1 /p
⎛ E[| sl(,dn) | p ] ⎞
δ = ⎜⎜
⎟⎟ ,
⎝ B ( p,1) ⎠
0 < p <1
(3.58)
ifadesi ile kestirilir. Burada
B ( p,1) =
2 p +1 Γ(( p + 1) / 2)Γ(− p)
π Γ(− p/ 2)
(3.59)
ve E[| sl(,dn) | p ] beklentisi sl( d ) imgesindeki piksellerin ortalaması alınarak hesaplanmıştır.
β parametresi için ise (2.36)’da verilen sonsal dağılımın ML kestirimi kullanılmıştır.
Bu kestirim bulmak için
8
− log p(sl( d ) | βl ,1:8 , δ l ,1:8 ) = ∑ − log β lN, d/ 2 + βl , d ρ (sl( d ) | δ l , d )
(3.60)
d =1
ifadesinin sağ tarafı β l ,d ’ye göre türevi alınıp sıfıra eşitlenirse
−
N /2
βl ,d
+ ρ (sl( d ) | δ l ,d ) = 0
eşitliği alde edilir. Bu eşitliğin βl ,d ’ye göre çözülmesi ile β l ,d
(3.61)
68
Tablo 3.13 SEM algoritması.
tüm pikseller için, i = 1 : MN
Tablo 3.6’daki Metropolis algoritması ile
⎧
⎫
⎩
⎭
slt,+i 1 ←⎯ sample sl ,i ⎪⎨⎪ p ( sl ,i | y1:K , θ −t sl ,i )1/T ⎪⎬⎪
(k , l ) = (1,1) : ( K , L)
akt +,l1 = [(stl +1 )T stl +1 ]−1 (stl +1 )T (y k − ∑ i =1,i ≠l akt ,i sti +1 )
L
tüm gürültü değişintileri için,
(σ k2 )t +1 =
1
N
(y k − ∑ l =1 akt +,l1slt +1 )T (y k − ∑ l =1 akt +,l1slt +1 )
L
(
E [| sl(,dn ) | p ]
B ( p ,1)
βl ,d =
,
N/2
log δ
βl ,d =
)
1/p
N/ 2
L
(l, d ) = ( L, 8)
tüm Gibbs parametrleri için,
δ l ,d =
j = 1: K
⎡ ||( s( d ) )t +1||2 ⎤
⎢1+ l t +1 ⎥
δ l ,d
⎣⎢
⎦⎥
0 < p <1
( N +1) / 2
N /2
δ
N/2
l ,d
||( s )||
log ⎡1 + δl l ,d ⎤
⎣
⎦
(d )
2
( N +1) / 2
(3.62)
ifadesi ile hesaplanır. Burada ρ (.) fonksiyonunun yerine (2.35)’teki çok değişkenli
Cauchy dağılımının negatif logaritması yazılmıştır.
Algoritmanın adımları Tablo 3.13’te verilmiştir.
Bu bölümde benzetim için kullanılan veri kümesi Bölüm 3.1.4’te kullanılanlarla aynıdır.
Ayrıştırma sonuçları Şekil 3.11’de görülmektedir. İstatistiksel EM algoritması SEM
olarak adlandırılmıştır. SEM yönteminde gürültü değişintileri sabit kabul edilmiştir.
Sıcaklık parametresi denemeyle T = 1/16 olarak seçilmiştir. Şekilde görülen sonuçlar 35
dB PSNR altında elde edilmiştir. Şekilden görüldüğü gibi SEM yöntemi iki farklı
Bayesçi yöntemle karşılaştırılmıştır. Bu yöntemler Bölüm 3.1.1’deki ICM ve Bölüm
3.2.1’deki GS-MRF’dir. Herbir imgenin PSIR değerleri imgelerin altında verilmiştir.
SEM yöntemi diğer Bayeçi yöntemlerden daha iyi sonuç vermiştir. Özellikle ikinci
kaynakta diğer yöntemlerde belirgin olmayan detaylar hemen hemen belirgin hale
gelmiştir.
69
Özgün
SEM
GS-MRF
ICM
Şekil 3.11: SEM, GS-MRF ve ICM algoritmaları sonuçlarının 35 dB SNR’de görsel olarak
Tablo 3.14: 35 dB PSNR altında GS-MRF, ICM ve SEM algritmalarının karşılaştırılması. İkinci
sütün: PSIR (dB) değerleri üçüncü sütun: Tek bir döngünün saniye olarak işlem süresi;
dördüncü sütun: Döngü sayısı; beşinci sütun: Dakika olarak toplam süre.
PSIR
tek döngü
döngü sayısı toplam
GS-MRF
21.62
0.2267
60000
226.72
ICM
21.14
0.0595
90
0.0893
SEM
23.45
0.2458
15000
61.43
Tablo 3.14’te Bayesçi üç yöntemim; GS-MRF, ICM ve SEM, işlem süreleri
karşılaştırılmıştır. SEM yöntemi diğer iki yönteme göre ortalama PSIR’de yaklaşık 2
dB’nin üzerinde farkla daha iyi sonuç vermiştir. Öğrenme adımlarının artmasıdan ötürü
SEM algoritmasının tek bir döngüsü GS-MRF’ye göre 0.02 saniye uzamıştır. Buna
karşı, döngü sayısı ve toplam yakınsama süresi yaklaşık 4 kat kadar azalmıştır.
70
Tablo 3.15: Üç kaynak için 35 dB PSNR altında GS-MRF ve ICM’de sabit seçilen ve SEM’de
kestirilen β ve δ parametreleri.
β1
β2
β3
δ1
δ2
δ3
GSMRF
ICM
0.25
1.25
0.75
12
12
12
0.125
0.125
0.125
12
12
12
SEM
0.2032
0.2346 0.2614
34.92
17.26
11.02
GS-MRF ve ICM’de sabit kabul edilen β ve δ parametreleriyle ve SEM ile
kestirilenler
Tablo
3.15’te
verilmektedir.
Parametrelerin
gerçek
değerleri
bilinmemektedir. Birinci ve ikinci satırda deneme yapılarak bulunan değerler ve üçüncü
satırda kestirilen değerler görülmektedir. Kestirilen değerler ile elde edilen sayısal ve
görsel sonuçlar daha iyi olmasına karşın basit bir kaç tahminle bulunan değerler
kullanılarak elde edilen sonuçlar da bunlara yakındır.
71
3.4. DÖNGÜSEL SONSAL NOKTA KESTİRİMİ İLE KAYNAK AYRIŞTIRMA
Bu bölümde, Monte Carlo integral tekniğine dayalı bir imge kaynaklarını ayrıştırma
yöntemi verilecektir. Bu bölümde verilecek sonuçların bir kısmı aynı zamanda [62]’de
de sunulmuştur. Bu yöntemin yeniliği gürbüz bir hata fonksiyonunun beklenen
değerinden oluşan bir maliyet fonksiyonu kullanmasıdır. Bu maliyet fonksiyonunu
enküçük yapan nokta kestirimi gradyen iniş türü bir algoritma ile hesaplanmıştır.
İstatistiksel gradyen integrali analitik olarak hesaplanabilir olmadığından öneme göre
örnekleme (IS: Importance Sampling) ile hesaplanmıştır. Ardışıl MC yöntemlerinin
aksine herbir döngüde sadece nokta kestirimi saklanmıştır. Önerilen yöntem Döngüsel
Sonsal Nokta (IPP: Iterated Posterior Point) kestirimi olarak adlandırılmıştır.
MCMC yöntemlerinin, her tür olasılık yoğunluk fonksiyonuna uygulanabilmesine
rağmen, bir sakıncası yakınsamalarının uzun sürmesidir. Bu çalışmada, yöntemin
karmaşıklığını azaltmak ve hızını arttırmak için sonsal dağılımı örnekleyerek kestirimi
önerilmiştir. Bu sayede hem MCMC benzetiminden daha hızlı çalışan hem de dağılımın
tamamını örnekleyerek tüm sonsal dağılımın bir yaklaşıklığını elde etmekle, dağılımın
yerel doruk noktalarıyla uğraşmadan doğrudan sonuca varan bir yöntem elde
edilecektir. Bu yaklaşımda amaç parçacık yöntemiyle piksel piksel sonsal dağılımın
bulunması ve bu sonsal dağılım kullanılarak imgelere ait herhangi bir kestirimin
hesaplanmasıdır. Bir başka deyişle, ilk önce piksele ait sonsal dağılım yaklaşık olarak
bulunacak ve daha sonra pikselin değeri kestirileceltir. Sonsal dağılımın bir
yaklaşıklığının elde olması MSE’den entropi’ye kadar çeşitli kestirimcileri kullanmaya
olanak sağlamaktadır. Bu çalışmada kullanılacak olan kestirimci gürbüz bir hata
fonksiyonunun sonsal dağılıma göre beklenen değeri olacaktır. Bu hata fonksiyonunun
genel hali [63]’te bulunabilir. Bu hata fonksiyonuna bir olasılık yoğunluk fonksiyonu
atanmış ve bilgi kuramsal bir maliyet fonksiyonu kullanılmıştır. Kullanılacak gürbüz
maliyet fonksiyonundan dolayı kapalı çözüm mümkün değildir. Bu yüzden gradyen iniş
türü döngüsel bir yöntem kullanılacaktır. Maliyet fonsiyonunun gradyeni istatistiksel bir
integral içermektedir. Bu integralin hesaplanmasında öneme göre örnekleme
kullanılacaktır. [63]’de, Parzen yoğunluk kestirimi kullanılmıştır. Önerilen yöntem
72
Enküçük ortalama karesel hata (LMS: Least Mean Square) algoritmasının daha genel
bir sürümü olarak görülebilir.
Parçacık süzgeçleri türü yöntemlerde amaç, piksellerin MSE kestirimini bulmak için
gereken integralin sayısal MC yöntemi ile hesaplanmasıdır. Bunun için piksellerin
sonsal dağılımları örneklenir. Sayısal integral hesaplamak için uygulanabilecek en basit
yol belirli bir örnekleme periyodu ile olasılık yoğunluk fonksiyonundan örnekler
almaktır. Sonlu fark yaklaşımı olarak da bilinen bu yöntemin sıkıntısı örnek sayısının az
olduğu durumlarda iyi bir yaklaşıklık sağlamamasıdır. Örnek sayısının az olduğu
durumlarda alınan örneklerin olasılığın yüksek olduğu yerlerden gelmesi integralin
yaklaşıklığı için daha iyi sonuç verecektir. Bunun için pikselin sonsal dağılımından
rasgele örnekler üreterek integrali hesaplamak daha akıllıcadır. Sonsal dağılımdan
örnekler üretmek zor olduğu durumlarda ise sonsal dağılıma yakın bir öneri veya önem
dağılımı seçilerek örnekler bu dağılımdan üretilir. Örneğin imge modeli olarak
kullanılan MRF’den dolayı tek bir pikselin sonsal dağılımından örnek üretmek o kadar
kolay değildir. Bunun için MCMC yöntemleri kullanılabilir ama bu çalışmada hesapsal
olarak daha ucuz olan öneme göre örnekleme yöntemi önerilmiştir. Önem dağılımdan
çekilen örnekler doğru dağılımdan gelmedikleri için olasılıkları öneri fonksiyonuna göre
düzgelenir.
Öneme göre örnekleme daha çok tek boyutlu zaman serileri ve ardışıl veri dizilerinde
kullanılmaktadır. Bu alanlarda en çok tutulan yöntem ardışıl MC örnekleyicidir [64]. Bu
yöntemde işaretin bir Markov süreci olduğu kabulü ile herbir durumdaki parçacıklar
(örnekler) bir önceki durumdaki örnekler kullanılarak ardışıl olarak üretilir ve
örneklerin ağırlıkları (olasılıkları) ardışıl olarak bir sonraki duruma geçirilir. Bu yöntem
tek boyutlu ve nedensel işaretler için geçerli olup yöntemin doğrudan 2B imgeler
uygulanması kolay değildir. Çünkü imgelerde nedensellik kısıtı yoktur. Her pikselin
sekiz adet birinci dereceden komşusu vardır. Tarama yönüne göre sadece nedensel olan
kısım içindeki pikselleri kullanmak imgedeki zengin içeriğin yarısından vazgeçmek
anlamına gelir. Bu yöntemin 2B uygulaması Costagli ve diğ. [7] tarafından
gerçeklenmeye çalışılmıştır. İmgelerde kaynak ayrıştırma üzerine olan çalışmalarında
imge yeğinlikleri Gaussların karışımı olarak modellenmiş ve bu modelin parametreleri
ardışıl MC ile bulunmuştur. Piksellerde parçacıkların geçişleri tarama yönüne göre
73
sadece bir önceki piksel kullanılarak yapılmıştır. İmgedeki diğer bilgilerin
kaybolmaması için tarama farklı yönlerden yapılıp daha sonra ortak bir kestirim elde
edilmiştir.
Diğer bir 2B parçacık süzgeci uygulaması Zhai ve diğ. [65] tarafından
gerçekleştirilmiştir. İmge onarımı üzerine olan çalışmalarında tarama yönüne göre
nedensel olan birinci dereceden komşuları almışlar ve önem fonksiyonunu bir Kalman
süzgeci yardımı ile bulmuşlardır. Nittono ve diğ. [66] önem fonksiyonu olarak MRF
modelinden elde edilmiş önsel dağılımı kullanmışlardır. SAR imgelerinde gürültü
temizleme üzerine olan çalışmalarında Gençağa ve diğ. [67] önsel dağılımı yerel
istatistikleri kullanarak hesaplamışlardır. Bu çalışmada ise [67]’den farklı olarak
imgeler için MRF modeli kullanılmış ve döngüsel sonsal ortalama kestirimi
önerilmiştir.
3.4.1. Parçacık Yöntemleri
Bir imge için MSE kestirimi,
MSEE = ∫ (s − sˆ ) 2 p(s | y )ds
(3.63)
hatasını enküçük yapan ŝ kestirimcisini bulmaktır. Burada s imgedeki tüm piksellerin
vektör gösterimidir. Hata karesel olduğu için kestirimci ∂MSEE/∂sˆ = 0 denkleminin
çözümü ile
sˆ = E[s | y ] = ∫ sp (s | y )ds
(3.64)
şeklinde bulunur. Burada integral içindeki sonsal dağılım p (s | y ) ∝ p (y | s)
p(s)
şeklindedir. Kolay işlenebilir dağılımlarda bu integralin analitik çözümü bulunabilir.
Analitik çözümün bulunamadığı durumlarda integral sayısal yöntemlerle hesaplanabilir.
Bu amaçla bir MC yöntemi olan öneme göre örnekleme ile (3.64)’teki integral
hesaplanmak istenirse, ilk önce örnek üretmenin kolay olduğu bir önem dağılımı
q(s | y ) seçilir. (3.64)’teki integral yaklaşık olarak
∫ s p(s | y) q(s | y)ds ≈ ∑ w
I
q(s | y )
i =1
(i ) (i )
s
(3.65)
74
şeklinde yazılır. Burada
w =
(i )
p (s (i ) | y )
q (s (i ) | y )
(3.66)
Ayrık olasılık yoğunluk fonksiyonunun, toplam olasılığın 1’e eşit olma kuralını
sağlaması gerekir. Bundan dolayı düzgelenmiş yeni ağırlıklar
w =
(i )
w (i )
(3.67)
∑ i=1 w (i )
I
şeklinde olur.
Burada sonsal olasılık fonksiyonu ve önem fonksiyonu tüm değişkenlerin ortak
fonksiyonu olduğundan hem ortak önem dağılımından örnek üretmek hem de
(3.65)’teki
toplamı
hesaplamak
kolay
değildir.
Bunun
için
çözüm
yolları
geliştirilmelidir. Bunlardan 1B işaretler için anında işleme uygun olan ardışıl MC
örnekleyicisi Bölüm 3.4.1.1’de verilecektir. 2B imgeler için Bölüm 3.4.1.2’de imgeler
için daha uygun bir önem göre örnekleme ile kestirim önerilecektir.
3.4.1.1. Ardışıl Öneme Göre Örnekleme
Doucet tarfından önerilen ardışıl öneme göre örnekleme veya parçacık süzgeci tek
boyutlu veri dizilerinde tüm veri dizisine ait
sˆ1:n = E[ s1:n | y1:n ] = ∫ s1:n
p( s1:n | y1:n )
q ( s1:n | y1:n )ds1:n
q( s1:n | y1:n )
(3.68)
kestiriminin hesaplanması için önerilen bir yöntemdir. (3.64)’teki s ve y vektörleri
burada s1:n ve y1:n şeklinde gösterilmiştir. Bu yöntemde 1B veri için Markov olduğu
kabulu yapıldığında gözlem ve durum olasılıkları sırasıyla p ( yn | sn ) ve p( sn | sn −1 )
şeklinde yazılabilir. Önem fonsiyonu da q( sn | sn −1 , yn )q( sn −1 | sn − 2 , yn −1 )…q( s0 ) şeklinde
çarpanlara ayrılabilir. (3.68)’deki düzgelenmemiş ağırlıklar ardışıl olarak
75
wn(i ) ∝
p ( s1:n | y1:n )
q ( s1:n | y1:n )
∝
p( y1:n | s1:n ) p( s1:n )
q( s1:n | y1:n )
∝
p( yn | s1:n , y1:n −1 ) p ( y1:n −1 | s1:n ) p ( sn | s1:n −1 ) p ( s1:n −1 )
q ( sn | s1:n −1 , y1:n )q ( s1:n −1 | y1:n )
∝
p( yn | sn ) p( sn | sn −1 ) p( y1:n −1 | s1:n −1 ) p( s1:n −1 )
q( sn | sn −1 , yn )
q( s1:n −1 | y1:n −1 )
∝
p( yn | sn ) p( sn | sn −1 ) (i )
wn −1
q( sn | sn −1 , yn )
(3.69)
ifadesi ile belirlenir. Bu ardışıl güncelleme işaretin 1’den n ’ye kadar bir Markov zinciri
şeklinde nedensel olarak dizildiği durumda geçerlidir. İmgelerde ise bu yöntem, tüm
pikselleri tek boyutlu bir işaretmiş gibi dizerek uygulanabilir. Fakat bu durumda
imgelerdeki zengin komşuluk içeriği ihmal edilmiş, her bir pikselin sadece bir önceki
piksele bağlı olduğu kabul edilmiş olur. Bu yöntemin imgelere daha uygun olan bir
uygulaması imgeyi farklı doğrultularda tarayarak daha sonra elde edilen sonuçlardan
ortak bir kestirim elde etmektir [7]. Bir sonraki bölümde imgelere daha uygun olduğu
düşünülen bir parçacık yöntemi önerilecektir.
3.4.1.2. Döngüsel Sonsal Nokta Kestirimi
Bir önceki bölümde sunulan parçacık yöntemlerinde üretilen parçacıklar bellekte
tutulmaktadır. 1B işararetler için bu kolay bir işlemdir çünkü bir kere kullanılan
parçacıklar güncellenir ve eski parçacıklar bellekten silinir. 2B işaretlerde ise bellekteki
parçacıklar tekrar kullanılmak zorunda olduğu için bellekte saklanmak zorundadır.
Tarama yönüne göre nedensel bir komşuluk sistemi kullanıldığında bir üst satır ve o
anki satırın geride kalan tüm piksellerinin parçacıkları ve ağırlıkları saklanmak
zorundadır. Eğer komşuluk sistemi nedensel değil ise imgedeki tüm pikseller için bu
işlemin yapılması gerekir. Bu bölümde önerilecek yöntemde her piksel için çok sayıda
parçacık saklamak yerine sadece pikselerin nokta kestirimleri saklanarak yürütülen bir
yöntem önerilecektir. Böylece bellekteki yer problemi ve komşu piksellerin parçacıkları
ile de uğraşma karmaşıklığı azaltılacaktır.
76
Denklem (3.63)’teki piksellerin ortak MSE hatasını enküçük yapan (3.64)’teki ortak
MSE kestirimi yerine gürbüz bir hata fonksiyonunun beklenen değerini enküçük yapan
nokta kestirimi kullanılacaktır. Bu maliyet fonksiyonu l ’inci kaynağın n ’inci pikseli
sl ,n için
ε = ∫ g ( sl ,n − sˆ l ,n) p( sl ,n | y1:K , s1:L −(l , n ) , A, σ 12:K )dsl , n
(3.70)
şeklinde yazılabilir. Burada g (.) hata için gürbüz bir fonksiyondur. Bu fonksiyon
g (.) =| . |2 olarak seçilirse maliyet fonksiyonu (3.63)’teki MSE hatasının beklenen
değerine dönüşmüş olur, ve çözümü de (3.64) verildiği gibi analitik olarak bulunabilir.
Analitik çözümün mümkün olmadığı durumlarda döngüsel yöntemler kullanılabilir. En
dik iniş yöntemi kullanıldığında tek bir pikselin nokta kestirimi
sˆl ,n = sˆ l ,n − κ ∫ g ′( sl , n − sˆ l ,n ) p ( sl ,n | y1:K , s1:L − (l ,n ) , A, σ 1:K )dsl ,n
2
(3.71)
olarak yazılabilir. Burada sˆl ,n yeni kestirim, g ′(.) , g (.) ’nin birinci türevi ve κ de iniş
yönteminin adım büyüklüğüdür. Gürbüz fonksiyon g (.) =| . | p olarak seçilmiştir. Burada
p , 1 < p ≤ 2 aralığındadır. İntegralin içindeki sonsal dağılım
p ( sl , n | y1:K , s1:L −(l ,n ) , A, σ 12:K ) ∝ p (y1:K | sl , n , s1:L − (l ,n ) , A, σ 12:K ) p ( sl , n | s∂l , n )
(3.72)
şeklindedir. Bu dağılımdan örnek üretmek kolay olmadığından MCMC yöntemi
kullanılabilir. MCMC yönteminin zorluğundan kaçınmak için öneme göre örnekleme
kullanılacaktır. Bu amaçla, bir önem fonksiyonu q( sl ,n | s1:L −(l , n ) , sˆ l ,n, y1:K , A) , seçilir ve
örnekler bu dağılımdan üretilir. Yaklaşık integral
∫ g ′(s
l ,n
− sˆ l , n)
p( sl ,n | .)
q ( sl ,n | .)
I
q ( sl , n | .)dsl , n ≈ ∑ wl(,in) g ′( sl(,in) − ŝ l ,n )
(3.73)
i =1
şeklinde yaklaşık olarak ifade edilir. Burada I üretilen örnek sayısıdır ve örnek
ağırlıkları
wl(,in) =
p (y1:K | sl(,in) , s1:L −(l , n ) , A, σ 12:K ) p ( sl(,in) | s∂l ,n )
q ( sl , n | s1:L −(l ,n ) , sˆ l ,n, y1:K , A, σ 12:K )
.
(3.74)
77
ve
w =
(i )
l ,n
wl(,in)
(3.75)
∑ i=1 wl(,in)
I
şeklinde tanımlanır.
Önem fonksiyonu birbiçimli bir dağılım olarak seçilmiştir. q ( sl , n | s1:L −(l , n ) , sˆ l , n, y1:K ,
A, σ 12:K ) = q ( sl ,n | sˆ l ,n, θ ) = U ( sl ,n | sˆ l , n − θ , sˆ l ,n + θ ) burada θ , sl , n ’nin sınırlarını belirleyen
pozitif bir sayıdır.
Bu algoritmanın döngüsel sonsal nokta kestirimi olarak isimlendirilmesinin sebebi
üretilen parçacıklar kullanılarak hesaplanan nokta kestiriminin saklanarak diğer
piksellere geçilmesidir.
Karışım matrisi için MSE kestirimi kullanılacaktır. A ’nın bir elemanının MSE
kestirimi
2
aˆ k ,l = ∫ ak ,l p (ak ,l | A − ( k ,l ) , y1:K , s1:L , σ 1:K )dak ,l
(3.75)
= ∫ ak ,l p (y1:K | s1:L , ak ,l , A − ( k ,l ) , σ 12:K )dak ,l
şeklinde yazılır. İkinci integraldeki ak ,l ’nin olabilirliği Gauss olduğundan bu integral
analitik olarak hesaplanabilir. Fakat bu çalışmada tamamen MC yöntemi kullanmak için
integral MC yöntemi ile hesaplanacaktır. Yaklaşık integral
aˆ k ,l =
şeklinde
1 J j
∑ ak ,l
J j =1
yazılır.
(3.76)
Burada
akj,l
örnekleri
p(y1:K | s1:L , ak ,l , A − ( k ,l ) )
dağılımından
çekilmektedir. Denklem (3.76) şu şekilde yorumlanabilir: üretilen rasgele örneklerin
ortalaması alınıp bir kestirim elde edilmektedir.
Algoritma Tablo 3.16’te sergilenmektedir.
78
Tablo 3.16: Döngüsel sonsal nokta kestirimi ile kaynak ayrıştırma algoritması.
Yineleme sayısı için t = 1 : O
Kaynak imgeler için, l = 1 : L
Pikseller için, n = 1 : N
i = 1 : I , örnekle sl(,in) ∼ U ( sl , n | sˆ l , n − θ , sˆ l , n + θ )
(i )
(3.73)’ü kullananrak önem ağırlıklarını wl , n hesapla
(i )
(3.74)’ü kullanarak önem ağırlıklalarını düzgele wl , n
(3.71) ve (3.65)’i kulanarak yeni nokta kestirimi sˆ l ,n ’yi hesapla
Karışım matrinin elemanları için, ( k , l ) = (1,1) : ( K , L)
j = 1 : J , örnekle ak( ,jl) ∼ p(y1:K | s1:L , ak ,l , A − ( k ,l ) )
(3.76)’yı kullanarak MSE kestirimi aˆ k ,l ’yi hesapla
Bu bölümde benzetim için kullanılacak veri kümesi Bölüm 3.1.4’te kullanılanlarla
aynıdır. Deneme için 40 dB SNR altındaki karışımlar kullanılmıştır. Gürbüz hata
fonksiyonunu | . | p ’nin üssünün eniyi değeri, p ’nin değer aralığında yapılan denemeler
sonucunda 1.8 olarak belirlenmiştir. Aynı şekilde bir en dik iniş algoritmasının adım
büyüklüğü bir kaç deneme sonucunda κ = 0.8 olarak seçilmiştir. Tablo 3.1.4’teki
karışım matrisinin elemanları için kullanılan parçacık sayısı J = 2 olarak alınmıştır.
Uygulama gerçek zamanlı olmadığından ve birçok döngü üzerinden hesaplama
yapıldığından 2 parçacık yeterli olmuştur. PSIR her O = 500 yinelemede bir
hesaplanmış ve bu 500 yineleme sonundaki PSIR 500’ün başındakinden büyük ise
yinelemeye devam edilmiş değilse durdurulmuştur.
Tablo 3.17’te, FPICA [13], SMICA, ICM, GS-MRF ve önerilen yöntemin sayısal
karşılaştırma sonuçları verilmiştir. FPICA, GS-MRF ve IPP yöntemlerinin görsel
karşılaştırılması Şekil 3.12’de görülmektedir. IPP ve GS-MRF’nin sonuçları birbirine
oldukça yakındır. Tablo 3.17’te, önerilen yöntemle farklı parçacık sayıları için elde
edilmiş sonuçlar ve işlem süreleri görülmektedir. Üretilen örnekler MRF modeline göre
ağırlıklandırıldıklarından değişintileri bağımsız örneklere göre daha düşük olacaktır. Bu
da algoritmanın az sayıda parçacıkla da çalışabildiğini açıklamaktadır.
79
Tablo 3.17: Parçacık sayılarına göre PSIR (dB) değerleri. Üçüncü sütun: tek bir döngünün
saniye olarak işlem süresi; dördüncü sütun: döngü sayısı O ; beşinci sütun: dakika olarak
toplam süre.
I
PSIR
GS-MRF 24.57
ICM
22.77
FPICA 22.28
SMICA 23.75
2
23.29
4
23.85
8
23.89
16
24.09
32
24.29
64
24.56
128
24.62
Karışımlar
Özgün
tek döngü O
0.2267 60000
0.0432 80
0.0202 36
0.0195 630
0.8096 13900
0.8411 6220
0.8990 5450
1.0204 4810
1.2423 5100
1.7595 5700
2.6923 8900
IPP
toplam
226.72
0.0575
0.0121
0.2047
188.65
87.19
81.66
81.80
105.59
167.15
399.35
FPICA
GS-MRF
Şekil 3.12: 40 dB SNR altında doku imgeleri için benzetim sonuçları. Birinci sütun, karışmış
imgeler; ikinci sütun, özgün imgeler; üçüncü sütun, IPP; dördüncü sütun, FPICA; beşinci sütun,
GS.
80
Döngü sayısı
Şekil 3.13 16, 32 ve 64 parçacık için döngü sayısına karşın üçüncü kaynağın PSIR’sinin
değişimi. var(PSIR), son 500 döngü kullanılarak hesaplanmış değişintilerdir.
Olabilirlik
Sonsal
Olasılık
Önsel
İmge yoğunlukları
Şekil 3.14 Bir pikselin örneklenmiş dağılımları.
Şekil 3.12’deki sonuçlar 64 parçacıkla elde edilmiştir. Tablo 3.17’nin ilk satırı GSMRF’nin değerlerini göstermektedir. IPP sonuçları az parçacık sayısı için GS-MRF’ye
göre iki üç defa daha hızlıdır. Parçacık sayısı arttıkça algoritma yavaşlamaktadır. 128
parçacık için eniyi sonuç elde edilmiş fakat işlem süresi GS-MRF’yi geçmiştir. İşlem
süresini azaltmak için 0.5 dB’den vazgeçilebilir. Bu durumda, 16 parçacık yeterli
olacaktır ve 80 dakika kazanılacaktır.
81
Üçüncü kaynak için PSIR’nin yinelemeye göre değişimi 16, 32 ve 64 parçacık için
Şekil 1.13’te görülmektedir. Şekilden görüldüğü gibi eniyi parçacık sayısı 32 ile 64
arasında bulunabilir. Şekilde ayrıca son 500 döngüdeki PSIR’lar kullanılarak
hesaplanmış PSIR değişintileri gösterilmiştir. PSIR değişintileri de durma kriteri olarak
kullanılabilir örneğin var(PSIR) < 0.1 gibi. Son olarak sonsal dağılımın önsel ve
olabilirliğin örneklenmiş hallerinden nasıl elde edildiği Şekil 3.14’te görülmektedir.
3.4.3. IPP Yöntemi için Vargılar
Önerilen yöntemin PSIR sonuçları ve işlem süresi parçacık sayısı ile artmaktadır. 64
parçacıktan sonra işlem süresi GS-MRF’yi geçmektedir. 64 parçacık hem hesap yükü
hem de PSIR bakımından GS-MRF’ye göre daha iyidir. Algoritmayı daha da
hızlandırmak için 16 parçacık kullanılabilir. Bağımlı bir model kullanıldığı için az
sayıda parçacıkla kestirim yapılabilmektedir.
Önerilen yöntem Gibbs örnekleme ile parametrik olasılık yoğunluğu uydurmaya dayalı
yöntemlerin arasında yer almaktadır. İlkönce piksellerin yeğinlikleri değil, piksellerin
olasılık yoğunlukları yaklaşık olarak hesaplanmaktadır. Bu da kestirimin daha zengin
bir veri ile yapılmasını sağlamaktadır. Tek boyutlu piksel yeğinliği uzayından, çok
boyutu piksel olasılık yoğunluğu uzayına geçilerek kestirim yapılmakta ve tekrar tek
boyutlu uzaya dönülmektedir.
82
4. BULGULAR
4.1. ASTROFİZİK İMGELERDE BİLEŞEN AYRIŞTIRMA
Astrofizik imgeler gözü kapalı kaynak ayrıştırma için en önemli uygulama alanlarından
birisidir. Astrofizik imgelerde kaynak ayrıştırmanın asıl amacı Kozmik Mikrodalga
Arkafon (CMB: Cosmic Microwave Background) ışımasını gürültüden ve galaksi içi ve
galaksi dışı diğer kaynakların girişiminden temizleyerek en iyi bir şekilde elde etmektir.
Büyük patlama (Bing-bang) kuramına göre ilk patlama anından sonra evren tek bir
noktadan genişlemiş ve soğuyarak bugünkü halini almıştır. Bundan sonra genişlemenin
devam edip etmeyeceği evrenin yoğunluğuna bağlıdır. Yoğunluk belirli bir değerden
küçükse bu evrenin sonsuza kadar genişleyeceğini yani açık bir evren olduğunu, büyük
ise bir süre sonra çökeceğini yani kapalı bir evren olduğunu gösterir. Eğer yoğunluk
kritik değerde ise evren düzdür ve bir süre daha genişledikten sonra duracaktır.
Evren ilk 300.000 yıl içinde madde ve ışımadan oluşan bir karışım halindeydi. Çünkü
evrende ilk atomlar oluşmadan önce atom altı parçacıklar birleşerek proton ve nötron ve
elektronları oluşturmuş fakat sıcaklık çok fazla olduğundan protonlar ve elektronlar
birleşememiştir. Evren genişleyerek soğumaya devam ettikçe sıcaklık proton ve
elektronların birleşmesine yani eletromagnetik kuvvetin devreye girmesine uygun hale
gelmiştir. Tam o anda proton ve elektronlar birleşerek hidrojen atomunu oluşturmuşlar
ve geriye büyük bir ışınım kalmıştır. İlk yayıldığında yüksek enerjili gamma ışınımı
olarak yayılan bu ışınımın kalıntıları enerjisini kaybettiği için bugün mikrodalga
bölgesinde ölçülmektedir [68]. CMB olarak isimlendirilen bu ışınım ölçülmesi için ilk
olarak 1989 yılında COBE (COsmic Background Explorer) uydusu gönderilmiştir [69].
1992 yılında açıklanan sonuçlarla CMB’nin yaklaşık olarak 2.73 Kelvin sıcaklıkta
olduğu ve evrenin her yerinde aynı olmayıp bu sıcaklıktan küçük sapmalar gösterdiği
keşfedilmiş oldu. 2003 yılında WMAP (Wilkinson Microwave Anisotropy Probe) [70]
takımı daha iyi açısal çözünürlükte elde edilmiş CMB ölçüm sonuçlarını açıkladı [71].
83
Açıklanan sonuçlar genişleyen büyük patlama kuramını desteklemektedir. Fakat evrenin
orijininin yapısını, evrendeki karanlık maddenin doğası ve miktarının anlaşılması için
daha yüksek çözünürlükte ve hassasiyette ölçümler gerekmektedir. Bunun için Avrupa
Uzay Ajansı (ESA: European Space Agency) önerilen projelerden ikisini birleştirerek
ünlü Alman bilim adamı Max Planck’ın onuruna PLANCK projesi olarak adlandırmıştır
[33]. Üçüncü “uzaydan CMB ölçüm projesi" olan PLANCK uydusu 2009 yılında
fırlatılacaktır. PLANCK projesinin amaçları, daha yüksek duyarlılıkta ve açısal
çözünürlükte CMB ölçümlerinin yapılması, 17. evrenin genişleyen, küçülen ve dengede
olduğunu belirleyen Hubble sabitinin hesaplanması, erken evrenin genişleme modelinin
sınanması ve CMB üzerindeki yapıların genliklerinin belirlenmesi şeklinde sıralanabilir
[72].
Astrofizik gözlemler çeşitli mikrodalga frekanslarında yapılmaktadır. Ancak her bir
bantta bu gözlemlerde CMB’nin dışında başka astrofizik kaynakları da bulunmaktadır.
Dolayısıyla algılayıcılarda bu bileşenler birbirilerine farklı oranlarda karışmış olarak
gelmektedir. Bu gözlemler her bir algılayıcıya özgü gürültü ile de bozulmaya uğramış
durumdadır. Bilinen galaksi içi ön plan bileşenleri şunlardır: galaktik toz (dust),
sinkrotron ışıması (synchrotron radiation), serbest-serbest yayımı (free-free emission).
Galaktik tozlar galaksideki soğuk toz parçacıklardan kaynaklanan yayınımdır.
Synchrotron ışık hızına yakın hızlarda hareket eden elektronların magnetik alana
girdiğinde spiral şeklindeki hareketleri sırasında yayılan ışımadır. Free-free ışıması ise
iyonize olmuş gazlardan kaynaklanır [73], [74]. Galaksi dışı kaynaklar ise noktasal
kaynaklar ve ısıl Sunyaev-Zeldovich (SZ) etkisidir. Noktasal kaynaklar farklı yeğinlik
değerlerine sahip uzak galaksilerden ve kuasar ışımalarından oluşan bir bileşendir. Isıl
SZ diğer ön plan bileşenleri gibi bir bileşen olmayıp CMB ışınımının galaksi
kümelerinden geçerken oluşturduğu saçılmadan kaynaklanan bir etkidir. Bir başka
deyişle CMB’nin noktasal olarak değişime uğramış bir şeklidir [74].
Düşük frekanslı değerlerde CMB daha baskındır; fakat bu bantlarda anten gürültüsü
yüksektir. Yüksek frekanslarda gürültünün az olmasına karşı CMB dışındaki
bileşenlerin etkisi fazladır. Uzayın bazı bölgelerinde gürültü seviyesi işaret seviyesinden
yüksektir.
84
Synchrotron
Dust
Özgün
Ozgun
CMB
Kestirilen
Kestirilen
(a)
(b)
Şekil 4.1: (a) Özgün astrofizik imgeler. (b) Gibbs örnekleme ile kestirilen imgeler.
4.2. ASTROFİZİK İMGELER İÇİN BENZETİM SONUÇLARI
Bu bölümde, önceki bölümlerde sunulan ayrıştırma yöntemleri astrofizik imgelere
uygulanarak karşılaştırma sonuçları verilmektir. Benzetim için kullanılan astrofizik
imgeler Şekil 4.1’de görülmektedir. Bunlar PLANCK projesi için ölçülmesi beklenen
CMB, synchrotron ve dust imgeleridir. Bu imgeler PLANCK takımı tarafından yapay
olarak üretilmişlerdir. Şekil 4.2’nin ilk satırında üç bileşene ait histogramlar
görülmektedir. CMB’nin histogramı Gauss’a benzemesine rağmen diğerleri bilinen
herhangi bir dağılıma benzememektedir. Şekil 4.2’nin ikinci satırında, tek bir yönde
elde edilmiş gradyen imgelerinin s( d ) = s − G d s , histogramları görülmektedir. Bu
histogramların Cauchy dağılımı ile modellenebileceği görülmektedir. Bu da daha önce
yapılan ayrıt imgelerinin uzun kuyruklu dağılımlarla modellenebileceği kabulü
astrofizik imgeler için de geçerlidir.
Astrofizik imgelerin Ayrık Fourier Dönüşümü (DFT: Discrete Fourier Transforms)
Şekil 4.3’te görülebilir. CMB diğerleri ile karşılaştırıldığında ayrı bir Fourier
spektrumuna sahiptir. Fakat synchrotron ve dust birbirine benzer spektruma sahiplerdir.
Bu benzerlik özellikle yüksek gürültü seviyesinde spektral bölgede ayrıştırmayı
85
Şekil 4.2: Birinci satır: Şekil 4.1’deki astrofizik imgelerin histogramları. İkinci satır: Bileşenlere
ait ayrıt (gradyen) imgelerinin histogramları. Düz (kırmızı) çizgi yaklaşık Cauchy dağılımını
göstermektedir.
Şekil 4.3: Şekil 1’deki astrofizik bileşenlerin DFT’lerinin genlikleri.
zorlaştırmaktadır. SMICA gibi spektral bölgede çalışan yöntemlerin neden synchrotron
ve
dust
bileşenlerini
ayrıştıramadığının
nedenini
göstermektedir.
Bu
durum
karşılaştırma sonuçları verilirken gösterilecektir.
Gözlemler 9 × 3 boyutunda bir karışım matrisi kullanılarak oluşturulmuştur. Oluşturulan
9 yapay gözlem 30, 44, 70, 100, 143, 217, 353, 545, ve 857 GHz frekanslarındaki
antenlerden elde edilmiş gözlemlere karşı gelmektedir. Bu durumda K = 9 gözlem ve
L = 3 kaynak imge vardır. Karışım matrisi:
86
⎡1.2570 32.8359 0.1260 ⎤
⎢1.2241 10.8140 0.2464 ⎥
⎢
⎥
⎢1.1353 2.8133 0.5485 ⎥
⎢
⎥
1.0
1.0 ⎥
⎢ 1.0
A = ⎢ 0.7781 0.3544 1.7921 ⎥
⎢
⎥
⎢ 0.4302 0.1057 3.4130 ⎥
⎢ 0.0998 0.0258 6.6817 ⎥
⎢
⎥
⎢ 0.0081 0.0073 10.7548 ⎥
⎢ 0.0001 0.0020 14.1807 ⎥
⎣
⎦
(4.1)
şeklindedir. Şekil 4.1’deki imgeler ve (4.1)’deki karışım matrisi kullanılarak oluşturulan
gerçekçi yapay karışımlar Şekil 4.4’te görülebilir. Zayıf synchrotron ışıması hiçbir
gözlemde görülebilir değildir. CMB beklendiği gibi alçak frekanslarda diğer kaynaklara
göre daha baskındır. Dust yüksek frekanslarda oldukça belirgindir.
Bölüm 3.2’deki Gibbs örnekleme algoritması ile ayrıştırılan imgeler Şekil 4.1’in ikinci
satırında görülmektedir. Sayısal sonuçlar Tablo 4.1’de verilmiştir. Gürültüsüz durum
için 857 GHz’teki gözlem dust bileşeni ile hemen hemen aynıdır ve Şekil 4.1’deki
özgün imge ile karşılaştırılabilir. Bu bileşenin PSIR değeri 93.29 dB’dir ve fiilen
ayrıştırılmış dust bileşeni olarak kabul edilebilir. Bunun için GS-MRF algoritmasında
bu bileşen için döngü yapılmamıştır. CMB bileşeni için elde edilen ayrıştırma sonucu
55 dB’dir. Bu sonuç pratik amaçlar için imgenin çok iyi ayrıştırıldığını göstermektedir.
Synchrotron için de ayrıştırma sonucu diğerleri kadar iyi olmasa da pratik amaçlar için
yeterli sayılabilir. Karşılaştırma için diğer bölümlerde de kullanılan ICA tabanlı
yöntemlerden FPICA, SOBI 1B 70 gecikmeli, SOBI 2B, SMICA kullanılmıştır. Bu
tezde önerilen yöntemlerden GS-MRF ve GS-i.i.d algoritmaları kullanılmıştır.
SMICA’da 8 halka şeklinde frekans bandı kullanılmıştır. Astofizikçiler CMB’nin i.i.d
Gauss olduğunu kabul etmektedirler. Bu yüzden MRF modelinin üstünlüğünü ortaya
çıkarmak için üç farklı kaynak modeli kullanılmıştır. Bu modeller ve kullanılan
kısaltmalar Tablo 4.2’de verilmiştir.
GS-CMRF, GS-i.i.d’den daha iyi sonuç vermiştir. SEM algoritması CMB’de ve GSCMRF synchrotron’da iyi sonuç vermiştir. GS algoritmasından sonra, SMICA,
CMB’nin ayrıştırılmasında ve SOBI 2B synchrotron ve dust bileşenlerinde daha iyi
87
30 GHz
44 GHz
70 GHz
100 GHz
143 GHz
217 GHz
353 GHz
545 GHz
857 GHz
Şekil 4.4. 30, 44, 70, 100, 143, 217, 353, 545, ve 857 GHz’deki gerçek gözlemlere benzetilen
yapay karışım imgeleri.
Tablo 4.1: Gürültüsüz durumda ayrıştırılan bileşenlere ait PSIR (dB) ve karışım matrisi için
M (R ) değerleri.
CMB
Synchrotron
Dust
M (R )
GS-CMRF
55.14
45.22
93.29
0.0675
GS-i.i.d
56.98
25.03
93.29
0.0965
GS-(GMRF+CMRF)
54.18
43.58
93.29
0.0801
SEM
57.05
42.66
93.29
0.0589
ICM
37.49
44.67
93.29
0.3314
SMICA
38.77
28.87
26.23
0.4889
SOBI 2B
30.18
39.84
34.25
0.7479
SOBI 1B
31.09
19.89
28.88
0.9932
FPICA
28.50
26.05
23.99
0.9115
88
Tablo 4.2: Astofizik bileşenler için kullanılan kaynak modelleri.
Model adı
CMB
Synchrotron
Dust
CMRF
Cauchy MRF
Cauchy MRF
Cauchy MRF
i.i.d
i.i.d Gauss
i.i.d Cauchy
i.i.d Cauchy
GMRF+CMRF
Gauss MRF
Cauchy MRF
Cauchy MRF
Şekil 4.5: Gürültüsüz durumda tüm yöntemlerin CMB ve synchrotron için PSIR sonuçlarının
dağılımı.
sonuç vermiştir. Şekil 4.5’te tüm yöntemlerin CMB ve synchrotron için PSIR
sonuçlarının dağılımı çizdirilmiştir. Bu şekilden görüldüğü gibi en iyi sonuç veren üç
yöntem GS-CMRF, GS-(GMRF+CMRF) ve SEM’dir.
Gürültülü durumda deneme yapmak için herbir kanala anten gürültülerini benzeştirecek
şekilde farklı değişintilerde Gauss gürültüleri eklenmiştir. Bu değerler σ 12:K
değişintilerine karşı gelmektedir. Gürültü gerçekte uzamla değişime uğramasına rağmen
bu çalışmada durağan kabul edilmiştir. Gürültü önsel dağılımı olarak (2.20)’deki
ölçeklenmiş ters chi-kare dağılımı kullanılmıştır. Bu dağılımdaki η serbestlik derecesi 7
olarak seçilmiştir. PLANCK takımının beklediği gürültü seviyesinin üzerinde gürültüler
eklenmiştir. Gürültülü gözlem imgeleri ve SNR değerleri Şekil 4.6’da gösterilmiştir.
89
30 GHz, SNR=12.38dB
44 GHz, SNR=8.32dB
70 GHz, SNR=6.26dB
100 GHz, SNR=16.77dB
Şekil 4.6: Gürültü eklenmiş yapay astrofizik bileşenlerin karışımları. SNR değerleri herbir
imgenin üzerinde gösterilmiştir.
SNR değerleri 6’dan 25 dB’ye kadar değişmektedir, en düşük SNR’ler alçak
frekanslarda görülmektedir.
SOBI 2B, SMICA ve GS-CMRF ile ayrıştırılan bileşenler Şekil 4.7’de ve sayısal
başarım sonuçları ise Tablo 4.3’te görülmektedir. FPICA en kötü sonucu vermiştir ve
çıktıları gözlemlerden bile daha kötüdür. SOBI 2B, SMICA ve SOBI 1B’ye göre daha
iyi sonuç vermiştir. Şekil 4.7’den görüldüğü üzere CMB ve dust bileşenleri açık bir
şekilde görülür olmasına rağmen SOBI 2B ve SMICA synchrotron bileşenini
ayıramamıştır. GS-CMRF diğer yöntemlerin hepsine göre hem sayısal hem de görsel
olarak çok daha iyi sonuçlar vermiştir. GS-CMRF algoritması sadece synchrotron
90
Özgün
SOBI 2B
SMICA
GS-MRF
Şekil 4.7: SOBI 2B SMICA ve GS-MRF ile gürültülü gözlemlerden ayrıştırılan astrofizik
bileşenler.
bileşenini tam olarak ayrıştıramamıştır. Ayrıştırılan synchrotron imgesi gürültü
seviyesinin yüksek olmasından dolayı düzleşmeye uğramıştır. Şekil 4.8’de SEM, ICMvar ve GS-(GMRF+CMRF) yöntemlerinin görsel sonuçları görülmektedir. ICM
yöntemi gürültülü durum için yakınsamamıştır. ICM-var yakınsamasına karşı
synchrotron ayrıştırılamamış ve CMB de kötü bir şekilde ayrıştırılmıştır. SEM ve GS(GMRF+CMRF) ile synchrotron çok düzleşmiş olarak ayrıştırılmış olmasına karşı Şekil
4.7’deki GS-MRF sonucu özgün synchrotron’a daha yakındır.
GS-CMRF algoritması için döngü sayısı gürültüsü ve gürültüsüz durumlar için sırası ile
50000 ve 35500 ’dir. SEM için bu döngü sayıları 13140 ve 15000’dir.
91
Özgün
ICM-var
SEM
GS-(GMRF+CMRF)
Şekil 4.8: SEM, ICM-var ve GS-(GMRF+CMRF) ile gürültülü gözlemlerden ayrıştırılan
astrofizik bileşenler.
Tablo 4.3: Gürültülü durumda ayrıştırılan bileşenlere ait PSIR (dB) ve karışım matrisi için
M (R ) değerleri.
CMB
Synchrotron
Dust
M (R )
GS-CMRF
27.81
22.33
38.93
0.3014
GS-i.i.d
24.35
12.68
36.52
0.2731
GS-(GMRF+CMRF)
27.78
20.74
38.93
0.3756
SEM
27.76
21.21
39.34
0.2511
ICM-var
19.74
13.46
35.59
0.5264
SMICA
24.46
12.52
36.50
0.2258
SOBI 2B
25.47
12.34
36.62
0.9393
SOBI 1B
25.56
12.14
34.62
0.8659
FPICA
16.71
11.84
20.41
1.8500
92
5. TARTIŞMA VE SONUÇ
Tersine imge problemlerinde, Bayesçi yaklaşımın kullanılmasıyla imge önselleri önemli
bir rol almıştır. İlk başlarda kullanılan Gauss önselleri tersine problemdeki iğretiliği
iyileştirirken kestirilen imgelerde düzleşmeye neden olmaktaydı. Daha sonraları,
MRF’ler ve ayrıtları modellemek için çizgi alanları kullanılmıştır. Bu tezde kullanılan
imge modeli ise ayrıt koruyucu veya süreksizliğe uyarlı önsel olarak bilinmekte ve
gradyen imgelerini gürbüz istatistikte kullanılan uzun kuyruklu dağılımlar ile
modellemeye dayanmaktadır. Uzun kuyruklu dağılım olarak Cauchy dağılımı
seçilmiştir. Bu sayede, daha öneceki MRF imge modellerinde olduğu gibi yeğinlik
alanının yanında bir de çizgi alanı kullanmaya gerek kalmamaktadır. Ayrıt koruyucu
önsellerin iki parametresi vardır. Bunlardan bir tanesi sonsal dağılıma olan katkıyı
belirlerken diğeri ayrıtların şiddetine bağlıdır. Bu imge modeli ile iyi ayrıştırma
sonuçları elde edilmiştir. Kullanılan imge modeline gelen eleştirilerden bir tanesi sadece
birinci derece komşulukların kullanılmasıdır. Komşuluk sayısını MRF’de artırmak
işlem yükünü çok artıracaktır. Bunu daha akıllıca yapmanın bir yolu dalgacık dönüşümü
kullanmaktır. Dalgacık dönüşümleri son zamanlarda tersine imge problemlerinde
sıklıkla kullanılmaktadır. Dalgacık bölgesinde alçak geçiren kısım hariç detay
imgelerinin herbiri uzun kuyruklu dağılımlarla modellenebilir. Çözünürlük düzeyi
artırılarak piksel bağımlılığı çevre piksellere genişletilebilir. Dalgacık bölgesinde farklı
modeller geliştirilmiştir. Bunlardan bir kısmı bir banttaki piksellerin yerel olarak ilintili
olduğu varsayımını diğer bir kısmı aynı çözünürlükteki bantlar arası ilinti varsayımını
kullanır. Bunların dışında çok çözünürlüklü bantlar arasındaki sıradüzensel (ata-çocuk)
ilinti de modellemede göz önüne alınabilir. Tüm bu modellerin farklı birleşimleri de
dalgacık bölgesinde imge modellemek için kullanılabilir [75,76,77].
Ayrıt koruyucu önsel dağılımlar Gauss olmadığı için kestirim yöntemleri de imge
ayrıştırmada önemli bir rol oynamaktadır. Gauss olamayan önsellerle deterministik
eniyilemeye dayalı yöntemlerin eniyi sonucu vermesi kesin değildir. Gauss olmayan
93
sonsalları Gauss’a yaklaştırarak sonuca varmaya çalışan aşamalı dışbükeysizlik ve
değişimsel Bayes gibi ve Bölüm 3.1’de önerilen sadece önselleri Gauss’a yaklaştırarak
sonuca varmaya çalışan yöntemlerin götürüsü ayrıştırılan imgelerin düzleşmesidir. Bu
tür yöntemlerde bir yandan Gauss olmayan dağılımların getirisinden yararlanmaya
çalışılırken diğer yandan Gausslaştırarak bu getiri yitirilmektedir. Bu tür yöntemler
eniyileme probleminindeki sıkıntıları ortadan kaldırmasına rağmen baştan kabul edilen
imge modelininin getirisini de tam bir şekilde kullanmaya uygun değillerdir.
Bölüm 3.2’de önerilen MCMC yöntemi Gauss olmayan önsel dağılımların tüm
getirisinden yararlanabilir. Rasgele sayı üretilerek sonuca varmaya çalışılan bu
yöntemde herhangi bir yerel eniyi noktaya saplanma olasılığı düşüktür. İmge işlemede
değişken sayısı çok fazla olduğundan MCMC yönteminin yakınsama süresi çok
uzundur. Yakınsama süresini hızlandırmak için paralel örnekleme yoluna gidilebilir.
Paralel örneklemede pikseller birbirinden bağımsızmış gibi rasgele sayılar üretilip daha
sonra Metropolis algoritması ile kabul veya reddedilebilir.
MC benzetimlerini hızlandırmanın bir başka yolu öneme göre örnekleme kullanmaktır.
Bu yaklaşım Bölüm 3.4’de kullanılmıştır. Pikseller için öneri dağılımları seçilmiş ve bu
dağılımlardan bir kerede bir çok örnek üretilerek yaklaşık sonsal dağılım elde edilmiştir.
Bu yöntem MCMC’ye göre daha az sürede yakınsamıştır. Fakat üretilen örnek sayısının
artırılması durumunda işlem yükü MCMC yöntemini geçmektedir. Hem MCMC hem de
öneme göre örneklemede öneri dağılımı algoritmanın yakınsama süresini doğrudan
etkilemektedir. Bunun için uygun öneri fonksiyonunun seçilmesi gerekmektedir. Hem
eniyiye yakın öneri fonksiyonunun belirlenmesi hem de yöntemi paralel hale getirmek
için gradyen iniş türü yöntemlerden yararlanılabilir. Örneğin öneri fonksiyonu maliyet
fonksiyonunun gradyenine göre tanımlanıp parametre çıkarımı bu gradyen üzerinden
yapılabilir. Bir başka MC yöntemi de ardışıl MC’dir. Bu yöntemle hem algoritmanın
hızı artırılabilir hem de durağan olmayan imgeler için uyarlanır bir kestirim imkanı
sağlanabilir.
Bölüm 3.3’de önerilen istatistiksel EM algoritması durağan olmayan imgelere
uyarlanabilir. Bu uyarlama beklenti hesaplama adımında MCMC yerine ardışıl MC
algoritması kullanılarak yapılabilir. Bu sayede hem piksellere bağlı parametre öğrenimi
94
hem de kaynak kestirimi için ortak bir yöntem geliştirilebilir. Son zamanlarda tersine
imge problemlerinde imge kestirimin yanında artık gözlem ve imge modeli
parametrelerinin de öğrenilmesi önem kazanmıştır. Bunun için önerilen algoritmalar
Gibbs örnekleme ve EM’dir. Gibbs örneklemenin dezavantajlarından daha önce
bahsedilmişti. EM algoritmasında ise dezavantajlar, yakınsamanın uzun sürmesinin
yanında ilk değerlere bağlı olmasıdır. EM adımlarına bir de kaynak kestirim adımı
eklenerek ilk değerlere bağımlılık ortadan kaldırılabilir. Bölüm 3.3’de önerilen yöntem
de aslında Gibbs örnekleme ve ICM algoritmalarının bir karmasıdır.
Ayrılabilirlik kriteri olarak uzamsal bağımlılık kullanılmıştır. Elde edilen sonuçlar
uzamsal bağımlılık modelinin bağımsız Gauss olmama modelinden daha iyi sonuç
verdiğini göstermiştir. Ayrıca yöntem spektral bölgedeki ayrılabilirliği kullanan SMICA
yöntemine göre de astrofizik imgelerde iyi sonuç vermiştir. Fourier spektrumları
birbirine benzeyen ve gürültülü astrofizik gözlemlerde ayrıştırmayı sağlayan tek yöntem
GS-MRF olmuştur. Bu çalışmada kullanılmayan diğer ayrılabilirlik özelliği ise durağan
olmamadır. Kullanılan MRF modeli durağan olmayan imgeler için pikselden piksele
değişen MRF parametreleri seçilerek genişletilebilir. Bu sayede durağan olmayan imge
kaynaklarının ayrıştırılması sağlanabilir. Bu tür bir uygulama astrofizik imgelerde
vardır. Astrofizik bileşenler durağan kabul edilmelerine rağmen gerçekte durağan
değildir. Durağan olmayan durumda kestirim zor olacaktır. Bunun için pikselden
piksele uyarlanır kestirim yöntemleri kullanılabilir.
Bu tezde kullanılan MRF modeli ile imge kaynaklarının ayrıştırılması probleminde hem
kaynaklar hem de gözlem ve kaynak parametreleri kestirilmiştir. Bu değişkenlerin
kestirilmesi için kullanılacak olan algoritmanın seçilmesinde izlenen ve önerilen yol şu
şekildedir.
•
Eğer kestirilecek değişkenin sonsal dağılımının enbüyük veya doruksal kestirimi
analitik olarak bulunabiliyorsa bu analitik çözüm kullanılmalıdır.
•
Analitik çözüm olanaksızsa veya olanaklı ama tersi alınamayacak bir ifade
içeriyorsa, eniyileme yöntemleri kullanılabilir. Eniyileme yöntemlerinin
kullanılabilmesi için sonsal dağılımın negatif logaritmasının dışbükey olması
gerekmektedir.
95
•
Analitik çözüm bulunamıyorsa ve sonsal dağılımın negatif logaritması dışbükey
değil ise değişimsel Bayes, aşamalı dışbükeysizlik veya MCMC yöntemleri
kullanılabilir. Değişimsel Bayes ve aşamalı dışbükeysizlik ayrıştırma sonucu
düzleşmeye neden olduğundan daha doğru sonuçlar alabilmek için burada
önerilecek olan yöntem MCMC’dir.
•
Sonuç olarak ileriki çalışmalarda kaynak modeli olarak dalgacık dönüşümü
kullanılabilir. Bu sayede imgelerdeki uzun erimli bağımlılıklar da kullanılabilir.
Bayesçi çatı altında ortak kestirim ve öğrenme algoritması olarak durağan
modeller için MC EM ve durağan olmayan modellerde ardışıl MC EM
yöntemleri denenebilir. MC EM yönteminde bir kerede çekilen rasgele örnek
sayısı birden fazladır. Sonsuz tane örnek çekildiğinde yöntem gerçek EM’e
dönüşür. Beklenti hesaplama adımı MC yerine yine son zamanlarda farklı
alanlarda sıklıkla kullanılan parametrik olmayan dağılım kestirim yöntemleri ile
de gerçekleştirilebilir [63]. Parametrik olmayan dağılımlar MRF’lerde de
uygulanabilmektedir [78]. Parçacık süzgeçleri tek boyutlu Markov zincirleri için
sürekli durum uzayında kullanılırken, inanç yayılımı (BF: Belief Propagation)
genel grafik modellerinde ayrık durum uzayında geçerlidir. Parametrik olmayan
inanç yayılımı (NBF: Nonparametric BF) ise parçacık süzgeçlerinin gelişigüzel
yapıdaki grafik modellerine genişletilmesi sonucu elde edilir [79].
MCMC’de MRF’den örnek üretmek işlemin süresini çok uzatmaktadır. Bunun için
farklı yöntemlere başvurulabilir. Bu yöntemlerden birisi örneklemeyi paralel olarak
yapmaktır. MRF imge modeli bağımlılığa dayalı bir model olduğundan paralel
örnekleme için birbirinden bağımsız olduğu kabul edilen imge kısımları ayrı ayrı
örneklenebilir. Örneğin blok örneklemede imge küçük bloklara ayrılıp bu bloklar için
öneri dağılımından blok olarak bir öneri üretilip Metropolis yöntemiyle bloğun tümü
kabul veya reddedilebilir. Diğer bir etkin örnekleme yaklaşımı ise yardımcı değişkenler
eklemeye dayanır. Bunlardan dilim örneklemesi (slice sampling) [80] düşük boyutlu
problemlerde etkinken, Hamilton veya melez MC [53,55] yüksek boyutlu problemlerde
iyi sonuçlar vermektedir. Hamilton MC’de eniyileme yöntemlerinden yararlanılarak
tüm imge için bir öneri üretilip bu imge Metropolis yöntemiyle kabul veya reddedilir.
96
Önerilen imge modeli ve ayrıştırma yöntemi bağımlı kaynakların ayrıştırılması işlemine
genişletilebilir. Bunun için bağımlı olan kaynaklar, örneğin iki kaynak, ayrı ayrı iki
MRF ile değil birbirileriyle etkileşim içinde olan üst üste iki katlı MRF olarak
modellenebilir. Bu uygulama bağımlı olduğu düşünülen galaksi içi bileşenler
(synchrotron, dust ve free-free) için kullanılabilir. Ayrıca renkli imgelerde renk
kanalları arası ilintiler bu yolla modellenebilir. Bu model renkli imgelerin kestiriminde
ve ayrıştırılmasında kullanılabilir. Bir başka bağımlı imge uygulaması olan karmaşık
imgelerde gerçek ve sanal kısımlar arasındaki bağımlılık bu yaklaşımla modellenip
karmaşık imgelerin ayrıştırılmasında kullanılabilir.
Astrofizik bileşen ayrıştırma alanında hala çözülememiş bir problem olan durağan
olmayan kaynakların ayrıştırılması da geleceğe yönelik bir çalışma olarak düşünülebilir.
Durağan olmayan astrofizik bileşenler parametreleri pikselden piksele değişen bir MRF
olarak modellenebilir. Uzamsal olarak değişen parametreler yerel olarak durağan kabul
edilerek kestirilirken imge yeğinlikleri ardışıl MC veya parçacık süzgeci yöntemi ile
kestirilebilir.
97
KAYNAKLAR
[1] P. Charbonnier, L. Blanc-F´eraud, G. Aubert, and M. Barlaud , 1997, “Deterministic
edge-preserving regularization in computed imaging,”, IEEE Trans. on Image
Processing, 6 (2), 298–311.
[2] G. Archer and D. M. Titterington , 1995, “On some Bayesian/regularization methods
for image restoration,”, IEEE Trans. on Image Processing, 4 (7), 989– 995.
[3] C. Bouman and K. Sauer , 1993, “A generalized Gaussian image model for edgepreserving MAP estimation,”, IEEE Trans. on Image Processing, 2 (3), 296–310.
[4] S. C. Park, M. K. Park, and M. G. Kang , 2003, “Super-resolution image
reconstruction: A technical overview,”, IEEE Signal Processing Magazine, 20 (3),
21–36.
[5] M. Elad and A. Feuer , 1997, “Restoration of a single superresolution image from
several blurred, noisy, and undersampled measured images,”, IEEE Trans. on Image
Processing, 6 (12), 1646–1658.
[6] R. C. Hardie, K. J. Barnard, and E. E. Armstrong , 1997, “Joint MAP registration
and high-resolution image estimation using a sequence of undersampled images,”,
IEEE Trans. on Image Processing, 6 (12), 1621–1633.
[7] M. Costagli and E. E. Kuruoglu, 2007, “Image separation using particle filters,”,
Digital Signal Processing, 17 (5), 935–946.
[8] A. Tonazzini, L. Bedini, and E. Salerno, 2006, “AMarkov model for blind image
separation by a mean-filed EM algorithm,”, IEEE Trans. on Image Processing, 15
(2), 473–482.
[9] M. J. McKeown, S. Makeig, G. G. Brown, T.-P. Jung, S. S. Kindermann, A. J. Bell,
and T. J. Sejnowski, 1998, “Analysis of fMRI data by blind separation into
independent spatial components,”, Human Brain Mapping, 6, 160–188.
[10] A. Hyvarinen and P. Pajunen, 1999, “Nonlinear independent component analysis:
Existence and uniqueness results,”, Neural Networks, 12 (3), 429–439.
[11] P. Comon, 1994, “Independent component analysis: A new concept?,”, Signal
Processing, 36, 287–314.
98
[12] A. J. Bell and T. J. Sejnowski, 1995, “An information maximization approach to
blind separation and blind deconvolution,”, Neural Computation, 7, 1129–1159.
[13] A. Hyvarinen and E. Oja, 1997, “Fast fixed-point algorithm for independent
component analysis,”, Neural Computation, 9 (7), 1483–1492.
[14] A. Belouchrani and J.-F. Cardoso , 1994, “Maximum likelihood source separation
for discrete sources,” in European Conf. on Signal Processing, EUSIPCO’ 94,
(Edinburgh), 768–771.
[15] N. Delfose and P. Loubaton, 1995, “Adaptive blind separation of independent
sources: A deflation approach,”, Signal Processing, 45 (3), 59–83.
[16] A. Hyvarinen, 1999, “Gaussian moments for noisy independent component
analysis,”, IEEE Signal Process. Lett., 6 (6), 145–147.
[17] A. Belouchrani, K. A.-Meraim, J.-F. Cardoso, and E. Moulines , 1997, “A blind
source separation technique using second-order statistics,”, IEEE Trans. Signal
Process., 45 (2), 434–444.
[18] J.-F. Cardoso , 2001, “The three easy routes to independent component analysis;
contrasts and geometry,” in Int. Conf. on Indepen. Comp. Anal. ICA’01, (San
Diego).
[19] K. H. Knuth , 1999, “A Bayesian approach to source separation,” in Int. Conf. on
Indepen. Comp. Anal. ICA’99, 283–288.
[20] A. Mohammad-Djafari , 1999, “A Bayesian approach to source separation,” in Int.
Workshop on Maximum Entropy and Bayesian Methods, MaxEnt’99.
[21] D. B. Rowe, 2002, “A bayesian approach to blind source separation,”, Journal of
Interdisciplinary Mathematics, 5 (1).
[22] E. Moulines, J.-F. Cardoso, and E. Gassiat, 1997, “Maximum likelihod for blind
separation and deconvolution of noisy signals using mixture models,” in Int. Conf.
on Acoustic, Speech and Signal Processing. ICASSP’97, 3617–3620.
[23] H. Snoussi and A. Mohammad-Djafari , 2000, “Bayesian source separation with
mixture of Gaussians prior for sources and Gaussian prior for mixture coefficients,”
in Int. Workshop on Maximum Entropy and Bayesian Methods, Max-Ent’00, (San
Diego).
[24] H. Attias, 1999, “Independent factor analysis,”, Neural Computation, 11, 803– 851.
[25] J. W. Miskin , 2000, Ensemble Learning for Indendent Component Analysis. PhD
thesis, University of Cambridge.
99
[26] E. E. Kuruoglu, L. Bedini, M. T. Paratore, E. Salerno, and A. Tonazzini, 2003,
“Source separation in astrophysical maps using independent factor analysis,”,
Neural Networks, 16, 479–491.
[27] J.-F. Cardoso, H. Snoussi, J. Delabrouille, and G. Patanchon , 2002, “Blind
separation of noisy Gaussian stationary sources: Application to cosmic microwave
background imaging,” in European. Conf. on Signal Processing, EUSIPCO’02,
(Toulouse), 561–564.
[28] J. Delabrouille, J.-F. Cardoso, and G. Patanchon, 2003, “Multi-detector
multicomponent spectral matching and applications for CMB data analysis,”,
Montly Notices on Royal Astronomical Society, 346 (4), 1089–1104.
[29] S. Hosseini, C. Jutten, and D. T. Pham , 2003, “Markovian source separation,”,
IEEE Trans. Signal Process., 51 (12), 3009–3019.
[30] A. Tonazzini, L. Bedini, E. E. Kuruoglu, and E. Salerno , 2003, “Blind separation
of auto-correlated images from noisy mixtures using MRF models,” in Int. Sym. on
Indepen. Comp. Anal and Blind Sig. Sep., ICA’03, (Nara, Japan), 675–680.
[31] H. Snoussi and A. Mohammad-Djafari , 2004, “Fast joint separation and
segmentation of mixed images,”, Journal of Electronic Imaging, 13 (2), 349–361.
[32] E. E. Kuruoglu, A. Tonazzini, and L. Bianchi , 2004, “Source separation in noisy
astrophysical images modelled by Markov random fields,” in Int. Conf. on Image
Proc. ICIP’04, vol. 4, 24–27.
[33] Planck Science Team, 2005, “Planck: The scientific programme,” tech. rep.,
European
Space
Agency
(ESA),
[online],
http://www.rssd.esa.int/SA/PLANCK/docs/. [Ziyaret Tarihi: 15 Temmuz 2008].
[34] D. Maino, A. Farusi, C. Baccigalupi, F. Perrotta, A. J. Banday, L. Bedini, C.
Burigana, G. D. Zotti, K. M. G´orski, and E. Salerno, 2002, “All-sky astrophysical
component separation with fast independent component analysis (FastICA),”,
Montly Notices on Royal Astronomical Society, 334 (1), 53–68.
[35] H. Snoussi, 2006, “Fast MCMC spectral matching separation in noisy Gaussian
mixtures: Application to astrophysics,” in IEEE ISCCSP, (Marrakech, Morocco).
[36] L. Bedini, D. Herranz, E. Salerno, C. Baccigalupi, E. E. Kuruoglu, and A.
Tonazzini, 2005, “Separation of correlated astrophysical sources using multiple-lag
data covariance matrices,”, EURASIP Journal on Applied Signal Processing, 15,
2400–2412.
[37] A. Gelman, J. B. Carlin, H. S. Stern, and D. B. Rubin, 2004, Bayesian Data
Analysis, 2 ed. Chapman & Hall/CRC, 1-58488-388-X.
[38] W. R. Gilks, S. Richardson, and D. J. Spiegalhalter, 1996, Markov Chain Monte
Carlo in Practice. London, U.K.: Chapman & Hall, 0-412-05551-1.
100
[39] A. N. Tikhonov and V. A. Arsenin, 1977, Solutions of Ill-posed Problems.
Washington: Winston & Sons.
[40] S. Geman and D. Geman , 1984, “Stochastic relaxation, Gibbs distributions, and
the Bayessian restoration of images,”, IEEE Trans. on Pattern Analysis and
Machine Intelligence, 6 (6), 721–741.
[41] A. Blake and A. Zisserman, 1987, Visual Reconstruction. MIT Press, 0-26202271-0.
[42] S. Kirkpatrick, C. D. Gellat, and M. P. Vecchi, 1983, “Optimization by simulated
annealing,”, Science, 220, 671–680.
[43] T. Hebert and R. Leahy , 1989, “A generalized EM algorithm for 3-D Bayesian
reconstruction from Poisson data using Gibbs priors,”, IEEE Trans. Medical
Imaging, 8 (2), 194–202.
[44] P. Perona and J. Malik , 1990, “Scale-space and edge detection using anisotropic
diffusion,”, IEEE Trans. on Pattern Analysis and Machine Intelligence, 12 (7), 629–
639.
[45] M. J. Black, G. Sapiro, D. H. Marimont, and D. Heeger , 1998, “Robust anisotrpic
diffusion,”, IEEE Trans. on Image Processing, 7 (3), 421–432.
[46] D. T. Pham and J. F. Cardoso , 2001, “Blind separation of instantaneous mixtures
of non stationary sources,”, IEEE Trans. Signal Process., 49 (9), 1837– 1848.
[47] D. M. Higdon, J. E. Bowsher, V. E. Johnson, T. G. Turkington, D. R. Gilland, and
R. J. Jaszczak , 1997, “Fully Bayesian estimation of Gibbs hyperparameters for
emission computed tomography data,”, IEEE Trans. Medical Imaging, 16 (5), 516–
526.
[48] X. Descombes, R. D. Morris, J. Zerubia, and M. Berthod , 1999, “Estimation of
Markov random field prior parameters using Markov chain Monte Carlo maximum
likelihood,”, IEEE Trans. Image Process., 8 (7), 954–963.
[49] P. Tsakalides , 1995, Array Signal Processing with Alpha-Stable Distributions.
PhD thesis, University of Southern California.
[50] K. Kayabol, B. Sankur, and E. E. Kuruoglu , 2007, “Source separation in images
via MRFs with variational approximation,” in European Conf. Signal Process.,
EUSIPCO’07, (Poznan, Poland), 423–427.
[51] B. J. Frey and N. Jojic , 2005, “A comparison of algorithms for inference and
learning in probabilistic graphical models,”, IEEE Trans. on Pattern Analysis and
Machine Intelligence, 27 (9), 1392–1416.
101
[52] A. Cichocki, S. Amari, K. Siwek, and T. T. et al., ICALAB Toolboxes [online],
http://www.bsp.brain.riken.jp/ICALAB. [Ziyaret Tarihi: 15 Temmuz 2008].
[53] R. M. Neal , 1993, “Probabilistic inference using Markov chain Monte Carlo
methods,” Tech. Rep. CRG-TR-93-1, Dept. of Computer Science, University of
Toronto.
[54] J. K. Ruanaidh and W. J. Fitzgerald, 1996, Numerical Bayesian Methods Applied to
Signal Processing. New York, USA: Springer-Verlag, 0-387-94629-2.
[55] D. J. C. Mackay, 1999, “Introduction to Monte Carlo methods,” in Learning In
Graphical Models (M. I. Jordan, ed.), 175–204, MIT Press.
[56] C. Andrieu, N. D. Freitas, A. Doucet, and M. I. Jordan, 2003, “An introduction to
MCMC for machine learning,”, Machine Learning, 50, 5–43.
[57] A. Doucet and X. Wang , 2005, “Monte Carlo methods for signal processing,”,
IEEE Signal Processing Magazine, 22 (6), 152–170.
[58] N. Metropolis, M. N. Rosenbluth, A. H. Teller, and E. Teller, 1953, “Equations of
state calculations by fast computing machines,”, The Journal of Chemical Physics,
21, 1087–1092.
[59] J. F. G. de Freitas, 1999, Bayesian Methods for Neural Networks. PhD thesis,
University of Cambridge.
[60] J. Tian and K. K. Ma , 2005, “A MCMC approach for Bayesian super-resolution
image reconstruction,” in Int. Conf. on Image Proc. ICIP’05.
[61] G. Celeux, D. Chauveau, and J. Diebolt , 1995, “On stochastic versions of the EM
algorithm,” Tech. Rep. 2514, INRIA.
[62] K. Kayabol, E. E. Kuruoglu, and B. Sankur , 2008, “Image separation using
iterated posterior point estimation,” in European Conf. Signal Process., EUSIPCO’
08, (Lausanne, Switzerland).
[63] D. Erdogmus and J. C. Principe , 2002, “Generalized information potential
criterion for adaptive system training,”, IEEE Trans. on Neural Networks, 13 (5),
1035–1044.
[64] A. Doucet, S. Godsill, and C. Andrieu, 2000, “On sequential Monte Carlo sampling
methods for Bayesian filtering,”, Statistics and Computing, 10 (3), 197–208.
[65] Y. Zhai, M. Yeary, V. deBrunner, J. P. Havlicek, and O. Alkhouli , 2005, “Image
restoration using a hybrid combination of particle filtering and wavelet denoising,”
in Int. Conf. on Image Proc. ICIP’05, vol. 3, 876–879.
[66] K. Nittono and T. Kamakura , 2002, “On the use of particle filters for Bayesian
image restoration,” in Conf. on Computational Statistics, Compstat’ 02, (Berlin).
102
[67] O. Gencaga, E. E. Kuruoglu, and A. Ertuzun , 2005, “Synthetic aperture radar
image enhancement using particle filters,” in ESA-EUSC Image Information Mining,
(Roma).
[68] A. Akoğlu , 2008, Evren TÜBİTAK Bilim ve Teknik Dergisi, Bilim CD’leri Serisi 9.
[69] National Aeronautics and Space Administration, NASA, Cosmic Background
Explorer [online], http://lambda.gsfc.nasa.gov/product/cobe/. [Ziyaret Tarihi: 15
Temmuz 2008].
[70] National Aeronautics and Space Administration, NASA, Wilkinson Microwave
Anisotropy Probe [online], http://map.gsfc.nasa.gov/. [Ziyaret Tarihi: 15 Temmuz
2008].
[71] National Aeronautics and Space Administration, NASA, WMAP, Five Years
Results
on
the
Oldest
Light
in
the
Universe
[online],
http://map.gsfc.nasa.gov/news/index.html. [Ziyaret Tarihi: 15 Temmuz 2008].
[72] European Space Agency, Planck Science Team Home [online], http://
www.rssd.esa.int /index.php?project=PLANCK&page=index. [Ziyaret Tarihi: 15
Temmuz 2008].
[73] G. Patanchon, J. Delabrouille, and J.-F. Cardoso , 2004, “Source separation on
astrophysical data sets from the WMAP satellite,” in Int. Conf. on Indepen. Comp.
Anal. ICA’04, (Granada, Spain), 1221–1228.
[74] M. Costagli, E. E. Kuruoglu, and A. Ahmed , 2003, “Source separation of
astrophysical images using particle filters,” Tech. Rep. ISTI-2003-TR-54, ISTICNR.
[75] M. Malfait and D. Roose , 1997, “Wavelet-based image denoising using a Markov
random field a priori model,”, IEEE Trans. Image Process., 6 (4), 549–565.
[76] M. Belge, M. E. Kilmer, and E. L. Miller , 2000, “Wavelet domain image
restoration with adaptive edge-preserving regularization,”, IEEE Trans. Image
Process., 9 (4), 597–608.
[77] A. Pizurica, W. Philips, I. Lemahieu, and M. Acheroy , 2002, “Joint inter- and
intrascale statistical model for Bayesian wavelet based image denoising,”, IEEE
Trans. Image Process., 11 (5), 545–557.
[78] R. D. Paget, 1999, Nonparametric Markov random field models for natural texture
images. PhD thesis, University of Queensland, Australia.
[79] E. B. Sudderth, A. T. Ihler, W. T. Freeman, and A. S. Willsky , 2003,
“Nonparametric belief propagation,” in IEEE Conf. Comp. Vis. Pattern Recog.,
CVPR’03, vol. 1, (Madison, Wisconsin), 605–612.
103
[80] R. M. Neal, 2003, “Slice sampling,”, Annals of Statistics, 31 (3), 705–767.
104
ÖZGEÇMİŞ
Koray Kayabol 1977 yılında Sakarya'da doğmuştur. İlk, orta ve lise öğrenimini
Sakarya'da tamamladıktan sonra 1993 yılında İstanbul Üniversitesi, Mühendislik
Fakültesi, Elektrik-Elektronik Mühendisliği Bölümünde lisans eğitimine başlamıştır.
1993-1997 ve 1998-2002 yıllarında sırasıyla lisans ve yüksek lisans öğrenimini
tamamlamıþtır.
2001-2008 yıllları arasında İstanbul Üniversitesi, Telekomünikasyon Anabilim Dalında
Araştırma Görevlisi olarak görev yapmıştır. Bilimsel ilgi alanları istatistiksel işaret ve
imge işleme, gözükapalı kaynak ayrıştırma, Bayesçi ve Monte Carlo yöntemlerdir.

FBE_tez yazim kilavuzu

Transkript

Benzer belgeler

Yayınlanmaya Değer Bulunanlar

yükseköğretim kurulu - KTO Karatay Üniversitesi

spıderman örneğinde çizgi roman çevirisinde sorunlar

Aycan YÜKSEL Boğaziçi Üniversitesi, Bilgisayar Mühendisliği 15/04

İmge Kareleri Kullanan Yeni Bir Steganografi

Yaratmada İlk Adım: İmge ve İmgelem First Step in Creation: Image

(Kayseri) Yöresi Manganez Rezervinin Jeolojik ve

Zengin Metin İşaretleme Dili (HTML)