Sunu4_parametric_classification_IPADx8.25 MB

MEH535 Örüntü Tanıma
4. Parametrik Sınıflandırma
Doç.Dr. M. Kemal GÜLLÜ
Elektronik ve Haberleşme Mühendisliği Bölümü
web: http://akademikpersonel.kocaeli.edu.tr/kemalg/
E-posta: [email protected]
Parametrik Yoğunluk Kestirimi
• Parametrik Kestirim:
– Verilen eğitim kümesinden bir olasılıksal model
kestirerek belirsizliği modelleme ve en iyi kararı
verme problemi:
• Parametrik, yarı-parametrik ve parametrik olmayan
yoğunluk kestirimi
– Parametrik sınıflandırmada örneklerden
parametre kestirme (örn; Gauss modeli için ort, değişinti)
He
-
{ set
#
rnekln
s
yojnhjnm
pilot
knllaheronk O'
y
.
xtvpiyygnhymdn
belirhyip
testing
K
gillin
.
uerihimesini
salruhr
.
2
Parametrik Yoğunluk Kestirimi
• Eğitim verisinden P(ωi) ve P(x|ωi) sınıf
yoğunluklarını kestirme problemi
• Bu durumda P(ωi|x) sonsalı hesaplanarak sınıf
kararı verilebilir!
.
.
.
En
(
Bijiikolabilidikkestiricii
Manimsm
K
en
Estimator
Likelihood
kimesindeki
biyiikleyeuk
trim
O
.
.
set
idrnehlen
-
'
parametrekrini
MLE )
iyinolabdihigi
bnlur !
3
En Büyük Olabilirlik Kestirimi (MLE)
• Bağımsız ve eş dağılımlı (iid) örnek kümesi
X = { xt }t=1N
• xt bilindik bir θ parametreli p(x|θ) olasılık
yoğunluğundan gelsin (xt~p(x|θ))
§
• Amaç: xt’nin olabildiğince p(x|θ)’dan
örneklendiği θ parametresini bulmak
• xt iid olduğundan, X kümesinin θ parametresi
için olabilirliği (likelihood):
grey
llolxtplxlokftiipcxttot
4
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
En Büyük Olabilirlik Kestirimi (MLE)
• Veri kümesi hangi dağılımdan gelmiş olabilir?
"
'
÷
Fillon
K
gcxioufnpatlo
iaiffllllllitin
xlosltekolabhtkhrm
,
buhjihsayycnr
aarpim
en
.
!
5
En Büyük Olabilirlik Kestirimi (MLE)
elabibilih
Log
:
lctlxtfemhgpcxtlot
£Hlx)=hy
Ml¥
f*=
Bernoulli
PCX
)
argmgn
(
Dafhun
=p
,× ( a
£(
-
p )
l'
0,1
'
×
) ;
)
,
Ps
:.
Elk )
tmµuobuhy
s¥=o't p⇐E#
£1 Polk
.
)=hgI,Po*h PI
-
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
"
fly
.
.
.
6
En Büyük Olabilirlik Kestirimi (MLE)
• Örnek (Çok Terimli D): K>2 çıktı durumu
p
=
,
§n±1n
7
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
En Büyük Olabilirlik Kestirimi (MLE)
keshikakpamylwc
• Gauss Dağılımı:
• p(x) = N ( μ,00σ2)
#.*'t
p x
1
2
x
2
2
1
2
2
x
exp
2
2
lgt#€g#
px
exp -
2
.
ego
-
Fit
£Kµtlk)=#zhg2#
log
elabilicih
:
£ ( elk )=hyI!
-
Negro
.
-
§[
pl*
entire
.
-
8
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
2£
=
O
§ ( htm
2
=
)
At
§nt= far
§ut=F y=m=5yI
.
.
Teo
=
-
i.
X
Tt
62N
2=0
ttf
+§
rent
§(
( nt
-
m
)
in
N.N.
late
§'s
,
M¥%)
N (
ii
,
Kestirici Performansı
• Kestirici: di = d(Xi)
.
{
;
lkias
xx
xxxx
d=§
)
x
,nM
Kett
yanhhkfdjicihti
disiilldignl
bekkndiktl)
defers
gnkehldiiiinh
.
f
dgihminparametresi
@@@@O
Liihlyhsek
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
ynsektpiksek
9
yaiki
defisinti
bold
=E[ d)
)
-
f
b•k1=O isekestiriciyansit !
Varoldl =E[ ( d- E[d])Y
±
:
:
"
Ortalamakareselltatuodleiitii
Ioi
X
EHMTEKECDFM
]
r(d,o)=E[
=E[
(
OIY
d-
( d+E[ d)
-
x
EC d)
-
=E[ ( d-
+E[2(
d-EHJKEH ]
-
F) ]
.
=
(
Dejigintityanhhli
Bias
-
Variance
decomposition )
F)
'
Tammy
dnkestricisi
,
ejer
fyi
;yProb{
ise
Tammy
dn
ldn
HE >0
-
HEE
i.in
}=1
tutarhdir
zayrfsa consistent
)
( weakly
knvvetlicetutwrhdrr
Kestiricisi
,
.
ejer
Prob{ nqhgadn -0-3=1
ise
.
(
strongly
consistent
)
Kestirici Performansı
• Örnek: Ortalama ve değişinti kestiricilerinin
2
t
'
yansızlığı
xt
x m
t
m
Elm ]
=
s
N
HTE [ § xD
-
§
at
a.
2
Ein 'T
YIY#
t
N
=
to
÷*Xtu=y
v¥tkf=oE
Aetna
**±¥%a
:e*¥÷i÷H**e¥ieEEII¥EE"
T
-
=
£#*
Ty
a
-
's
-
E [my
.
.
|=IytHn¥±
10
Var ( mp
=
=
Var
( In §×t )
In
Var
,
(
§'t )
=
ntfvarcxtttfgm.vwH-ofh-tT.N62-I2FiI-ojtfECsY-ftmtIn-nlEisINnf6lE@Eum.k
4
an
yen
oak
sit
in
say
olacakts
yah
sikt
he
,
!
"kG
.
Bayes Kestirici
• θ parametresi ile ilgili önsel bilgi mevcut
• Bu bilgi kısıtlı sayıda örnekte kestirim yaparken
faydalı olabilir!
• θ, p(θ) önselli bir rassal değişken olsun
• Bayes kuralı: p(θ|X) = p(X|θ)p(θ)/p(X)
• Full: p(x|X) = ∫ p(x|θ) p(θ|X) dθ
• Maximum a Posteriori (MAP): θMAP = argmaxθ p(θ|X)
.
• Maximum Likelihood (ML): θML = argmaxθ p(X|θ)
• Bayes: θBayes = E[θ|X] = ∫θp(θ|X)dθ
=
11
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
Bayes Kestirici
fees
-0%12
• xt ~N (m,σo2) ve θ~N (μ,σ2)
huibi
0m*p=Q3y
Hotel
N
.
ECFIKKM
N=o
-
ECEIK ]=m
=
m¥*q±m%o'€n
.m+
'#
'
orj
'
dajln
agirhgn
12
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
Doğrusal ve Karesel Sınıflandırıcılar
• Normal Dağılımlı Sınıflar için Bayes Sınıflandırıcıları:
• MAP karar kuralı:
• Çok Değişkenli Gauss Yoğunluğu (Multivariate GD):
pcxlw
;l =
,
niboyat
• MAP ayırtaç fonksiyonu:
.ly#gwD=Lps.*npftztxtI&fxtDPfyx1
gicxkplwilxk
's
,
K#%
13
Doğrusal ve Karesel Sınıflandırıcılar
• Sabit terimler atıldığında:
It eupftzk
Pcwi )
mI5hxmD
1£ ;
gikt
logarilmik
gilx
)
my
u
=
-
I
(
-
Eitxn
geyldjinde
emit
;)
-
-
;
1zhyl£Ht log
Pcwi )
tar
fonksiyom
kareselayrtasdiscriminant
function)
( quadratic
14
Doğrusal ve Karesel Sınıflandırıcılar
• DURUM-1: Öznitelikler istatistiksel bağımsız ve
değişintiler sabit (Σi = σ2I)
¥
=Ek=
{
EE
[ .
'ilYoIRx±mil steydothteypcw
=
9;
'N=
team
.
.
.
;)
-
nb
Lu
HIT '=÷I
%
.
.tw#gEttri8nwit/@@@ortak,atlak&
"⇐÷axnmxm
=
÷
(
.
xtuiltlxtuilthgplw
=g÷,(xT×
-
; )
xtni nitxtmfnithyplwi
nitmitx
=÷o(
xtx
)
-
-
znitxtminilthgplwi
)
15
,
Doğrusal ve Karesel Sınıflandırıcılar
ortak )
• Sabit xTx atıldığında:( ayrtaabrda
zteffnitxtmitmi )thgMwD
g ;W=
-
I€ MFM+1gPlwil,
EEt.tt#DtmEE*FE*
mearkglama
Garten
smifbndrmasl
16
Doğrusal ve Karesel Sınıflandırıcılar
• En yakın ortalama sınıflandırıcıda σ2 = 1 alındığında
uzaklık Euclidean uzaklığına dönüşmektedir.
XT ni )
)
t(
(
Emi
gjcy
• En yakın ortalama sınıflandırıcı:
-
=
17
Doğrusal ve Karesel Sınıflandırıcılar
• Örnek: 2-boyutlu uzayda 3-sınıf problemi
W ]
i
¥8
%
pgdxltfsk
Sınıf bölgeleri
1
,
glad
)
"
Wt
18
Doğrusal ve Karesel Sınıflandırıcılar
• DURUM-2: Öznitelikler istatistiksel bağımsız ve
değişintileri farklı (Σi = Σ, Σ: köşegen) Ee Ee 45
=
:
kz
%
( xi
=
=
-
t
÷
Cx ni
-
5
,
,**gt"
9
¥
in
2
-
key Etna
Itri
the Lihir
-
Ely
,
g
P'
+
eg
wit
then
.
,
,
"|¥µ
bill
a
II.
fi
{ xtinxaogniaotm.IN
.
,
+1
Pay
TE
a
=
%)
fi¥
an it
[
%
÷ hg
'
thy Mw D
,
=
-
's
{j
www.htmi#+hgPlw
.
;
)
19
Doğrusal ve Karesel Sınıflandırıcılar
20
Doğrusal ve Karesel Sınıflandırıcılar
• Örnek:
21
Doğrusal ve Karesel Sınıflandırıcılar
• DURUM-3: Değişintiler birbirinden, ortak değişintiler
sıfırdan farklı (Σi = Σ, Σ: köşegen değil) ⇐ ⇐÷⇐ EMILY
ahlabili
=
gill
emit
-12 (
=
st
(
x
-
silk
.
µ ;)
ftp.khthgplwi )
-
tlgpcwil
gdlx
milt
.
×
ni )
Uraklyi
key PE ( xy
Mahala nobis
'
DX yltgi
-
=
'
)
22
Doğrusal ve Karesel Sınıflandırıcılar
• Mahalanobis uzaklığı Σ-1 normunu kullanan bir vektör
uzaklığıdır
– Σ-1 uzayda yayma faktörünü tanımlar
– Σ = I durumunda Euclidean uzaklığına dönüşür
0€
;i*i
.
23
Doğrusal ve Karesel Sınıflandırıcılar
• Ayırtaçtaki karesel terim açıldığında:
g;
ki
-
=
IZLXIX
-
'
2mF I
x
+
tiahlabilir
"x+
I
zttzni
=
=
mit
Mitt
Mitt
'm ; thymus
fi
)
thy
pail
Wljxtwio
F
.
Ita
;
the
Phil
24
Doğrusal ve Karesel Sınıflandırıcılar
25
Doğrusal ve Karesel Sınıflandırıcılar
• Önsel olasılıklar eşit alındığında:
gjcx
)
=
-
I
'Cx-÷
Cx
en
rife
.
hiiciih
uuhlrk
s
if lantern
; s
mahalanob
(
4
in
ut
26
.
)
Doğrusal ve Karesel Sınıflandırıcılar
• Örnek:
27
Doğrusal ve Karesel Sınıflandırıcılar
• DURUM-4: Ortak değişinti matrisleri farklı fakat
durum-1’deki yapıda (Σi = σi2I)
[email protected]
zthy fit
los
Pwil
28
Doğrusal ve Karesel Sınıflandırıcılar
• Örnek:
29
Doğrusal ve Karesel Sınıflandırıcılar
• DURUM-5: Ortak değişinti matrisleri farklı (Σi farklı)
gjcx)=
+xE×+*io
XTWIX
÷EI
wi=
-
wi=EjtMi
had
EMYEITMI
'
wio=
-
.
thydoillthypcw
;)
kafhbrl
.
30
Doğrusal ve Karesel Sınıflandırıcılar
• Örnek:
B
7¥44
-
31
Doğrusal ve Karesel Sınıflandırıcılar
• Sonuçlar:
– Normal dağılımlı sınıflar için Bayes sınıflandırıcı genel
durumda karesel sınıflandırıcıdır.
– Normal dağılımlı sınıflar için Bayes sınıflandırıcı eşit ortak
değişinti matrisi durumda doğrusal sınıflandırıcıdır.
– En küçük Mahalanobis uzaklığı sınıflandırıcı en uygundur:
• Normal dağılımlı sınıflarda
• Eşit ortak değişinti matrisinde
• Eşit önsellerde
– En küçük Euclidean uzaklığı sınıflandırıcı en uygundur:
• Normal dağılımlı sınıflarda
• Birim matris ile orantılı eşit ortak değişinti matrisinde
• Eşit önsellerde
32
Ddt
IRIS
diginilen
boy
anmlann
Ayrtas
durum
farbh
5
siniflaadina
Bayes
hnllamlarak
verisi
ohxturwp
defelendirin
iyin
sinifbndrm
.
sizdirin
fonksiyolanni
'
O'
dev
;
raporu
keotn
Program
Teslim
e
-
dihiimani
word
:
mratlab
pasta
:
Sonteshmtarihii
.m
fire
ik
15
Nisan
16
.
ORY
foggy
;]
E-
,m=[0oe
[ 33
]
-
x
[
.
di
2,2
1
'm
iirngini
def
]
.
'Cx-µ|
.ME
"=[
'=honf
( xp
=
'
sniflandrrin
iaaf .IT?W
2,952
=
in 'm
"
(
=
×
-
µ)T£
'
(x
-
Md
.to?Df.d
=3
brag
x
'
oldrymdan
(
l
Wz
672
Gifu
dif
w
,
,
,x
2,411>11
Sinlfi
Karan
)
sinifina
.
aittir
,x
)
.
kllaulsoydr
[-2-0,8]/1 oldfmdan
verilecetcti
umhhfi
Euelidon
11
,
.
DRY
X#{
k#{
12.6 )
(i
siniflar
,
,
-21
(
,
3,4 ) ,
l 3,0 )
,
,
( 3,8 ) ,( 4,6
(3-4)/(5-2) }
Kandel
ayran
) }
ayrtas
bnlnn
fonksiynnnn
.=E#¥tl¥E¥x,¥:¥n¥o
a
.
5-
=
ftE(
xit
t
-
nittxitnil
-
sina.am#*Yqn
yaplarakkaekl
bnlnmw
aywtas
.
xz=0,1875kF1,125ks-3=]
.