Sunu5547.42 KB

14.05.2014
MEH535 Örüntü Tanıma
5. Parametrik Bağlanım
Doç.Dr. M. Kemal GÜLLÜ
Elektronik ve Haberleşme Mühendisliği Bölümü
web: http://akademikpersonel.kocaeli.edu.tr/kemalg/
E-posta: [email protected]
Bağlanım (Regression)
r  f  x  
f  x  : deterministik fonksiyon
kestiricisi: g  x| 
 : gurultu
• Gürültü
 ~N  0,  2 
kabul edildiğinde:
p  r|x  ~N  g  x|  ,  2 
2
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
1
14.05.2014
Bağlanım
• iid örnek kümesi için log olabilirlik:
L  |X   log  p  xt , r t 
N
t 1
 log  p  r |x   log  p  xt 
N
N
t
t
t 1
t 1
Kestiriciye bağlı değil
3
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
Bağlanım
• Log olabilirlikten hataya geçiş:
N
L  |X   log 
t 1
ϴ’dan bağımsız
  r t  g x t |  2 
  
1
exp   


2 2
2


Sabit çarpan
  N log 2 
1
2 2
N
 r
t 1
t
 g  x |  
2
t
• Bu eşitliği en büyüklemek, aşağıdaki eşitliği en
küçüklemek anlamındadır:
1 N t
E  |X     r  g  xt |  
2 t 1
En küçük kareler kestirimi
2
4
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
2
14.05.2014
Doğrusal Bağlanım
• Doğrusal model:
g  xt |w1 , w0   w1 xt  w0
r
t
 Nw0  w1  xt
t
t
r x
t
t
x
t
 w0  xt  w1   x t 
t
 N

A
t
 x
 t
t
2
t

  rt 

w 
t
w   0  y   t t t 

2
rx
 w1 
t  xt  
 

t
w  A 1y
5
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
Polinomal Bağlanım
• Polinomal model:
g  xt |wk ,
, w2 , w1 , w0   wk  xt  
1 x1


1 x2

D


1 x N

k
x 
x 

 r1 

 2
2 k 
 r  r 
 

 N

N 2
r 
x  
1 k
2 2
N
2
x 
x 
1 2
x 
 w2  xt   w1 xt  w0
2
w   DT D  DT r
1
• Not: Hata Gauss dağılımlı kabul edildi ve karesel hata toplamı en
küçüklenerek olabilirlik en büyüklendi.
6
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
3
14.05.2014
Polinomal Bağlanım
• Hata ölçütleri:
– Karesel Hata (Square Error)
1 N
E  |X     r t  g  xt |  
2 t 1
2
– Bağıl Karesel Hata (Relative Square Error)
2
2
N
 N

E  |X     r t  g  xt |  /    r t  r  
 t 1

t 1


– Mutlak Hata (Absolute Error)
E (θ|X) = ∑t|rt – g(xt|θ)|
– ε-Hassas Hata (ε-Sensitive Error)
E (θ|X) = ∑ t 1(|rt – g(xt|θ)|>ε) (|rt – g(xt|θ)| – ε)
7
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)
4