"Eylem Seçiminin Limbik Sisteme Bağlı Olarak Dinamik

Transkript

ĐSTANBUL TEKNĐK ÜNĐVERSĐTESĐ FEN BĐLĐMLERĐ ENSTĐTÜSÜ
EYLEM SEÇĐMĐNĐN LĐMBĐK SĐSTEME BAĞLI OLARAK DĐNAMĐK
SĐSTEM YAKLAŞIMI ĐLE MODELLENMESĐ
DOKTORA TEZĐ
Selin METĐN
Elektronik ve Haberleşme Mühendisliği Anabilim Dalı
Elektronik Mühendisliği Programı
Tez Danışmanı: Doç.Dr. Neslihan Serap ŞENGÖR
OCAK 2013
ĐSTANBUL TEKNĐK ÜNĐVERSĐTESĐ FEN BĐLĐMLERĐ ENSTĐTÜSÜ
DOKTORA TEZĐ
Selin METĐN
(504022102)
Elektronik ve Haberleşme Mühendisliği Anabilim Dalı
Elektronik Mühendisliği Programı
Tez Danışmanı: Doç.Dr. Neslihan Serap ŞENGÖR
OCAK 2013
ĐTÜ, Fen Bilimleri Enstitüsü’nün 504022102 numaralı Doktora Öğrencisi Selin
METĐN, ilgili yönetmeliklerin belirlediği gerekli tüm şartları yerine getirdikten
sonra hazırladığı “EYLEM SEÇĐMĐNĐN LĐMBĐK SĐSTEME BAĞLI OLARAK
DĐNAMĐK SĐSTEM YAKLAŞIMI ĐLE MODELLENMESĐ” başlıklı tezini
aşağıda imzaları olan jüri önünde başarı ile sunmuştur.
Tez Danışmanı :
Doç. Dr. Neslihan Serap ŞENGÖR
Đstanbul Teknik Üniversitesi
..............................
Jüri Üyeleri :
Prof. Dr. Serdar ÖZOĞUZ
.............................
Doç. Dr. Yağmur DENĐZHAN
Boğaziçi Üniversitesi
..............................
Doç. Dr. Müştak YALÇIN
..............................
Prof. Dr. Haluk BĐNGÖL
Boğaziçi Üniversitesi
..............................
Teslim Tarihi :
Savunma Tarihi :
27 Aralık 2012
21 Şubat 2013
iii
iv
ÖNSÖZ
Genel anlamda bu tezi hazırlarken beynimizde olup bitenleri bilimin resmi dili olan
matematiğin kesinliğiyle anlamaya çalıştım. Bir mühendisin sinir sistemini anlaması
için önceden bilmediği biyoloji, psikoloji, sosyoloji, farmakoloji, tıp, hatta ekonomi
gibi alanları tarayıp ilgili bilgileri iyice özümsemesi gerekir. Dolayısıyla tezin en zor
kısmı, mühendis aklımla tıp alemine dalıp kimi zaman aptalca kimi zaman
mühendisçe yorumlarla sinir sistemini öğrenmeye çalışmak oldu. Sözü geçen bilim
dallarındaki özellikle terminolojinin karmaşıklığı ve buna karşın Türkçe bilim diline
katkıda bulunabilmek için hemen her terimi çevirmeye çalışmam elbette bazen
gülünç veya anlaşılmaz sonuçlar üretti. Tezin içindeki terimler kulak tırmalayıcı veya
yanlış yönlendirici değildir diye umuyor, hatam varsa şimdiden özür diliyorum.
Bu çalışmaya başlarken bana güvenip danışmanlığımı kabul eden Doç.Dr. Neslihan
Şengör’e özellikle teşekkür ederim. Yol boyunca desteğini ve ilgisini eksik etmedi,
benim kadar onun da emeği geçti. Ayrıca tüm eğitim hayatım boyunca bana çeşitli
yetenekleri, farklı bakış açılarını kazandıran, düşünmeyi öğreten adlarını
sayamacağım kadar çok insana da teşekkür ediyorum. Tezin hazırlanma süresi
boyunca eleştiri ve yorumlarıyla yön veren tez izleme komitesinin üyeleri Doç.Dr.
Yağmur Denizhan ile Prof.Dr. Serdar Özoğuz’a ve tezi iyileştirmek için tartışma
ortamına katkı sağlayan jüri üyeleri Doç.Dr. Müştak Yalçın ile Prof.Dr. Haluk
Bingöl’e de teşekkür etmek isterim.
Tez kapsamında yapılan çalışmalar için ĐTÜ Geliştirme Vakfı (ITU-BAP proje no:
34135) ile TÜBĐTAK (proje no: 111E264) destekleri alınmıştır. Proje ekibindeki
arkadaşlarıma da çalışmalarında elde ettikleri sonuçlarla ilerlemde sağladıkları katkı
ve yardımları için teşekkür ederim.
Doktora çalışmalarım sırasında zaman ayırıp hazırlanmama yardım eden Mustafa
Isnık ve bu sürede sabır gösteren eşi Gül’e; çalışma zamanı konusunda esneklik
gösteren Netaş ve ST Microelectronics’deki iş arkadaşlarıma; bilimsel toplantılarda
veya rica üzerine düşüncelerini ve eleştirilerini, hatta kendi çalışmalarını paylaşarak
tezime katkıda bulunan insanlara, özellikle Prof. Dr. Ertan Yurdakoş, Yrd.Doç.Dr.
Yasemin Keskin Ergen ve Dr. Tanseli Nesil’e ayrıca şükranlarımı sunarım.
Bugünlere ulaşmamda katkısı olan ve yıllarca sabırla bana destek olan aileme, ilk
günden beri beni cesaretlendiren eşim Tarkan Doğu’ya minnettarım. Onlarsız
olmazdı.
Mart 2013
Selin Metin
Elektronik ve Haberleşme Y.Müh.
v
vi
ĐÇĐNDEKĐLER
Sayfa
ÖNSÖZ ........................................................................................................................ v
ĐÇĐNDEKĐLER .......................................................................................................... vii
KISALTMALAR ........................................................................................................ ix
ÇĐZELGE LĐSTESĐ..................................................................................................... xi
ŞEKĐL LĐSTESĐ........................................................................................................xiii
ÖZET.......................................................................................................................... xv
SUMMARY .............................................................................................................xvii
1. GĐRĐŞ ................................................................................................................... 1
2. DUYGUSAL DAVRANIŞLARDA ETKĐN BEYĐN DÖNGÜLERĐ.................. 5
2.1
Duygusal Devrelerin Nörofizyolojik Temelleri ........................................... 5
2.1.1
Bazal Ganglianın Eylem Seçimindeki Rolü............................................. 7
2.2
Duygusal Devrelerin Etkin Olduğu Bir Süreç: Bağımlılık ........................ 10
2.2.1
Bağımlılığın Nörofizyolojik ve Davranışsal Temelleri.......................... 13
2.2.2
Karşıt Süreçlerin Nörofizyolojik Temelleri ........................................... 14
2.2.3
Đlişkisel Öğrenme ve Pekiştirmeli Şartlanmanın Nörofizyolojik
Temelleri ………………………………………………………………………….16
2.2.4
Ödül Sistemi ve Dopamin ...................................................................... 18
2.3
Bağımlılığı Açıklamak Đçin Geliştirilmiş Hesaplamalı Modeller .............. 21
2.3.1
Karşıt Süreçler ve Pekiştirmeli Öğrenme Modelleri.............................. 21
2.3.2
Madde Bağımlılığı Modelleri................................................................. 25
3. NĐKOTĐN BAĞIMLILIĞINA ĐLĐŞKĐN BĐR HESAPLAMALI MODEL........ 27
3.1
Nikotin Bağımlılığının Moleküler Temelleri ............................................. 27
3.2
Nikotin Bağımlılığına Đlişkin Hesaplamalı Modeller................................. 29
3.3
Nikotin Bağımlılığına Đlişkin Bir Model Önerisi ....................................... 30
3.3.1
Tez Çalışmasında Geliştirilen Modelin Nörofizyolojik Temelleri ........ 30
3.4
Nikotin Bağımlılığı Đçin Geliştirilen Model............................................... 32
3.4.1
Modelde Ele Alınan Sinir Sistemi Yapıları ........................................... 33
3.4.2
DA Đşareti Modülünün Karşıt Süreç Oluşturması.................................. 34
3.4.3
Eylem Seçimi Modülünün Dinamik Davranışının Analizi .................... 35
3.4.4
Modelde Pekiştirmeli Öğrenmenin Gerçeklenmesi ............................... 39
3.5
Benzetim Sonuçları .................................................................................... 42
3.6
Sonuç ve Tartışma...................................................................................... 45
3.6.1
Önerilen Modelin Farkı ve Getirdiği Đlerlemeler ................................... 48
4. EYLEM SEÇĐMĐNĐN NÖRON SEVĐYESĐNDE MODELLENMESĐ.............. 51
4.1
Daha Gerçekçi Bir Modellemeye Doğru: Hodgkin-Huxley Denklemleri . 51
4.1.1
Hodgkin-Huxley Denklemleri ile Eylem Seçimi Devresinin
Modellenmesi......................................................................................................... 52
4.1.2
Hücre Zarı Đyon Kanallarının Nöron Etkinliğindeki Rolü ..................... 55
vii
4.1.3
Geliştirilmiş Hodgkin-Huxley Modeli ile Eylem Seçimi Devresinin
Modellenmesi ......................................................................................................... 59
4.2
Dorsal Striatal Eylem Seçimi Devresine Ödülün Etki Etmesi ................... 64
4.2.1
Ödül Etkisinin Minimal Modellenmesi.................................................. 66
4.2.2
Ödül Etkisinin Genişletilmiş Model ile Ele Alınması............................ 69
4.3
Sonuç ve Tartışma...................................................................................... 74
5. SONUÇ .............................................................................................................. 77
KAYNAKLAR........................................................................................................... 81
EKLER ....................................................................................................................... 89
ÖZGEÇMĐŞ ............................................................................................................... 99
viii
KISALTMALAR
ACA : Anterior Singulat Bölge (anterior cingulate area)
ACC : Anterior Singulat Korteks
ACh : Asetilkolin
Aml : Amigdala
APA : Apamin
BLA : Bazolateral Amigdala
Ca
: Kalsiyum
Cl
: Klor
DA
: Dopamin
Enk : Enkefalin
GABA : Gama Aminobütrik Asit
Glu : Glutamat
GPe : Globus pallidus pars eksterna
GPi : Globus pallidus pars interna
K
: Potasyum
LDTg : Laterodorsal Tegmental Nukleus
LH
: Lateral Hipotalamus
MDmc : Medialis Dorsalis pars magnocellularis
mOFC: Medyal Orbitofrontal Korteks
mPFC : Medyal Prefrontal Korteks
MSN : Medium Spiny Nöron
MSS : Merkezi Sinir Sistemi
Na
: Sodyum
NAc : Nucleus Accumbens
nAChR: Nikotinik asetilkolin almacı (nicotinic acetylcholine receptor)
OFC : Orbitofrontal Korteks
PFC : Prefrontal Korteks
PPTg : Pedunculopontine Tegmental Nukleus
PSP : Postsinaptik Potansiyel
Ser
: Serotonin
SNr : Substantia Nigra pars reticulata
SNc : Substantia Nigra pars compacta
STN : Subtalamik Nukleus
Str
: Striatum
STR-D1: Striatumun D1 tipinde DA almacına sahip nöronları
STR-D2: Striatumun D2 tipinde DA almacına sahip nöronları
TDRL : Zamansal Fark Pekiştirmeli Öğrenme
THL : Talamus
TTX : Tetrodotoksin
VP
: Ventral Pallidum
VS
: Ventral Striatum
VTA : Ventral Tegmental Bölge (ventral tegmental area)
ix
x
ÇĐZELGE LĐSTESĐ
Sayfa
Çizelge 3.1 :
Ağırlık matrisleri öğrenme ile ayarlanmadan önce sistemin sabit
noktaları
…………………………………………………………………….37
Çizelge 3.2 :
Öğrenme başlamadan önce ppm denkleminin Wr parametresine bağlı
dallanma noktaları...................................................................................................... 38
Çizelge 3.3 :
Ağırlık matrisleri öğrenme ile ayarlandıktan sonra elde edilen sabit
noktalar
…………………………………………………………………….38
Çizelge 3.4 :
Öğrenme bittikten sonra ppm denkleminin Wr parametresine bağlı
dallanma noktaları...................................................................................................... 38
Çizelge A.1 :
(A.1) sistemi için dallanma noktaları ............................................. 91
Çizelge B.1 :
Đyon kanalı fonksiyonlarında kullanılan parametreler ................... 95
Çizelge B.2 :
Nöronlar için hücre zarı parametreleri ........................................... 96
Çizelge B.3 :
Nöronlar arası bağlantı parametreleri............................................. 98
xi
xii
ŞEKĐL LĐSTESĐ
Sayfa
Şekil 2.1 :
Eylem seçici motor devresinin anatomisi ............................................ 9
Şekil 2.2 :
NAc yoluyla ödüle dayalı eylem seçimini gerçekleştiren bazal ganglia
devresi
……………………………………………………………………….10
Şekil 2.3 :
Karşıt süreçlerin bağımlılığın gelişmesiyle değişmesi....................... 15
Şekil 2.4 :
VTA’daki DA ve GABA nöronları üzerinde etkili nörotransmiterler20
Şekil 3.1 :
Amaca yönelik davranışların seçiminde görev alan beyin bölgeleri ve
bağlantıları ……………………………………………………………………….32
Şekil 3.2 :
ppm denkleminin Wr parametresine bağlı dallanma diyagramları ...... 39
Şekil 3.3 :
Sistemin her durumuna ait beklentideki hata grafikleri ..................... 43
Şekil 3.4 :
Sistemin her durumuna ait W parametrelerinin değişimi .................. 44
Şekil 4.1 :
Hodgkin-Huxley modeliyle gerçeklenen eylem seçici devrenin DA
salgılanan durumdaki çıkışları ................................................................................... 53
Şekil 4.2 :
Tek başına çalışan dorsal eylem seçimi devresinin girişinin eşik
altında uyarıldığı durum............................................................................................. 60
Şekil 4.3 :
Tek başına çalışan dorsal eylem seçimi devresinde STR-D2 kanalının
DA tarafından baskılanmadığı durum........................................................................ 61
Şekil 4.4 :
Tek başına çalışan dorsal eylem seçimi devresinde DA’in STR-D2
kanalını baskıladığı durum......................................................................................... 63
Şekil 4.5 :
Ödüle dayalı eylem seçimi devresi .................................................... 65
Şekil 4.6 :
Eylem seçimi devresinde dorsal ve ventral birlikte etkin ve DA’in
STR-D2 kanalını baskıladığı durum .......................................................................... 67
Şekil 4.7 :
Eylem seçimi devresinde dorsal ve ventral birlikte etkinken VTA’nın
tonik ateşleme yapması nedeniyle çıkış etkinliğinin artması..................................... 68
Şekil 4.8 :
Eylem seçimi devresinde dorsal ve ventral yolak birlikte etkinken
girişin uyarılmaması sonucu etkinlik gözlenmemesi ................................................. 70
Şekil 4.9 :
Eylem seçimi devresinde dorsal ve ventral yolak zıt çalışırken ödülün
etkisiyle hareket gözlenmesi ...................................................................................... 72
Şekil 4.10 : Eylem seçimi devresinde dorsal ve ventral yolak paralel çalışırken
daha kuvvetli çıkış elde edilmesi ............................................................................... 73
Şekil A.1a : x& = r + x 2 sisteminde eyer noktası dallanması oluşması ........................ 91
Şekil A.1b : A2.1 sistemi için b=-1 iken a parametresine bağlı dallanma diyagramı 91
Şekil A.2 : (A.1) sisteminde parametreler değiştirildiğinde Hopf dallanması........... 91
xiii
xiv
ÖZET
Bu tez çalışmasında amaçlanan duyguların davranışlar üzerindeki etkisini
açıklamaya yönelik hesaplamalı modelleri doğrusal olmayan sistem yaklaşımıyla
tasarlamak ve elde edilen modeller aracılığı ile bilişsel süreçlerin anlaşılabilirliğine
katkıda bulunmaktır. Bu nedenle beyindeki öğrenme ve karar verme sistemlerini
etkileyen duygusal süreçler incelenip duygusal davranışlarda etkin olan beyin
bölgeleri ve sinir hücreleri arasındaki iletişimin dinamiği araştırılmıştır. Daha sonra
da bu dinamiği yansıtan matematiksel modeller geliştirilmiştir. Önerilen hesaplamalı
modeli sınayabilmek için bağımlılık davranışları ve davranış seçiminde etkin olan
yapılardaki tek hücre ölçümlerine ilişkin sonuçlardan yararlanılmıştır. Geliştirilen
modeller dinamik sistemler olarak kurgulanıp sistem davranışları dallanma analiziyle
incelenerek dinamik sistemin uyarlanabilirliğini en fazla etkileyen parametreler
belirlenmiştir.
Ele alınan ilk hesaplamalı model nikotin bağımlılığı için geliştirilmiş olup bağımlılık
davranışını pekiştirmeli öğrenme temeline oturtarak modellemektedir. Model ile
düşüncesizce rastgele gerçekleştirilen davranışların pekiştirmeli öğrenme sayesinde
kalıplaşarak dürtüsel davranışlara dönüşmesi sayesinde bağımlılığın gelişeceği
gösterilmektedir. Modelde dopaminin nöromodülatör olarak etkisi gösterilip
XPPAUT kullanılarak dallanma diyagramlarıyla parametre analizi yapılmıştır.
Geliştirilen model, moleküler düzeyden sistem düzeyine kadar farklı ölçekleri
bütünleştiren ve ortalama ateşlenme oranı yaklaşımını kullanan bir yapıdır. Ödülün
etkisini yansıtmak için başlangıçta rastgele gerçekleştirilen sigara içme ve içmeme
eylemleri bağımlılığın gelişip gelişmemesine göre değerlendirilmekte ve ödül veya
ceza olarak bellekte yerini almaktadır. Geçmiş davranışa ait bellekteki bilgiler
kullanılarak bir sonraki davranışlara karar verilmektedir.
Modelde kullanılan iki aşamalı eylem seçimi devresi, bazal ganglia, talamus ve
prefrontal korteks sistemini ayrıntılı açıklayabilmesi bakımından benzerlerinden
farklıdır. Önerilen modelin getirdiği bir ilerleme de moleküler düzeydeki
değişiklikleri gösteren dinamik sistemin bağımlılıkla oluşan direnç mekanizmasını
ortaya koyabilecek biçimde parametrik olarak ayarlanabilir hale getirilmesidir. Hem
moleküler hem dinamik sistem düzeyinde bileşenleri olması açısından önerilen
model duygusal süreçlerin gelişimine ilişkin farklı yaklaşımları birleştirmektedir.
Dopaminin pekiştirmeli öğrenme üzerindeki etkisinin modellenmesi ile
nörotransmiterlerin sinirsel ağlardaki rolü de sisteme dahil edilmektedir. Modelin
özgün yanı, nikotin bağımlılığını pekiştirmeli öğrenme üzerinden inceleyerek eylem
seçimini bir dinamik sistem olarak ortaya koyabilmesidir. Nikotin bağımlılığı için
önerilen bu model başka bağımlılık türleri için de kullanılabilir.
Tez çalışması kapsamında geliştirilen ikinci model duygusal davranışların eylem
seçimine etkisini nöron düzeyinde ele almaktadır. Bu modelin farkı, nöronların
fizyolojik özelliklerini ve hücre zarındaki iyon kanallarının etkilerini göz önüne
xv
almasıdır ve biyofiziksel açıdan daha gerçekçi bir yapı ortaya koymasıdır. HodgkinHuxley benzeri iletkenlik tabanlı nöron modelleri kullanılarak hücre zarındaki iyon
kanallarının nöronun çalışması üzerindeki etkisi gösterilmiştir. Bu sayede farklı
tipteki vuruları üretebilen nöronlar içeren bir sistem elde edilmiştir.
Tasarlanan devre ile eylemlerin seçimine karar veren dorsal striatumdan geçen
doğrudan ve dolaylı yolaklar gerçeğe uygun biçimde modellenmiştir. Bu dinamik
sistemin üzerinde ödülün etkisini göstermek üzere ventral striatumdan geçen ve
ödülün etkisini gösteren bir ventral eylem seçimi devresi de sisteme eklenmiştir.
Böylece eylem seçiminde görev alan limbik beyin bölgelerinin hemen hemen
tamamını içeren bir dinamik sistem elde edilmiştir. Model bu açıdan literatürdeki
benzerlerinden ayrılmaktadır. Bu model ile eylem seçimi sırasında bir davranış
istenmese bile ödül getirici olduğu veya hoşa gittiği için gerçekleştirilebileceği
gösterilmiştir. Bu açıdan önerilen model, hem dorsal hem ventral bazal ganglia
döngülerini içeren ve bunların etkileşimini doğru biçimde yansıtan ilk örnektir.
Kullanılan iletkenlik tabanlı dinamik sistem modeliyle nöronların çalışması
fizyolojik verilere uygun biçimde kurgulanabilmiş ve patlama, süregen, anlık tipte
ateşlemeler gözlenebilmiştir. Ayrıca modeldeki her nöronun çıkış geriliminin ona
etki eden nöronların akımları cinsinden ifade edilmesi, bir sinapsta oluşan ve tüm
pre-sinaptik nöronlardan gelen uyarının toplanarak post-sinaptik nörona iletilmesi
durumuyla örtüşmektedir.
Önerilen modelde her beyin bölgesi bir tek nöron ile temsil edilmektedir ve modelin
ürettiği sonuçlar, tek bir nöron ile yapılan çalışmalarda elde edilen sonuçlar ile
uyumludur. Bu modelin bağımlılıkla ilişkisini kurmak için ilk modelde olduğu gibi
nikotin bir uyaran olarak sisteme eklenip uzun vadede nikotin varlığına bağlı olarak
eylem seçimlerinin değişmesi gösterilebilir. Benzer biçimde farklı uyaranlardan
kaynaklanan değişiklikler nöron modeline yansıtılarak değişik bağımlılık türleri de
incelenebilir.
xvi
MODELLING ACTION SELECTION BASED ON LIMBIC SYSTEM BY
DYNAMICAL SYSTEM APPROACH
SUMMARY
Our emotions, ideas, our perception of ourselves and the environment, our decisions
and actions are all the outcomes of the brain which is a physical structure. The
mathematical methods used in science to study the physical systems will also help us
to understand the operation of our brains and the cognitive processes produced by the
brain. The aim in this thesis is to propose a mathematical model which will help to
explain the cognitive processes involving the emotions and especially the mechanism
of drug addiction. The intention is to obtain results which will explain cognitive
processes with the analysis of this model.
The main goal of neuroscience is to understand the processing and computing
dynamics of a neuron and the role of neurons in large neural networks. Computaional
neuroscience uses information theory and develops mathematical models to explain
the operation of the structures in the brain and neural systems. Computational modes
are powerful tools to study the functioning of the brain. With the help of
mathematical approach, the hypothesis can be tested to the level of exaction and it is
possible to define the parameters which cannot be directly measured in the
experiments. Modelling makes it easier to deduce and compare both quality and
quantity.
To be able to understand the functioning of the brain one must study in various
scales: nervous system, subsystems (such as reward system), neural networks, micro
circuits, neurons, axon-synaps-dendryte structures, neurotransmitters, ion channels…
these all have different effects on the dynamics of the output of the brain. The
physical output of the brain processes are actions. The performance of actions
depends on the decision mechanism. Emotions can change our actions by effecting
on the decision mechanism. Pleasurable actions are performed more often while
unwanted disliked actions are avoided. The results of the pleasurable actions or
behaviors trigger the reward mechanism. Thus it is a good way to investigate the
brain reward mechanism to test the outcome of the emotional processes. Addictive
behaviors arise when brain reward mechanism malfunctions.
The goal of this thesis is to design computational models to explain emotional
behaviors by using non-linear dynamic system approach and to help understanding of
the processes. Therefore the emotional processes which effect the learning and
decision systems in the brain are examined and the brain structures involved in
emotional behaviors and dynamics of the transmission between the neurons are
investigated. Then, mathematical models are developed to reflect this dynamics. The
proposed models are tested by using the results obtained from single cell
measurement experiments of addictive behavior and neural structures taking part in
action selection. The developed models are designed as dynamic systems and the
system behavior is studied by bifurcation analysis to define the parameters which
influence the controllability of the system the most.
xvii
The first computational model explained in this work is developed for nicotine
addiction and models the addictive behavior based on reinforcement learning
concept. The model demonstrates that impulsive behaviors are stamped in with
reinforcement learning mechanism to change into compulsive behaviors and thus
addiction develops. Nicotine addiction is used as an example and how the molecular
effects of blood nicotine level is perceived as reward is computed by a dynamic
system. An action selection circuit is used to state emotions as an output of the motor
circuits of the brain. Thus the dorsal action selection loop in the basal ganglia known
since 1990s is included in the model as a dynamic system. The model integrates
different scales of modelling approaches varying from molecular level to systems
level.
The behavior of the neuron groups in the circuit is studied by using mean firing rate
approach with the help of a sigmoid function. In order to include reward in the
model, smoking and non-smoking actions which occur randomly at first are
evaluated according to the adopted behavior (that is according to whether addiction
develops or not) and the evaluation results are stored in the memory as reward or
punishment. The decision on the next action choice is made by using the information
of the past actions stored in the memory.
The two-stage action selection circuit used in the model is different from its peers
because it can thoroughly explain the prefrontal cortex-basal ganglia-thalamus
system which it utilizes. The modifications caused by the action choices are
modelled by adapting a parameter in the premotor circuit which forms the first stage.
This parameter adaptation corresponds to the modulatory effects of dopamine
signalling in reinforcement learning and thus the system can learn one of the
following behavioral patterns: addict, non-addict and indecisive (one who cannot
permanently decide on the same action). It is easy to follow the dynamical behavioral
modifications brought by tuning this learning parameter according to dopamine level.
To do this, the action selection circuit is analyzed with XPPAUT and the bifurcations
brought by the parameter modifications are demonstrated. Dopamine is used as a
neuromodulator in this model. Dopamine secretion from the ventral tegmental area
stimulates action selection task in the basal ganglia and takes part in coding the
learned behaviors.
One of the improvements of the proposed model is the parametric modification of
dynamic system, which shows the molecular level alterations, to demonstrate the
neural resistance mechanism developed with addiction. This resistance mechanism is
the molecular level counterpart of opponent processes and it has a neutral level in
healthy individuals. In addicts, this neutral level has changed due to the fact that the
metabolism wants more and more of the substance of addiction each day. This
neutral level change can be adjusted with a parameter in the proposed model.
Since it has both molecular and systems level components, the developed
computational model integrates different approaches to the development of
emotional processes. By modelling the effects of dopamine in reinforcement learning
the role of the neurotransmitters in neural networks is included in the system as well
as the electrical transmission on the neurons. The distinctive side of this model is to
state action selection as a dynamic system by examining nicotine addiction from
reinforcement learning perspective. The opponent processes theory which is used to
explain the emotions in psychology is utilized to show the molecular level
xviii
modifications in addiction process and this helps the developed model to study
addiction behavior from many different perspectives.
This computational model designed for nicotine addiction can also be used to study
other types of addictions. The dynamic systems in the model corresponding to
opponent processes and action selection can be constantly used because the same
processes will also occur in different substance addiction types. By selecting a
different rewarding substance instead of nicotine in the model the same system can
be used to examine different addiction phenomenons. Therefore the proposed model
is a good candidate for computational models in neuroscience which will help to
understand brain processes.
In order to improve this model, the action selection circuit is handled again with a
biophysically plausible and each neuron in the circuit is modelled with HodgkinHuxley model. When this new system is examined, it is observed that the circuit no
longer functions correctly. While looking for the reasons behind this problem, it is
realized that Hodgkin-Huxley model does not contain several ion channel currents
and therefore it cannot demonstrate all firing patterns of a physical neuron and its
dynamics does not let to produce action potential (such as rebound spikes) without an
external stimulating current. Therefore neuron models given in the literature are
investigated and the action selection circuit is designed again to contain more brain
structures with better connections.
The second model developed within the thesis handles the effects of emotional
behaviors on action selection from the level of neurons. The difference of this model
is that it takes into account the physiological properties of neurons and the effects of
the ion channels on the cell membrane to state a more realistic structure. The action
selection circuit from the first model is enhanced to use Hodgkin-Huxley type
conductance based neuron models in order to demonstrate the effects of ion channel
currents on the functioning of a neuron. Thus a system is obtained which can produce
different types of action potentials. This new model is developed in two stages: In the
first stage the designed circuit contains only ventral tegmental area and nucleus
accumbes to demonstrate the effects of the reward in action selection. In the second
stage the first circuit is enhanced to include all reward system components such as
amygdala, lateral hypothalamus, pedunculopontine tegmental nucleus and
laterodorsal tegmental nucleus.
In this model, every neuron is modelled according to its biophysical properties and
each neuron represents a different brain structure. The results obtained from the
model are coherent with the results obtained from single neuron experiments. The
designed dynamic circuit correctly models the direct, indirect and hyperdirect
pathways of the dorsal striatum. In order to demonstrate effects of the ventral reward
system, a ventral action selection circuit is included in the model. The dopaminergic
afferent connections of striatum are handled differently for each neuron which
contains one of each dopamine receptor types, D1 or D2. The projection from
substantia nigra pars compacto to D1 neuron has activating sodium and L-type
calcium currents while the projection to D2 neuron has inactivating sodium and
activating potassium currents. Of these ion channel currents, the most important one
is the inactivating sodium current. With the help of these currents the excitatory and
inhibitory effects of dopamine is demonstrated. Among these ion channel currents,
the most effective one is Na current of D2 neuron.
xix
This model is studied with different levels of external inputs and the results show
that even though a behavior is unwanted, it can be preferred due to its rewarding or
pleasing quality. From this scope, the proposed model is the first example which
contains both the dorsal and ventral action selection circuits and correctly reflects
their interaction. The designed model is distinctive from its peers because it involves
almost all of the brain structures taking part in emotional processes. The neural
functionality is modelled appropriately with the help of the conductance based
dynamic system model and burst, tonic, phasic types of action potentials are
observed. Also the output potential of each neuron is calculated by the input currents
of its afferent projections and this is consistent with the addition of pre-synaptic
potentials to constitute the post-synaptic potential.
This model can be used to show the long term modification of behaviors in addiction
by adding nicotine as a stimulating agent. Similarly different stimulators can be used
to observe different types of addiction.
xx
1.
GĐRĐŞ
Fiziksel dünyayı anlamaya çalışırken kuramlar geliştirir, bunları kullanarak tahminler
yapar ve doğrulamak için de deneyler uygularız. Deney sonuçlarına göre kuramları
reddeder, düzeltir veya kabul ederiz. Tahmin yürütmek ve deney kurgulamak için bir
başlangıç noktasına ihtiyaç vardır, ayrıca bazen kuramları sözlü olarak oturtmaya
çalışırken olası tüm sonuçları doğru biçimde kurgulayamayabiliriz. Bu aşamada
çözüm için matematiğin kesinliğine başvurmak en iyi yoldur. Sözlü tanımlarımızı
denklemlere döktüğümüzde bir matematiksel model elde etmiş oluruz. Artık
matematiksel yöntemleri kullanarak modeli inceleyebilir, farklı girdilere karşılık
nasıl çıktılar elde edileceğini, zaman içindeki değişimleri öngörebiliriz. Đyi
kurgulanmış bir model ile araştırdığımız fiziksel olguları daha iyi anlayabilir,
sistemlerin davranışını daha doğru olarak ortaya koyabiliriz.
Duygularımız, düşüncelerimiz, kendimizin ve etrafımızın farkında olmamız,
verdiğimiz kararların ve eylemlerimizin hepsi fiziksel bir yapı olan beynimizin bir
ürünüdür. Fiziksel sistemlerin incelenmesinde bilimin bugüne kadar yararlandığı ve
geliştirdiği matematiksel yöntemler, fiziksel bir yapı olan beynimizin işleyişini ve
çıktısı olan bilişsel süreçleri anlamamızda da etkili olacaktır. Bu tez çalışmasının
amacı, duyguların dolayısıyla limbik sistemin etkili olduğu bilişsel süreçleri
açıklamaya yardımcı olacak bir matematiksel model ortaya koymak ve bu
matematiksel modelin analizi ile ilgilenilen bilişsel süreçleri açıklamaya yönelik
sonuçlar elde etmektir. Modelin sınamak için limbik sistemin etkin olduğu
süreçlerden özellikle madde bağımlılığı ele alınmış ve nikotin bağımlılığı
mekanizmasını açıklayacak bir model önerilmiştir. Matematiksel modeli tasarlarken
doğrusal olmayan dinamik sistem yaklaşımı benimsenmiştir. Dinamik sistemi
tasarlarken MATLAB ile yazılan kodlar kullanılmış, sistemin davranışını incelemek
içinse XPPAUT ile dallanma analizi yapılmıştır. Dinamik sistem yaklaşımını
kullanmanın temel nedeni, beyindeki sinirsel etkinliğin sonucunda ortaya çıkan
1
karmaşık davranışların ve nöronların çalışmasının da aslında birer dinamik sistem
olmasıdır.
Bir nöronun çalışma ve hesaplama dinamiklerini anlamak ve nöronların geniş sinir
ağları içindeki rollerini çözümlemek, sinirbilimin esas hedefidir. Hesaplamalı
sinirbilim, beyin ve sinir sistemlerini oluşturan yapıların çalışmasını açıklamak için
bilgi işleme kuramlarını kullanır ve matematiksel modeller geliştirmeye çalışır [1].
Modelleme sayesinde çıkarımlarda bulunmak kolaylaşır, deneylerde doğrudan
ölçülemeyen parameterleri belirlemek mümkün olur.
Hesaplamalı modeller, beynin işlevlerini araştırmak için güçlü araçlardır.
Matematiksel yaklaşım sayesinde kuramlar kesinlik derecesinde sınanabilir ve hem
niceliksel hem niteliksel karşılaştırmalar yapılabilir. Ancak bazı kısıtlar da vardır:
pek çok fiziksel kavramı kesin matematiksel ifadelere dökmek zordur. Psikolojide
çok kolay açıklanabilen bazı kavramları hesaplamalı biçimde belirtmek çok karmaşık
olabilir [2].
Hesaplamalı sinirbilim çalışmaları, son otuz yılda ayrı bir araştırma alanı olarak
kendini göstermiş ve giderek olgunlaşan çalışmalar yapılmaya başlanmıştır. Hücre ve
sinir ağlarından bilişsel psikoloji ve davranışsal ekonomiye kadar beynin
çalışmasıyla ilgili pek çok alanda hesaplamalı ve kuramsal yaklaşımlar
geliştirilmiştir. Hesaplamalı sinirbilim araştırmalarının, elde edilen sonuçlara
dayanarak gerçeğine yakın biçimde çalışabilen protez organlar, laboratuar deneyleri
yerine bilgisayar benzeşimleriyle tasarlanan ilaçlar gibi çok çeşitli uygulama alanları
vardır. Dünya çapında sinirbilim ile ilgilenen çeşitli araştırma grupları vardır.
Bunlardan biri olan Bernstein hesaplamalı sinirbilim ağı, 2004 yılında Almanya’da
bu alanda çalışan üniversite bölümleri, enstitüler ve araştırmacıları bir araya getirmek
için kurulmuştur. Ana araştırma konuları algılama, motor kontrol, düşünceler ve
karar verme, bilgi işleme, bilgisayar benzeşimleri, öğrenme ve hafıza, beynin
gelişimi, sara hastalığı, beyin – bilgisayar arayüzü, nöroteknolojidir. Grupta yapılan
çalışmalardan bazıları hastanın yürüme alışkanlığını öğrenip yürüdüğü ortama uyum
geliştirebilen RunBot isimli bir nöroprotez, şehirde gezerken GPS veya harita
kullanmak yerine yayalara yaklaşıp yol tarifi sorarak yönünü otonom olarak
bulabilen ACE isimli bir robot, beyin dalgalarını çözümleyerek yazı yazabilen bir
bilgisayar – beyin arayüzüdür.
2
Beynin işleyişini anlayabilmek için farklı ölçeklerde incelemek gerekir: sinir sistemi,
alt sistemler (ödül sistemi gibi), sinir ağları, mikrodevreler, nöronlar, akson-sinapsdentrit yapıları, nörotransmiterler, iyon kanalları… bunların hepsi beynin ürettiği
çıkışların dinamiğini farklı biçimlerde etkilerler. Bu düzeylerin her biri için
geliştirilmiş modeller olduğu gibi birkaçını bütünleştiren modeller de vardır [3].
Ancak matematiksel modellerin bu belirtilen düzeylerin hepsine dair tüm ayrıntıları
içermesi beklenemez zira karmaşıklık fazlasıyla artar. Zaten matematiksel model
kullanmanın amaçlarından biri de daha sade ve yönetilebilir bir sistem oluşturarak
karmaşık yapıyı çözümlemektir. Bu tez kapsamında iki farklı seviyede modeller
geliştirilmiştir. Đlk model üst seviyede duygusal yapılar arasındaki işleyişi işlevsel
olarak modellemektedir. Bunun için [4]’de olduğu gibi moleküler ve sistem
seviyesindeki iki devreyi birleştiren bir model geliştirilmiştir. Daha sonra da sinir
hücrelerinin çalışmalarını biyofiziksel olarak gerçekçi biçimde ele alan ikinci bir
model ile ilk modelin göstermekte zayıf kaldığı farklı tür ateşleme davranışları elde
edilmiştir.
Beyindeki
süreçlerin
fiziksel
dünyadaki
çıktıları,
eylemlerdir.
Eylemlerin
gerçekleştirilmesi ise karar verme mekanizmasına bağlıdır. Duygular, karar verme
mekanizmasını etkileyerek davranışlarımızı değiştirebilirler. Hoşlanılan eylemler
daha sık gerçekleştirilirken sevilmeyen, istenmeyen eylemlerden kaçınılmaya
çalışılır. Hoşlanılan eylemler veya davranışların sonuçları, ödül mekanizmasını
harekete geçirir. Bu açıdan, duygusal süreçlerin çıktılarını sınamanın iyi bir yolu,
beyindeki ödül mekanizmasını ele almaktır. Ödül mekanizması doğru çalışmadığında
madde bağımlılığı, kumar alışkanlığı gibi davranışlar ortaya çıkabilir.
Bu tez çalışmasında beyindeki öğrenme ve karar verme sistemlerini etkileyen
duygusal süreçler incelenip bu etkileşimi yansıtan matematiksel modeller
geliştirilmiştir.
Bağımlılık
davranışları,
duyguların
karar verme
süreçlerini
etkilemesini gösteren iyi bir örnektir. Dolayısıyla geliştirilen matematiksel modeller,
özellikle bağımlılık mekanizmasını açıklamaya çalışmaktadır. Geliştirilen modeller
dinamik sistemler olarak kurgulanıp sistem davranışları dallanma analiziyle
incelenmiştir. Böylece dinamik sistemin yönetilebilirliğini en fazla etkileyen
parametreler belirlenmiştir.
Tezin ikinci bölümünde duygusal devrelerin ve bağımlılığın nörofizyolojik temelleri
üzerinde durulacaktır. Bazal ganglia yapılarının ve limbik sistem elemanlarının
3
beyindeki karar alma ve öğrenme sistemlerindeki görevlerine değinilip bunlar
arasındaki dinamik ilişkilerden söz edilecektir. Daha sonra da bu sistemleri
açıklamak için geliştirilmiş hesaplamalı modellerden örnekler verilecektir.
Üçüncü bölümde nikotin bağımlılığı için geliştirilmiş olan hesaplamalı model
açıklanacaktır. Nikotin bağımlılığının fizyolojisi anlatılıp bu konuda önerilmiş olan
hesaplamalı modellere değilecektir. Son olarak da tez kapsamında geliştirilen
matematiksel model verilip dallanma diyagramlarıyla parametre analizi yapılacaktır.
Geliştirilen model, moleküler düzeyden sistem düzeyine kadar farklı ölçekleri
bütünleştiren bir yapıdır.
Dördüncü bölümde bazal gangliadaki eylem seçimi devresini nöron düzeyinde ele
alan bir model anlatılmaktadır. Bu modelin farkı, nöronların fizyolojik özelliklerini
ve hücre zarındaki iyon kanallarının etkilerini göz önüne almasıdır.
Üçüncü ve dördüncü bölümlerin her ikisinin de sonunda bir sonuç ve tartışma
bölümü yer almaktadır. Bu alt bölümde geliştirilmiş olan modellerin getirdiği
farklılıklar ve geliştirilmeye açık yönleri ile literatürde hangi noktada oldukları
tartışılmaktadır. Tezin son bölümü ise yapılan tüm çalışmaları özetleyen ve ileriye
dönük araştırmalar için öneriler sunan sonuç bölümüdür.
Tez kapsamında yapılan çalışmalardan üçüncü bölümde anlatılanlar sinirbilimde
çalışan farklı disiplinlerden gelen araştırmacıların görüşlerini almak üzere [5]-[9]’da
sunulmuştur. Bu çalışmaları toparlayan bir yayın [10]’da yer almıştır. Dördüncü
bölümde anlatılanlar ise [11]-[13]’de parça parça sunulmuştur. Yapılan çalışmalar ve
gelinen nokta [14]’te matematik ve sinirbilim başlıklı oturumda sunularak bu
konuyla
uğraşan
ulusal
araştırmacıların
yorumları
alınmıştır.
Önerilenler
disiplinlerarası bir çalışma olduğundan tıp alanında çalışan uzmanların görüşüne
başvurmak üzere dönem dönem Đstanbul Üniversitesi Tıp Fakültesi Nöroloji anabilim
dalı tarafından düzenlenen perşembe toplantılarına katılarak ve 2011 haziran ayında
Ege Üniversitesi Beyin Araştırmaları Enstitüsü ziyaret edilerek bu konuda yapılan
çalışmalar hakkında bilgi aktarılmış, ayrıca ortak çalışma platformu oluşturmak için
girişimde bulunulmuştur.
4
2.
DUYGUSAL DAVRANIŞLARDA ETKĐN BEYĐN DÖNGÜLERĐ
Limbik sistem, memeli beyninde duyguların oluşması ve iletiminden sorumlu olan
yapılar ve bunlar arasındaki döngülerden oluşmuştur; bir adı da duygusal beyindir.
Bellek oluşumu ve depolanması, öğrenme, davranışlar, duygusal cevaplar, ruh hali,
motivasyon, karar verme, dikkat ve odaklanma, hormon salgılanması, ağrı ve haz
duyusu, koku duyusuyla ilgili işlevleri vardır [15]. Bu görevleri yerine getirmek için
limbik sistem yapıları birbirleriyle ilişki içinde ve çeşitli döngülere göre çalışırlar.
Öğrenme, bellek, ve madde bağımlılığı aynı nörolojik etkenler tarafından
yönlendirilirler ve bazı ortak nörotransmiter düzeneklerine sahiptirler [16]. Bu
nedenle, bir bilişsel süreci ele alırken limbik sistemi de göz önüne almak doğru olur.
Bu tez çalışmasında geliştirilen model limbik sistemin hem duygusal hem de motor
işlevlerde görev alan bazal ganglia çekirdeklerini merkezine almaktadır.
2.1
Duygusal Devrelerin Nörofizyolojik Temelleri
Bilişsel süreçlerde görev alan beyin bölgelerini ve limbik sistem elemanlarını kısaca
tanıtalım:
Korteks, beynin en dış katmanıdır. Talamus ve bazal ganglia ile çift yönlü
bağlantıları vardır. Vücuttan gelen uyarıların büyük bölümü talamus aracılığıyla
kortekse iletilir [17]. Korteks işlevsel açıdan üç ana bölümde incelenir [18]: duyusal
bölgeler, talamustan gelen duyusal girişleri alır; assosiyasyon (ilişkisel) bölgeleri,
çevrenin (dış dünyanın) anlamlı bir algısını oluşturur; motor bölgeler, istemli
hareketlerin kontrol edilmesiyle ilgilidir.
Prefrontal korteks (PFC), adaptasyon, soyut düşünme, karar verme, plan yapma,
duygusal davranışlar, motivasyon, duygular, kişilik, dikkat süresi, bellek, yürütücü
fonksiyonlar, akıl, öğrenme, yaratıcılıkla ilgili ilişkisel korteks bölgesidir. Beynin en
itinalı bilişsel işlevleri yan prefrontal korteksi ilgilendirir [15]. PFC’in alt bölgeleri
ile orbitofrontal korteks (OFC) ve anterior singulat korteks (ACC), değer biçme ve
duyguları işlemede önemli rol oynarlar. Motor ve premotor korteks ise frontal
5
korteksin hareketlerin planlanması, istemli hareketler ile ilgili bilgilerin işlemden
geçirilip iletilmesinden sorumlu bölgesidir.
Bazal gangliyonlar, beynin iç orta bölgesinde, korteks, talamus ve beyin sapı ile
bağlantılı gri cevher kitleleridir. Motor kontrol, bilinç, duygular, motor öğrenme (ör:
bisiklete binme) ve göz hareketleri ile ilişkili işlevleri vardır. Kaudat nukleus,
putamen, globus pallidus, substantia nigra, ve subtalamik çekirdek, bazal çekirdekleri
oluştururlar. Kaudat nukleus ile putamen birlikte neostriatum olarak adlandırılırlar.
Kaudat nukleus ile putamenin birleştiği noktadaki nöron topluluğuna nucleus
accumbens (NAc) denir ve olfaktor tubercle ile birlikte ventral striatumu oluşturur.
NAc, ödül ve motivasyon gibi olumlu duygusal durumlarda önemlidir; neostriatum
ise alışkanlıklar ve motor hafızada etkindir [16]. Kaudat nukleus ve putamen birlikte
neostriatum olarak adlandırılırlar ve bunlar nucleus accumbens ile birlikte striatum
(Str) olarak anılırlar. Tezin ilerleyen bölümlerinde Str ile kastedilen neostriatumdur,
NAc ise ayrı olarak ele alınmıştır. Globus pallidus, pars interna (GPi) ve pars
eksterna (GPe) olarak ikiye ayrılır. Substantia nigra ise pars reticularis (SNr) ve pars
compacta (SNc) olarak ikiye ayrılır. Globus pallidusun ventral bölgesine ventral
pallidum (VP) denir [17]. Bazal ganglianın temel girdi bölgesi Str, temel çıktı
bölgesi de GPi ve SNr’dır.
Str, substantia nigranın pars compacta bölgesinden dopaminerjik ve korteksten
glutamaterjik giriş alır, fakat korteks ile resiprok bağlantısı yoktur. Str’un kortikal
girişleri, assosiyasyon korteksi ve motor-duyusal korteksten gelir. Bu çekirdekçiklere
gelen dopaminin nörotransmiterinin kaynağı, substantia nigra pars kompaktadır.
Striatumun çıkışı globus pallidusa bağlanır ve gama aminobütirik asit (GABA),
enkefalin ve P maddesi nörotransmiterlerini kullanır. Striatum bölgeleri, hangi
korteks bölgesiyle başlıca bağlantısını yapıyorsa o bölgenin davranışsal özelliklerine
benzer özellik sergiler. Str’da bulunan başlıca önemli nöron tipi medium spiny
nöronlardır (MSN) ve baskılayıcı olan GABA nörotransmiterini salgılarlar.
Birbirleriyle mikro devre olarak adlandırılan bağlantılar yaparak birbirlerini
baskılarlar. Bu sayede Str içerisinde baskılayıcı bir geri besleme devresi oluşur ve bu
geri besleme devresi yarışmalı örüntü sınıflandırma görevlerinde kullanılır [19].
NAc, korteks, amigdala, ventral tegmental alan (VTA) ve hipokampustan giriş alır.
NAc için dopamin (DA) kaynağı VTA’dır. NAc’in GABAerjik nöronları ise VP’a
bağlantı yaparak talamusun baskılanmasını sağlarlar. Bu devrede VP, bilgiye dayalı
6
limbik ve striatal girişleri birleştiren bir röle görevi yapar. NAc’in bu bağlantıları
sayesinde davranışların etkinleştirilmesi ve güç harcanmasına dayalı (motor hareket
ile sonuçlanan) karar verme ödevlerinde DA önemli bir rol oynamaktadır [20].
Globus pallidus, striatumdan giriş alır ve çıkışlarını talamusun ventrolateral ve
ventral anterior çekirdekçiklerine gönderir. Ventral pallidum bölgesinin başlıca
striatal bağlantısı nucleus accumbens iledir. Bu bölgedeki nöronlar, amigdaladan
gelen uyarılara nucleus accumbens aracılığıyla tepki verir.
Talamus çekirdekleri beynin orta bölümünde ve her iki yarıkürede birer tane
bulunurlar. Talamus (Thl), kendisine bağlanan beyin yapılarından gelen girişleri
korteksin işleyebileceği biçime dönüştüren bir çevirmen gibi düşünülebilir. Kortekse
giden hemen tüm bağlantılar talamustaki sinaptik röleler üzerinden geçer. Anterior
talamus çekirdekleri vücuttan gelen bilgileri alırlar ve öğrenme ile hafıza
süreçlerinde görev alırlar [17].
Amigdala çekirdekleri, beynin iç orta bölgesinin derinliklerinde bulunan ve badem
şeklinde gruplanmış nöronlardan oluşan yapılardır [17]. Anıların, dürtülerin ve
duygusal tepkilerin işlenmesinde merkezi bir rol oynarlar. Amigdala (Aml), olumsuz
duygusal durumların hatırlanmasından sorumludur [16]. Bazolateral amigdala
(BLA), duygusal şartlandırılmış öğrenmeden sorumludur ve duyusal bir deneyime
zihinsel değer ve önem atamada etkin bir rol üstlenir. Ayrıca yoğun duygusal değeri
olan olayların zihinde işlenmesi için daha fazla kaynak ayrılmasını sağlayarak dikkat
mekanizmasında görev alır [18].
Ventral tegmental alan (VTA), beynin alt tabanı yakınında, substantia nigranın
üstünde bulunur. Beyindeki ödül mekanizmasının kaynağı olan, nucleus accumbense
dopamin salgılayan hücreleri içerir. Bu sayede bilinç, motivasyon, bağımlılık gibi
süreçlerde etkindir [17].
2.1.1 Bazal Ganglianın Eylem Seçimindeki Rolü
Bazal ganglia çekirdeklerinin, korteks ve talamus arasında yapısal ve işlevsel olarak
farklı, fakat paralel çalışan döngüler aracılığıyla bağlantılar kurmuş olduğu ortaya
çıkarılmıştır[21]. Bu döngülerin ayrıntılı incelenmesi [22], limbik sistem ile motor
sistem arasında geri beslemeler içeren ve paralel çalışan döngüler sayesinde duygusal
uyaranların işlendiğini ortaya koymuştur [23]. Bu döngüler, ortama uygun olan
eylemlerin öğrenilmesinde ve uygulanmasında pekiştirmeli öğrenme yöntemini
7
kullanır ve bu sayede korteks bu eylemleri giderek daha hızlı ve doğru biçimde
gerçekleştirmeye başlar [19]. Her bir döngü, bazal ganglia ve talamusun ayrı
bölümlerini birleştirir ve frontal korteksin ayrı bir bölgesinde çıkış yapacak şekilde
sonlanır. Bu döngülerin kabaca motor, okulomotor, iki adet prefrontal döngü ve
limbik döngü olduğu düşünülmektedir. Her döngünün bazal ganglianın çıkış
çekirdeğine (GPi) doğrudan bir bağlantısı vardır ve bu bağlantının aktivasyonu,
döngünün talamik aşamasının baskılanmasını ortadan kaldırır. Aynı zamanda her
döngü, dolaylı bir bağlantı yoluyla GPe üzerinden subtalamik çekirdeğe ve oradan da
çıkış çekirdeğine uyarıcı yönde bağlanır. Yani her döngünün bazal çekirdekler
üzerinde birbirine zıt yönde iki etkisi bulunur.
1990’lardan beri bilinen bazal ganglia eylem seçimi devresi Şekil 2.1’de verilmiştir.
[24]’te verilen modele göre eylem seçimi için bazal gangliada doğrudan ve dolaylı
olmak üzere iki yol izlenir. Her iki yolak da korteksten başlar ve globus pallidus
interna (GPi), yani bazal ganglianın ana çıkış kapısı üzerinde birleşirler ve
baskılayıcı etki sağlarlar. Doğrudan yolağın hareketleri seçmeye, dolaylı yolağın da
istenmeyen hareketlerin gerçekleşmesini baskılamaya yol açtığı düşünülmektedir. Bu
devrede etkili olan striatum, aslında neostriatum(kaudat ve putamen)dur.
Doğrudan yol, korteksten Str’a giden glutamaterjik bağlantılarla başlar. Str
nöronlarının bir kısmı doğrudan GPi’ye GABAerjik bağlantı yaparlar. GPi de
talamusa (Thl) baskılayıcı bir bağlantıya sahiptir. Thl’tan kortekse giden yol ise
harekete geçiricidir. Korteksin Str’u harekete geçirmesi GPi’yi baskılar. GPi
etkinliğinin azalması sayesinde kendi üzerindeki baskılamanın kalkması nedeniyle
Thl da korteksin motor bölgelerini uyararak istenilen hareketin gerçekleştirilmesini
pekiştirir. Doğrudan yolağı Şekil 2.1.a’daki gibi özetleyebiliriz.
Dolaylı yol da yine korteksin Str’u uyarmasıyla başlar. Bir başka grup Str nöronu
globus pallidus eksterna’ya (GPe) GABAerjik bağlantı yaparlar. GPe de subtalamik
nukleusa (STN) doğru baskılayıcı bağlantılara sahiptir. STN’den GPi’ye doğru olan
bağlantılar ise harekete geçirici(glutamaterjik)dir. Str’un GPe’yi baskılaması
nedeniyle GPe etkinliği azalır ve STN üzerindeki baskılama kalkar. STN daha etkin
hale gelerek GPi’yi uyarır. GPi’nin uyarılması, Thl’un baskılanması ve motor
korteksin daha az uyarılmasıyla sonuçlanır. Böylece istenmeyen hareketlerin
yapılması engellenmiş olur (Şekil 2.1.b).
8
Şekil 2.1 Eylem seçici motor devresinin anatomisi. a) Doğrudan yolak b) Dolaylı
yolak. Kırmızı oklar o yolakta etkin olan baskılayıcı (GABAerjik), yeşil
oklar ise harekete geçirici (glutamaterjik) bağlantıları göstermektedir.
Siyah bağlantıların niteliği yazıda anlatılmıştır. DA: dopamin, GPe:
globus pallidus externa, GPi: globus pallidus interna, SNc: substantia
nigra pars compacta, SNr: substantia nigra pars reticulata, STN:
subtalamik nukleus.
Bu eylem seçimi modeline göre her iki yolak da normal zamanlarda dengededirler.
Đki yolun birleştiği GPi/SNr çıkışındaki toplam etkinin dengeden ufak sapmalarıyla
eylem seçimi gerçekleşir. Yolaklardan birinin anormal derecede etkinleşmesi
durumunda azalan GPi/SNr çıkışı gereksiz ve fazla sayıda hareket yapılmasına, artan
GPi/SNr çıkışı ise hareketlerde durgunluğa (Parkinson hastalığı) yol açar.
Doğrudan ve dolaylı yolaklara ek olarak korteks ile STN arasında uyarıcı bir bağlantı
vardır ve bu yol üstdoğrudan yolak olarak adlandırılır [25]. Bu yol vasıtasıyla
korteksteki etkinlik STN’u ve onun üzerinden GPi’yı uyarır ve Str üzerinden geçen
yol kısa devre edilmiş olur. STN’un etkinleşmesiyle birlikte halihazırda süregen
şekilde (tonik) olarak uyarılmış olan GPi iyice uyarılır ve böylece Thl üzerindeki
baskılama daha da artar. Üstdoğrudan yol üzerinden gönderilen baskılama ile aynı
anda birkaç olası seçenek yarışırken bazal ganglia sisteminin bunlar arasından en
uygun olanını belirlemesi için iyice hesaplaması sağlanmış olur.
9
Son yıllarda yapılan çalışmalarla genel kabul görmüş olan bu dorsal striatal eylem
seçimi devresine ek olarak, ödüle dayalı ve nukleus accumbensin (NAc) etkisini
içeren bir model öne sürülmüştür [26]-[27]. Bu model de yine korteksten NAc’e
gelen glutamaterjik bağlantılarla başlar ve doğrudan ve dolaylı olmak üzere iki
yoldan yürür.
Şekil 2.2 NAc yoluyla ödüle dayalı eylem seçimini gerçekleştiren bazal ganglia
devresi. a) Doğrudan yolak b) Dolaylı yolak. Kırmızı oklar o yolakta
etkin olan baskılayıcı (GABAerjik), yeşil oklar ise harekete geçirici
(glutamaterjik) bağlantıları göstermektedir. D1, D2: D1 ve D2 tipinde
dopamin almacına sahip sinir hücreleri, DA: dopamin, GPi/SNr: globus
pallidus interna/substantia nigra pars reticulata, NAc: nukleus accumbens,
STN: subtalamik nukleus, THL: talamus, VTA: ventral tegmental alan,
VP: ventral pallidum.
NAc’in ödül tepkisi, ventral tegmental alan(VTA)dan gelen DA ile sağlanır.
Uyarılma sonucu NAc DA nöronları patlama (burst) biçiminde ateşlenirler. NAc
nöronlarında DA ile etkileşime giren çeşitli almaçlar vardır. Bunlardan en önemlileri
D1 ve D2 almaçlarıdır. D2 almaçları merkezi sinir sisteminde en fazla sayıda
bulunan DA almacı tipidir ve gecikmiş pekiştiriclerin seçimini teşvik ettikleri
düşünülmektedir [28]. D1 almaçlarının etkinleşmesi üzerinde bulundukları nöronun
uyarılmasına, D2 almaçlarının etkinleşmesi ise tam tersi nöronun baskılanmasına
10
neden olur. Her iki tip almaç da bir nöronda aynı anda bulunurlar ancak DA
varlığında toplam etkileri nöronun davranışını (uyarılma/baskılanma) uyarlar. Tezin
ilerleyen bölümlerinde doğrudan yolakta
Str/NAc nöronlarının uyarılmasını
sağlayan D1 almaçları daha etkin olduğundan Str/NAc yapılarında bu yolakta görev
alan nöronlar D1 nöronu, benzer biçimde dolaylı yolakta görev alan nöronlar da D2
nöronu olarak adlandırılmıştır. DA, uygulanması en fazla ödül getirecek uyarı-eylem
bağıntısını simgeleyen NAc nöronlarının ateşlenmesini artırır.
Prefrontal korteksten (PFC) gelen uyarılma ve DA etkisiyle NAcSNr arasındaki
doğrudan bağlantı baskılayıcıdır. Ventral pallidum (VP) ve STN üzerinden giden
dolaylı yol (Nac VP STN SNr) vasıtasıyla da SNr nöronları NAc tarafından
uyarılırlar. DA’e bağlı NAc nöronlarının ateşlenmesi doğrusal yol vasıtasıyla
baskılamayı kaldırırken dolaylı yol üzerinde baskılamaya yol açar (Şekil 2.2). Dorsal
striatal eylem seçimi devresinde olduğu gibi, GPi/SNr’nin Thl’u baskılaması veya
baskılamayı kaldırması sayesinde eylem seçimi gerçekleşir. D1 nöronları doğrudan
yol, D2 nöronları da dolaylı yol üzerinde etkilidir. Pek çok uyaran-eylem bağıntısı
zayıf olarak ama aynı anda etkin olduğundan NAc nöronları düşük oranda süregen
(tonik) ateşlenirler. Bunun net sonucu, D2 nöronları daha fazla sayıda olduğundan,
dolaylı yol vasıtasıyla eylemin engellenmesidir. DA salgılanmasına yol açan bir
uyaran, dolaylı yolun harekete geçirmesini bastıracak kadar doğrudan yol nöronunun
ateşlenmesini artırarak belirli bir eylemin seçilmesini sağlar [27].
Ventral striatumun dopamin (DA) nöronları vasıtasıyla dorsal striatum üzerinde
etkisi olması, bazal ganglianın limbik bölgelerinin (ventral) motor bölgelerini
(dorsal) etkileyebileceğini göstermektedir [29].
Burada nörofizyolojik temelleri özetlenen eylem seçimi devresine ilişkin hesaplamalı
modeller tez çalışmasında önerilecektir. Tez çalışmasının üçüncü bölümünde
anlatılan hesaplamalı model, dorsal eylem seçimi devresini konu almaktadır.
Dördüncü bölümde anlatılan hesaplamalı model ise hem dorsal hem ventral eylem
seçimi
devrelerini
içermektedir
ve
bunların
kurgulanmıştır.
11
bir
arada
çalışması
üzerine
2.2
Duygusal Devrelerin Etkin Olduğu Bir Süreç: Bağımlılık
Bağımlılık davranışları, karar verme mekanizmasının en çarpıcı biçimde yer aldığı
duygusal bilişsel süreçlerden biridir. Nikotin bağımlılığı ise toplumda en yaygın
gözlenen ve üzerinde en çok çalışma yapılmış bağımlılık türüdür. Bu tez
çalışmasında geliştirilen modelde kullanılan yaklaşım, pekiştirmeli öğrenmenin
bağımlılık davranışlarını kalıcı hale getiren etken olduğu ve nikotine karşı kanda
oluşan metabolik tepkilerin sürecin başlangıcını ve ilerlemesini tetiklediğidir.
Beyindeki farklı nörotransmiterler, bu süreçte görev alırlar ancak önerdiğimiz
modelde konu dopaminerjik açıdan ele alınmıştır.
Madde bağımlılığının nedenleri ve ortaya çıkış süreci farklı yaklaşımlarla ele
alınmaktadır [30]-[32]. Bunları kabaca şu başlıklar altında sıralayabiliriz: kalıtsal
kuramlar (genetik mirasın yol açtığı bağımlılık), metabolik kuramlar (bağımlılık
yapan maddelere karşı gelişen biyolojik tepkiler), şartlandırma kuramları (edimsel
öğrenme ve şartlanma süreçlerinin etkisi), ve uyum kuramları (bağımlılık yapan
maddelerin etkisinin sosyal ve psikolojik sonuçları) [33]. Bağımlılığı anlamaya
yönelik geliştirilen hesaplamalı modeller ise bu sayılanlardan özellikle metabolik ve
şartlandırma kuramları üzerinde durmaktadır [34]-[35]. Bu tez çalışmasında
önerilecek bağımlılığa ilişkin hesaplamalı model de şartlandırma kuramları göz
önüne alınarak geliştirilmiştir.
Yıllar boyunca bağımlılığın nedenlerini ve nasıl geliştiğini açıklamak adına sayısız
kuram ve formül geliştirilmiştir. Bunlardan şartlanma modelleri üzerine geliştirilmiş
olanlar, psikolojideki davranış kuramına göre bağımlılık maddesinin kuvvetli bir
pekiştirici olduğunu savunurlar. Klasik şartlandırmaya göre önceleri nötr olan
uyaranlar bir pekiştiricinin varlığında bağımlılık ile ilişkilendirilir ve bu nedenle
bağımlıların bağımlılık davranışlarını aynı çevresel koşullar gerçekleştiğinde
tekrarlaması kolaylaşır [34]. Bağımlılık açısından öncelikli pekiştiricinin haz
duygusu olduğu bazı kuramlar tarafından savunulmaktadır [34],[36]. Bir sonraki
bölümde anlatılacak olan bağımlılığa ilişkin hesaplamalı model geliştirilirken
pekiştirmeli öğrenmeye dayalı olarak şartlanmanın etkisi ele alınmıştır.
Bağımlılık, bir maddeden normalin ötesinde hoşlanma durumu ise ve bağımlılığın
gelişmesi de bir tür öğrenilen davranış ise, hoşlanma duygusunun ardında nasıl bir
mekanizma vardır? Aşırı hoşlanma durumu, hoşlanılan maddenin yokluğundan
12
duyulan üzüntünün de daha yoğun hissedilmesine yol açacaktır. Bunun sonucunda
birey saplantılı (compulsive) bir arayış içine girer. Hoşlanma ve kayıptan
kaynaklanan üzüntü birbiriyle ilişkilidir ve bu ilişkideki bir bozulma bu duygulardan
birinin aşırı hissedilmesine, dolayısıyla da bağımlılık davranışları sergilenmesine yol
açmaktadır. Bu süreç psikolojide karşıt süreçler olarak adlandırılan yaklaşımla ele
alınmaktadır ve bu tez kapsamında geliştirilen bağımlılığa ilişkin hesaplamalı
modelde de karşıt süreçlerin etkisi hesaba katılmaktadır.
Bu bölümde, tez çalışması sırasında geliştirilen modelde kullanılan ve bağımlılığın
gelişiminde rol alan beyindeki limbik sistem bileşenleri anlatılacak ve bağımlılıkla
ilgili
moleküler
düzeydeki
değişiklikler
üzerinde
durulacaktır.
Bağımlılık
gelişiminde etkili olan karşıt süreçler ve pekiştirmeli öğrenme mekanizmalarına dair
nörofizyolojik
yapılara
özellikle
ele
alınan
nikotin
bağımlılığı
açısından
değinilecektir.
2.2.1 Bağımlılığın Nörofizyolojik ve Davranışsal Temelleri
Bağımlılık, bir maddeye karşı olağanüstü hoşlanma/düşkünlük gösterilmesidir ve
bağımlılığın gelişmesi de bir davranışın öğrenilmesi olarak düşünülebilir. Bağımlı
olunan maddeye olması gerekenin çok üzerinde değer verilir ve bu abartılmış değer
yüzünden maddenin alımı sıklaşır [37]. Değeriyle orantılı olarak bağımlı olunan
maddenin eksikliği, bir stres ve üzüntüye neden olur ve bu olumsuz duygular
maddenin sürekli aranması için dürtü oluşturur [31]. Maddenin hoşa gitmesi ve
eksikliğinden üzüntü duyma birbiriyle yakından ilişkili iki karşıt duygudur ve bu
ilişkideki bir bozulma duygulardan birinin şiddetli hissedilmesine neden olarak
bağımlılık davranışlarına yol açar.
Dünya Sağlık Örgütü, bağımlılığı fizyolojik, davranışsal ve bilişsel olgular içeren bir
sendrom olarak tanımlamaktadır. Bir kişi bağımlı hale gelmeden önce bağımlılığa
sürükleyen hücreler arası bağlantıdaki esnekliğin (sinaptik nöroplastisite) tersine
döndürülebileceği
bir
dönem
vardır,
dolayısıyla
esneklikteki
bazı
kalıcı
değişikliklerin bağımlılığın nedeni olduğu düşünülmektedir. Bu nedenle bağımlılığı
beyindeki mezolimbik ödül sisteminde ödüllendirici eylemlere verilen tepkileri geri
dönüşsüz
olarak
değiştiren
bir
bozukluk
olarak
ele
alabiliriz.
Esneklik
kaybolduğundan eylemlerin (yeni) değerleri öğrenilemez ve önceki eylemlere ait
öğrenilmiş değerler kalıcı olarak kodlanır. Ödül mekanizmasındaki bu kalıcı
13
değişiklikler nedeniyle bağımlılar, genellikle tamamen iyileşemezler ve tedaviden
sonra tekrar madde alımına başlarlar [31]. Bu tezde bağımlılığa, yukarıdaki tanımlara
göre öğrenmeyi sağlayan esnekliğin bozulması olarak yaklaşılmış ve bağımlılık
gelişmesi gelişigüzel seçimlerden takıntılı duruma geçişin öğrenilmesi ve bozulan
esneklik nedeniyle öğrenilen bu bilginin değiştirilmemesi olarak ele alınmıştır.
Örnek olarak toplumda genel olarak yaygın bir bağımlılık türü olan sigara
bağımlılığının gelişme evreleri rasgele düşünmeden arada bir içmeye, arada birden
kronik içiciliğe, ve kronik içicilikten bağımlılığa geçiş olarak verilmektedir [30]. Ani
tepkisel davranışlar, bireyin iç ve dış uyaranlara karşı olası olumsuz sonuçları
dikkate almadan gösterdiği hızlı ve plansız tepkilerdir. Dürtüsel davranışlar ise yanlış
veya olumsuz olduğu bilinen seçimlerde ısrarcı olma davranışıdır. Bağımlılık
düşüncesizce gelişen davranışlardan (impulsive) dürtü nedeniyle takıntılı olarak
tekrarlanan davranışlara (compulsive) geçilen bir davranış biçimi olarak ele
alınabilir. Bu geçiş sırasında istenen davranışı güden olumlu pekiştiricilerden istenen
davranışı güden olumsuz pekiştiricilere doğru bir kayma söz konusudur [38].
Bağımlılığa giden süreçte sigara içme davranışı önce çevreden kaynaklanan strese
karşı bir tepki olarak gerçekleştirilirken giderek içsel istekleri ve dürtüleri (kanda
artan/azalan nikotin düzeyi gibi) bastırmak için tekrarlanan bir davranışa dönüşür
[32].
2.2.2 Karşıt Süreçlerin Nörofizyolojik Temelleri
Bağımlılığın davranışsal temelleri, karşıt süreçler kuramına dayanır. Solomon ve
Corbit tarafından geliştirilen karşıt süreçler kuramı [36], hoşlanılan dürtüsel
davranışlara yol açan koşullanmaları açıklamakta kullanılır. Karşıt süreçler
(opponent processes) kuramının merkezinde, bireyi seçim yapmaya iten koşulların
yalnızca maddelerin ödüllendirici nitelikleri değil, bireyin genel deneyim ve içinde
bulunduğu durum ile de belirlendiği yer alır. Karşıt süreçler modelini ana hatlarıyla
şöyle özetleyebiliriz: hoşa giden veya gitmeyen bir uyaranla aniden karşılaşıldığında
hızlıca bir tepki oluşur ve bu tepki Şekil 2. 3’te gösterildiği gibi çabucak tepe
noktaya varır. Uyaranın durumu değişmediğinde bu tepkinin eğrisi yavaşça bir denge
noktasına ulaşır ve orada kalır. Uyaran aniden ortadan kalktığında ise bu ilk tepki
ortadan kaybolur ve tam ters nitelikte bir tepki hızlıca gelişerek ters yönde tepe
noktasına ulaşır, sonra da zamanla kaybolur. Đlk gelişen tepki A-süreci, uyaran yok
14
olduğunda gelişen tepki ise B-süreci olarak adlandırılır. B-sürecine, ilkine zıt bir
duyguya karşılık geliştiğinden “karşıt süreç” denir ve oluşma sıklığı arttıkça
kuvvetlenir, seyrekleştikçe zayıflar. B-süreci, A-sürecinin varlığına bağımlı bir
süreçtir çünkü A-süreci tarafından dolaylı olarak uyarılır.
Sağlıklı bireylerde karşıt süreçler yaklaşık olarak aynı düzeyde oluşur (ör: korku ve
arkasından gelen rahatlama) ama bağımlılarda B-sürecinin denge noktasına erişmesi
daha uzun sürer ve daha büyüktür [36],[39]-[40]. Karşıt süreçler davranışsal olguları
açıklamakta kullanılmakla birlikte metabolik olgular için de söz konusudur. Sigara
içildiğinde kandaki nikotine tepki veren ve nikotin bağımlığında etkili olan nikotinik
asetilkolin almaçlarının nikotin varlığında uyarılma durumları bir tür karşıt süreç
tepkisidir (Şekil 2. 3).
Şekil 2. 3 Karşıt süreçlerin bağımlılığın gelişmesiyle değişmesi. Nikotinik
asetilkolin almaçlarının kandaki nikotin düzeyine (gri çizgi) verdiği
tepkinin sağlıklı insanlardaki (kesikli çizgi) ve bağımlılardaki (siyah
çizgi) karşıt süreçler açısından karşılaştırılması (bölüm 3.4.2’de verilen
denklemlerden yararlanılarak çizdirilmiştir)
Bağımlılık geliştiğinde beyindeki ödül düzeyi algısı da değişir ve böylece A- ve Bsüreçlerinin büyüklükleri azalır. Ortamdaki bağımlılığa yol açan madde miktarını
gösteren nötr düzey de düşer. Örneğin sigara içen biri, başlangıçta sigaraya karşı
olumlu ya da olumsuz duygular beslemez. Bir süre sigara içtikten sonra sigara içme
15
eylemi kişiye kendini iyi hissettirmeye başlar ve sigara tamamen yanıp bittiğinde
sigaranın yokluğu olumsuz bir duygu olarak deneyimlenir. Bu olumlu ve olumsuz
ruh halleri, karşıt süreçlerdir. Tezin üçüncü bölümünde anlatılacak olan modelde,
karşıt süreçler nikotinik asetilkolin almaçlarının kandaki nikotin düzeyine verdiği
tepki olarak görülmektedir.
Bağımlılık dinamik bir döngü olarak düşünülebilir. Bu döngü içerisinde birden fazla
pekiştirici bağımlılığın gelişmesine katkıda bulunur [39]. Olumlu pekiştiriciler,
madde kullanımının onu elde etme olasılığını artırdığı durumlarda etkinken, olumsuz
pekiştiriciler ise hoşa gitmeyen bir durumun veya yan etkinin ortadan kalkması
yoluyla madde alımını etkilerler (örneğin, sigara içmekten kaynaklanan öksürük
azaldığında yeniden sigara içmeyi istemek gibi). Stres ve yoksunluk duygusu da
madde alımını teşvik ederek bağımlılığın gelişimine katkıda bulunur.
Olağandışı koşullara uyumlanmış denge (allostasis), organizmanın tüm sistem ve
parametrelerini olağan duruma uyumlanmış (homeostatik) denge durumundan farklı
bir duruma kronik istekleri karşılamak üzere uyarlamasıdır [39]-[40]. Bir başka
deyişle kararlılığa erişim durumu (allostasis), değişiklikler devam ederken bünyenin
kararlılığını korumasıdır ama bunun da bir bedeli vardır. Bu noktada, bağımlılık
maddesinin ödül olarak algılanmasındaki değişikliğin kararlılığa erişim durumuna bir
uyum gösterme olduğu ve korunması gereken kararlılığın da ödül fonksiyonunun
kararlılığı olduğu söylenebilir. Dopamin (DA) gibi ödül ile ilgili nörotransmiterler,
bir noktaya kadar bunu sağlayabilirler. Madde bağımlılığı açısından beyindeki
güdüleme (motivasyon) sistemlerinin çalışması incelenirse, bir maddenin beyindeki
ilk etkisinin (A-sürecinin), beyin sistemlerindeki kararlı (homeostatik) değişiklikler
(B-süreci) olarak karşılandığı savunulabilir [40]. Beyindeki ödül mekanizmasının
işleyişinin bozulması bağımlılığa yol açtığından buna bağlı oluşan olumsuz duygu
madde kullanımını artıracaktır. Ödül mekanizması bir kez bozulduktan sonra, ödül
fonksiyonunun normal homeostatik sınırlarını belirleyen karşıt süreçler (B-süreçleri),
tekrar normal sınırlar arasına dönemez.
2.2.3 Đlişkisel Öğrenme ve Pekiştirmeli Şartlanmanın Nörofizyolojik Temelleri
Bağımlılığın gelişimine ilişkin kuramlar arasında pekiştirmeli öğrenme ve ilişkisel
süreçleri kullananlar baskındır. Pekiştirmeli öğrenmeye odaklanan koşullanmacı
yaklaşımda bağımlılık bir olumlu pekiştirici vasıtasıyla maddenin kullanımı olarak
16
tanımlanmaktadır [33]-[35]. Bağımlılığa yol açan maddenin hoşa giden ödüllendirici
nitelikleri, bireyin o maddeyi arama davranışlarının artmasına yol açar. Dolayısıyla
bağımlılığa yol açan maddeler, belirli bir davranış sonucu elde edilen ödülün
artmasını sağlayan pozitif pekiştiricilerdir. Birey, maddeyi her tüketmeye karar
verdiğinde bu eylemin değeri ilişkisel hafızada saklanır. Bir sonraki karar anında bu
saklanmış değer, aynı eylemin tekrar seçilme olasılığını belirler.
Pekiştirmeli öğrenme, durumları, yani seçenekleri, eylemler ile birleştiren bağıntıları
keşfetme sürecidir. Bunu yaparken amaç, sayısal bir ödül işaretini en yüksek değere
ulaştırmaktır [41]. Pekiştirmeli öğrenmenin iki önemli unsuru, keşfetmek ve
kullanmaktır. Keşifler, deneme-yanılma yöntemi ile yapılır ve dolayısıyla ödüller
karar anında değil, daha geç elde edilir. Hatta ödüller anlık değil, daha sonraki
adımları da değiştirecek biçimde uzun vadeli olabilir (örneğin bulunulan adım için en
yüksek değerde olmayan ödül birkaç adımlık ilerleme sonunda birikerek en yüksek
değeri alabilir). Öğrenici, halihazırda sahip olduğu bilgiyi kullanarak ödül elde eder,
fakat aynı zamanda gelecekte daha iyi eylemleri seçebilmek için keşifler de yapması
gerekir.
Pekiştirmeli öğrenmede dört önemli unsur vardır [41]. Strateji, öğrenicinin verilen
bir zamandaki davranışını belirleyen, durumlardan eylemlere doğru bir eşleştirmedir.
Ödül fonksiyonu, amacı belirler ve her durum-eylem çiftini o durumun istenirliğini
gösteren bir sayı ile eşleştirir. Değer fonksiyonu, uzun vadede neyin iyi olduğunu
belirler ve bir durumdan başlayarak gelecekte elde edilebilecek toplam ödülü
gösterir. Ödüller, bir durumun anlık istenirliğini gösterirken değerler, birbirini takip
eden durumların getireceği ödüllerin toplamını gösterir. Dolayısıyla o an için en fazla
olmayan ödülü veren durum seçilebilir ancak takip eden durumlar göz önüne
alındığında en fazla toplam ödül elde edilebilir. Son olarak, ortam modeli planlama
yapmak için kullanılır.
Bu tez çalışmasında pekiştirmeli öğrenme hem beyindeki öğrenme sürecini ifade
etmek hem de makine öğrenmesindeki hesaplama yöntemini ifade etmek için
kullanılmaktadır. Üçüncü bölümde anlatılan model, pekiştirmeli öğrenmeye ilişkin
bir hesaplamalı modeldir. Gerçekten de bir öğrenme yapısı olarak pekiştirmeli
öğrenme, beyindeki bazal ganglia döngüleri ve VTA’ı içeren öğrenme sürecine denk
düşmektedir. VTA ve SNc nöronlarından salgılanan DA’in ödül beklentisine dair
hatayı kodladığı ve DA’in hedef bölgelere ulaşmasının ödül artırıcı eylemlerin ve
17
beklentinin işleme konulmasını etkilediğine dair bir hesaplamalı model [42]’de
önerilmiştir.
[35]’te DA ve bağımlılık ilişkisi pekiştirmeli öğrenme ve klasik şartlanma kuralları
açısından incelenmiştir. Pekiştirmeli öğrenmenin en iyi seçimi yapmayı denetleyen,
hem psikolojik hem de nörolojik bir kuram olduğu öne sürülmektedir. Bu denetim
mekanizması iyice anlaşıldığında bağımlılıktaki en iyi dışındaki seçeneklere uyum
göstermiş hatalı karar verme sürecini anlamak mümkün olabilecektir.
2.2.4 Ödül Sistemi ve Dopamin
Mezolimbik ödül sisteminde, dolayısıyla bağımlılık mekanizmasında rol alan en
önemli nörotransmiter dopamindir ve bu tez çalışmasında bağımlılık döngüleri
yalnızca dopaminerjik bakış açısıyla incelenmiştir. Ödül sisteminde, olası davranış
seçimlerinin değerleri önceki eylemlerin sonuçlarına dayanılarak hesaplanır ve bu
değerler hafızada saklanır. Bu saklanan bilgi de gelecekteki eylemlerin sonuçlarını
tahmin etmek için kullanılır. Eylemin sonucuyla tahmine ilişkin ödül değeri
arasındaki farka ait hatanın dopamin (DA) tarafından kodlandığı düşünülmektedir.
Bu hata değeri gelecekteki seçimler sırasında kullanılmak üzere saklanmış bilgiyi
güncellemekte kullanılır. Bu nedenle DA, ödül kazancını artıracak biçimde
gelecekteki eylemleri biçimlendirir denebilir [37],[39]. Bir eylemden elde edilen ödül
ne kadar büyük olursa o eylem o kadar sık tekrarlanır. DA ödül-değer bağlantısını
pekiştirir ve bağımlılık davranışlarının gelişmesinde önemli role sahiptir [43]-[44].
DA iletimindeki bozulmalar, DA sisteminde ilişkisel olmayan, uzun süreli, ve
sonunda geri döndürülemez değişikliklere (DA duyarlılaştırması – sensitization)
neden olarak bağımlılık gelişmesine yol açar [45].
Beyinde DA salgısı için iki kaynak vardır: ventral tegmental alan (VTA) ve
substantia nigra pars compacta (SNc). VTA’daki DA nöronları, limbik önbeyin
(NAc, amigdala, ve hipokampus) ve PFC ile bağlantı yaparlar. SNc’daki DA
nöronları ise dorsal striatum (kaudat ve putamen) ile bağlantılıdırlar [37]. Doğal
ödüller ve bağımlılık yapan maddeler, nucleus accumbensteki (NAc) sinaptik DA
miktarını artırarak benzer biçimde davranışları etkilerler. NAc ile birlikte, amigdala
ve PFC de ödüllerin değerlendirilmesinde ve ödüller ile ilişkili anıların
oluşturulmasında önemli role sahiptirler. NAc’deki DA salgısı, bir amacın zevk
veren özelliklerini motivasyon ile ilişkilendirir ve böylece ödül ile ilgili davranışların
18
oluşturulmasında kritik bir rol oynar. Yani DA, ödül ile ilişkili öğrenme için değil
ama ödül elde etmeye yönelik motivasyonel davranışlar için gereklidir.
Ödül elde etmeye yönelik etkin eylemlerin bilgisi dorsal striatumda saklanır. PFC,
canlıyı başarılı bir biçimde amaca yönlendirmenin yanında zararlı tepkileri de
baskılar. NAc, PFC, amigdala, ve dorsal striatuma ulaşan DA salgısı belirli
deneyimlerin motivasyonel önemi ve değerini belirler.
Ventral tegmental alandan (VTA) salgılanan nöromodülatör DA sistemine daha
yakından bakınca iç dinamiği açısından iki önemli eleman olduğunu görürüz: VTA
için ana uyarıcı bağlantılar amigdala (Aml) – lateral hipotalamus (LH) –
pedunculopontine tegmental nucleus/laterodorsal tegmental nucleus (PPTg/LDTg)
bloğundan gelen asetil kolin (ACh) ve kortikal bölgelerden (özellikle prefrontal
korteks – PFC) gelen glutamat(Glu)tır. Bu projeksiyonlar VTA’daki DA ve gama
amino-bütirik asit (GABA) nöronlarına sinaps yaparak bunların etkinliklerini kontrol
ederler (Şekil 2.4). VTA’nın ana baskılayıcı girişleri nucleus accumbens (NAc) ve
ventral pallidum(VP)dan gelen GABAerjik bağlantılardır. VTA’nın iç dinamiği, DA
ve GABA nöronlarının etkileşiminden oluşur. GABA nöronlarının etkinliği ACh ve
Glu salgısı nedeniyle artar ve GABA nörotransmiteri daha fazla salınmaya başlar.
Öte yandan artan GABA etkinliği, DA nöronları üzerinde baskılayıcı bir etkiye
sahiptir. DA ve GABA nöronlarına aynı anda ulaşan Glu salımı, başlangıçta DA
nöronu etkinliğini biraz artırır. Ancak artan GABA nöronu etkinliği ile birlikte DA
salgılanmasında hızlı bir düşüş görülür. Buna karşın DA nöronlarına ACh girmesi
DA salgısını azaltır. Böylece GABA etkinliğinin en yüksek seviyeye ulaştığı anda
DA nöronu etkinliği de en alt düzeye inmiştir. GABA nöronlarının kendi
üzerlerindeki etkisiyse baskılamanın baskılanması biçiminde olup, DA nöronlarına
giden GABA salgısını azaltarak dolaylı yoldan DA salgısının artmasını sağlar.
GABAerjik nöronların GABA’ya olan duyarlılığı, DAerjik nöronların GABA
duyarlılığından 20 kat kadar fazladır [46]. VTA’ya aynı anda ACh ve Glu
verildiğinde GABA nöronu etkinliği çok daha yüksek düzeylere çıkarken DA nöronu
etkinliği iki fazlı hale gelir. Yani DA salgısı başlangıçta artarak GABA salgısının en
yüksek düzeye ulaştığı anda tepe noktasına gelir, ancak sonra çok hızlı azalarak
karşıt süreçlerin karakteristik eğrisini meydana getirir.
VTA DA nöronları, VTA GABA nöronlarının baskılamasıyla DA salımını azaltırlar.
Ancak hem dopaminerjik hem GABAerjik VTA nöronları açısından asıl harekete
19
geçirici nörotransmiter PFC’den salgılanan glutamat(Glu)tır. VTA’dan NAc’e DA
salgılanmasını sağlayan ana etken, PFC’in Glu salgısıdır. NAc, artan DA salgısına
karşılık olarak VTA’a GABA salgılar ve özellikle VTA GABAerjik nöronları
üzerinde etkili olur. VTA DA salgısının artmasında PPTg/LDTg (laterodorsal
tegmental nukleus) kompleksinden salgılanan Glu’ın etkisi vardır ve bu bağlantı,
dopaminerjik nöronların patlamalar halinde ateşlenmelerine yol açar [26].
PPTg/LDTg bu etkisiyle madde bağımlılığında karşıt süreçlerin güdüleme
mekanizmasını oluşturması açısından önemli bir role sahiptir [47].
VTA DA ve GABA nöronlarını etkileyen başka girişler de vardır. Amigdala (Aml) /
lateral hipotalamus (LH) kompleksi ve PPTg/LDTg kompleksinden salgılanan
asetilkolin (ACh) nörotransmiteri, VTA nöronlarını harekete geçirir [48]-[50]. Ancak
Glu ile karşılaştırıldığında ACh, ikinci derece bir uyarandır. ACh salgılayan hücreler,
VTA DA nöronlarına seyrek olarak sinaps yaparlar. Ayrıca amigdala, VTA sistemini
bazen etkilerken bazı durumlarda etkisiz kalmaktadır.
Şekil 2.4 VTA’daki DA ve GABA nöronları üzerinde etkili nörotransmiterler.
ACh, asetil kolin; DA, dopamin; GABA, gama amino-bütirik asit; Glu,
glutamat; NAc, nucleus accumbens.
Sürekli nikotine maruz kalmak duyarsızlaştırmaya (desensitization) neden olarak
GABA nöronlarının ACh varlığında gösterdikleri etkinliğin azalmasına yol açar.
GABA nöronlarından gelen baskılamanın azalması da DA nöronlarının uzun süreli
uyarılmasını sağlayarak DA nöronu etkinliğini dinlenme durumundakinden de
yüksek seviyelere taşır (kanda tonik nikotin yokken bile) [48]-[51].
20
Kolinerjik nöronlar (ACh salınımı), öğrenilmiş bir ödevdeki potansiyel seçimlerin
bilgisine ait beklentiyi kodlar. Dolayısıyla ACh işareti, öğrenilmiş bir ödeve ait
isteklerin içsel gösterimidir [48],[51]-[52]. Glutamaterjik nöronlar (Glu salımı) ise
karar alma davranışları yani eylem seçiminde görev alan dorsal striatum ile ilişkili
beyin bölgelerinin öğrenme süreçlerinden sorumludur [4],[48],[51].
Uzun süreli nikotin verilmesi durumunda karşıt süreçler yüzünden DA’in
ödüllendirici etkisi azalır. Bu durum da DA nöronu plastisitesini değiştirerek nikotin
metabolizmasını kontrol eden ventral DA yolağında bir kontrol açığı oluşmasına yol
açar. Đşte bu noktada dürtüsel nikotin arayışı başlamış olur [48],[51]. Mezokortikal
DA sistemi ve bu sistemin glutamaterjik geri besleme döngülerindeki bu
değişiklikler, bağımlı olunan madde arayışını ve tekrar tekrar madde kullanımına
başlamayı tetikleyen etkilere sahiptir [31].
2.3
Bağımlılığı Açıklamak Đçin Geliştirilmiş Hesaplamalı Modeller
Madde bağımlılığını DA açısından ele alan matematiksel modeller, DA’in ödül
sistemindeki etkisini araştıranlar, pekiştirmeli öğrenme ve eylem seçimindeki rolünü
inceleyenler ve karşıt süreçleri nörodinamik DA sistemi olarak açıklamaya çalışanlar
olarak gruplanabilir [53].
Pekiştirmeli öğrenme kısaca bir amacı gerçekleştirmek üzere çevre ile etkileşimde
bulunurken edinilen deneyimler sayesinde öğrenme olarak tanımlanabilir. Eylemde
bulunan (karar alıcı - aktör), sürekli olarak bir eylemi seçmek için ortam ile etkileşim
içindedir ve ortam her eyleme karşılık olarak karar alıcıya yeni durumlar sunar [41].
Karşıt süreçler kuramına göre bir bireyi karar almaya iten koşullar sadece eylemin
ödüllendirici veya kaçınılması gereken niteliğine değil, aynı zamanda bireyin genel
deneyimine ve o anki durumuna da bağlıdır [36].
Bu bölümde önce karşıt süreçler ve pekiştirmeli öğrenmeye ilişkin matematiksel sinir
sistemi modelleri tanıtılacak; sonra da bağımlılık gelişmesiyle ilgili nörodinamik
modeller anlatılacaktır.
2.3.1 Karşıt Süreçler ve Pekiştirmeli Öğrenme Modelleri
Madde bağımlılığı ile ilgili farmakolojik modeller, pozitif ve negatif geri besleme
modelleri olarak ele alınabilirler. Pozitif geri besleme modelleri, madde kullanımının
21
amaca yönelik davranış değil de beyindeki madde miktarının azalmasıyla otomatik
olarak tetiklenen bir süreç olduğunu savunurlar. Negatif geri besleme modelleri ise
madde kullanımının bir tür amaca yönelik davranış olduğunu iddia ederler. Bu iki
yaklaşımın eksik tarafı, bağımlılığın oluşumuna bir açıklama getirmemeleridir.
[54]’te verilen hesaplamalı model, buna iyi bir örnektir. Bu modelde zamansal fark
pekiştirmeli öğrenme (TDRL) ilkesi kullanılarak her durumun değeri hesaplanmıştır.
Ancak bu model, ödülün öğrenmedeki yerini açıklayamamaktadır.
Karşıt süreçler, beyindeki duygusal sistemleri açıklamakta, özellikle de deneyimlerin
değerlendirilmesi ve ödül beklentisinin hesaplanmasında önemlidir. Bu alt bölümde,
bağımlılık ve amaca yönelik davranışları modellemek için karşıt süreçlerden
yararlanan
çalışmalardan
yaklaşımları
açısından
önemli
olan
bazılarına
değinilecektir.
Grossberg ve Gutowski [55], karar almada karşıt süreçlerin etkisini açıklamak için
kapılanmış dipol (gated dipole) yapısını geliştirmişlerdir. Önerdikleri kuram, riskli
durumlardaki karar alma sürecini psiko-fizyolojik mekanizmalara dayanarak
açıklamaktadır. Bir sinir hücresinin çıkışı, girişine ve dinamik olarak değişen
nörotransmiter denklemine bağlı olarak hesaplanmaktadır. Sabit giriş işaretiyle yavaş
değişen nörotransmiter konsantrasyonunun çarpımı, çıkış işaretinde hızlı bir
yükselme, oturma ve hızlı bir düşüş olmak üzere farklı fazlar oluşturmaktadır. Bu
şekilde çalışan iki sinir hücresinden oluşan minimal sinir ağı yapısına kapılanmış
dipol denmektedir. Bu çalışmada kapılanmış dipol içeren karşıt süreç modeliyle bir
pekiştiricinin varlığı ve yokluğunun şartlı uyaranlar ile nasıl ilişkilendirilebileceği
gösterilmiştir. Bu modelde elde edilen çıkışlar Solomon ve Corbit’in [36] karşıt
süreçler tarifiyle oldukça uyumlu olmakla birlikte bazı farklar da vardır. [36]’da
karşıt süreçler iki zıt duygusal sürecin farkı olarak açıklanmakta ve konu yalnızca
davranış psikolojisi açısından ele alınmaktadır. Dolayısıyla matematiksel bir
açıklama ya da iki zıt sürecin farklı zamanlarda ortaya çıkışı ve birinin diğerini
tetiklemesi konusu eksiktir. [55]’te verilen model bu soruna yavaşça oturan ve tonik
olarak artan bir nörotransmiter işareti kullanarak yaklaşmaktadır.
Grossberg ve Schmajuk, [56]’da READ devresi adı verilen bir kapılanmış dipol
devresi kullanarak karşıt süreçleri ikincil baskılayıcı şartlanma gibi ele almışlardır.
READ devresi, karşıt süreçler ve ilişkisel öğrenme yöntemlerini kullanır. READ
devresi de kapılanmış dipoller gibi üç farklı zaman ölçeğinde çalışır: hızlı uyarılma,
22
yavaş oturma, ve daha da yavaş gelişen şartlanma fazı. Bu süreçler, doğrusal
olmayan geri beslemelerle birbirlerine bağlıdırlar. Kapılanmış dipol devreleri
birleştirilerek motivasyon güdüleri arasından kazanan hepsini alır ilkesine göre seçim
yapan bir yapıya bağlanır. Bu çalışmada birkaç özelleşmiş kapılanmış dipol yapısı
tasarlanarak davranış verileri ve bunlarla ilişkili beyin işaretleri çözümlenmeye
çalışılmıştır. Geliştirilen bu devreler ile beyindeki güdülenme, şartlanma, dikkat,
hızlı uyarılma ve yavaş öğrenme mekanizmaları ve bu mekanizmalarda kısa süreli ve
uzun süreli hafızanın rolü incelenmiştir.
Daw, Kakade ve Dayan [57]’de, DA ve serotonini kullanrak hoşa giden ve gitmeyen
karşıt süreçleri açıklamışlardır. Önerilen modelde DA, TDRL sürecindeki hata
işaretini kodlamaktadır. Serotonin ise uzun süreli tahminler ve hoşa gitmeyen
uyaranlarla ilgili TDRL hatası hesabını etkilemektedir. Modelde, ortalama ödül
tahmini için fazik DA ve tonik serotonin işaretleri kullanılarak kısa ve uzun dönemli
karşıtlıklar açıklanmaya çalışılmıştır. Ödülün statik bir fonksiyon kullanılarak
hesaplanmasıyla [36]’da tanıtılan karşıt süreçlere pekiştirmeli öğrenme açısından
matematiksel bir açıklama getirilmiştir.
DA’in ödül sistemindeki etkisini modelleyen bir diğer çalışmada [58]’de
sunulmuştur. Bu çalışmada şartlı uyaranlara karşı geliştirilen tepkilerin değerini
hesaplamak için amigdala, orbitofrontal korteks (OFC), lateral hipotalamus (LH), VP
ve bazal gangliayı içeren bir devre tasarlanmıştır. Bazal ganglia bloğunda şartlı
uyarana özgü değer fonksiyonundaki hatalar algılanır. VTA/substantia nigra pars
compacta (SNc) bloğu, amigdala ve LH tarafından pedunculopontine tegmental
nukleus (PPTg) üzerinden uyarılarak mezolimbik bölgelere DA salgısı artırılır. Bu
sistemin girişleri, fazik şartlı ve şartsız uyaranlar, güdüler, canlandırma duygusu;
çıkışları ise kan basıncı ve OFC üzerinden görsel bölgeleri uyaran işaretlerdir. Bu
çalışmanın önemi, beyindeki ödül sisteminde etkili olan yapıları oldukça iyi
kapsaması ve açıklayabilmesidir.
Karar verme ve değer atamada duyguların etkisini inceleyen ve TDRL kullanan bir
diğer hesaplamalı model Litt ve arkadaşları tarafından geliştirilmiştir [59]. Bu
modelde, değer atama ve karar vermenin olumlu olaylar için DA tarafından, olumsuz
olaylar için de seratonin tarafından kodlanan sistemler olduğu öne sürülmüştür. Bu
modelde amigdala, duygusal canlandırmayı betimlemekte ve doğrudan değer
fonksiyonuna çarpan olarak girmektedir. Böylece artan duygusal tepkiler OFC’den
23
gelen değer işaretini kuvvetlendirmekte, azalan duygusal etkinlik ise atanan değerin
zayıflamasına yol açmaktadır. Bu çalışma, amigdalanın değerlendirme sürecindeki
yerini vurgulaması ve doğrudan buna yönelik sade bir denklem sunması açısından
ilginçtir.
Frank ve Claus, [60]’ta bazal ganglia-DA sistemi, amigdala ve OFC’in karar verme
sürecindeki yerini irdelemektedir. Geliştirilen sistemde amigdaladan pekiştirme
bilgisini alan OFC, bellekte bu bilgiler için kurulmuş ilişkileri de kullanarak bir
değer hesaplar ve bu değeri de davranışlara yön vermede kullanır. Ancak kullanılan
yapay sinir ağı, şartsız uyaranların olumsuz değerlerini tanımak için ek bir öğrenme
döngüsüne ihtiyaç duymaktadır. Bu durum hem gerçekteki otomatik negatif değer
atama sistemiyle uyumsuzdur hem de gerçek zamanlı çıkışlar üretilmediğinden
[58]’de verilen sistemden ayrılmaktadır.
Duyguların karar vermeye etkisi üzerine kurulmuş ve karşıt süreçleri kullanan bir
sistem [61]’de verilmiştir. Kullanılan yapay sinir ağı ile Iowa Gambling Task ele
alınmıştır ve bu testin çözümüne ilişkin benzetim tartışılmıştır. Geliştirilen yapı,
değer atama ile eyleme yönelik çıkışı veren iki PFC katmanı içermektedir. Amigdala
ve bazal gangliayı içeren değerlendirme bloğunda karşıt süreçlerin etkisi pozitif
eğilimler için DA ve negatif eğilimler için Ser ile gösterilmiştir. OFC de iki katman
olarak tasarlanmıştır ve amigdaladan gelen pekiştirme işareti ile medyal bölgelerden
gelen içgüdüsel işaretleri değer atamada kullanmaktadır. Bu modelin önemi,
sınanabilir bir görev ile sistemi test ederek karşılaştırılabilir sonuçlar elde etmiş
olmasıdır.
Guthrie ve arkadaşları [62], kortiko-striato-talamik eylem seçimi devresindeki
doğrusal DA yolağı için bir model önermişlerdir. Bu model, bir ödevi bazal ganglia
vasıtasıyla öğrenebilmektedir. Anlık (fazik) ve süregen (tonik) DA düzeyleriyle
oynanarak modelden insanlardaki Parkinson hastalığı belirtilerine benzer çıkışlar
elde edilebilmektedir. Bu çalışmada Parkinson hastalığına azalan tonik DA düzeyi ile
anlık (fazik) DA düzeyinin ödül ve cezaya karşılık vermekteki gecikmesinin birlikte
neden olduğu iddia edilmektedir.
Dezfouli ve diğerleri [63], Daw’ın [64] zamansal fark DA sistemi modelini daha da
geliştirmişlerdir. [64]’da ortalama ödül deneyimlenmiş ödüllerin üstel olarak
ağırlıklandırılmış kayan ortalaması olarak hesaplanmaktadır. Uzun süreli madde
24
kullanımına bağlı olarak değişen beyindeki ödül sistemi yüzünden ödüllerin
karşılaştırılarak değerlendirilmesine yarayan taban ödül değeri, anormal derecede
yükselir. Bu yükselişe neden olarak DA işlevlerindeki azalmadır. Taban ödül düzeyi,
karar alma sistemindeki değişkenlerden biridir ve ortalama ödül ile ilişkilendirilir.
Zhang ve arkadaşları [65]’da önceden edinilen bilgilerle değişen fizyolojik
durumlarla güdüleri yönlendiren bir hesaplamalı model geliştirmişlerdir. Pekiştirmeli
öğrenme yöntemini kullanan bu model, beyindeki ödülden hoşlanma ve ve ödülü
isteme mekanizmalarına odaklanmaktadır. Anlık ödüllerden kaynaklanan haz
duygusu hoşlanma olarak adlandırılırken isteme bir uyaranı çekici bir amaç haline
dönüştüren güdüdür. Bellekteki değerlerin sabit kaldığı zamansal fark modellerinden
farklı olarak bu çalışmada geliştirilen modeldeki dinamik koşullar denek yeni
durumu öğrenemeden değiştirilmektedir.
2.3.2 Madde Bağımlılığı Modelleri
Levy ve diğerleri tarafından [66]’da madde bağımlılığı çok ölçekli bir yaklaşımla
modellenmiştir ve saplantılı davranış süreçlerinin zamana dayalı olması ele
alınmıştır. Sunulan model, nöropsikolojik, bilişsel ve davranışsal olarak üç farklı
ölçekten oluşmaktadır. Geliştirilen “dinamik bağımlı” modeli ile varolan hesaplamalı
modellere dair daha kapsamlı bir bakış açısı önerilmektedir.
Huys ve arkadaşları [67]’de dopaminerjik açıdan pekiştirmeli öğrenme ve şartlanma
süreçlerinin bağımlılık üzerindeki rolünü ele almışlardır. D2 tipindeki DA
almaçlarının karar alma süreçlerindeki etkisini göz önüne alan çalışmalara atıfta
bulunarak striatumdaki dolaylı yolak etkinliği incelenmektedir. Bu çalışma,
sinirbilimdeki hesaplamalı modellerden söz etmesi açısından güzel bir derlemedir.
Bağımlılardaki karar verme süreçleri için iki farklı açıklamayı birleştiren genel bir
hesaplamalı model [68]’de verilmiştir. Planlama gerektiren çok katmanlı karar
ağaçlarını modelleyebilmek için hiperbolik zamansal eksiltme ve beklenti
değerlendirmeye dayalı öğrenme yöntemleri birleştirilerek kullanılmıştır. Modelin
geliştirilmesi aşamasında bilişsel modellerin ödül ve hazla ilgili kuramlarından
faydalanılmıştır.
25
26
3.
NĐKOTĐN BAĞIMLILIĞINA ĐLĐŞKĐN BĐR HESAPLAMALI MODEL
Bağımlılık davranışları, karar verme mekanizmasının duygusal süreçlerden en çarpıcı
biçimde etkilendiği bilişsel süreçlerden biridir. Nikotin bağımlılığı ise toplumda en
yaygın gözlenen ve üzerinde en çok çalışma yapılmış bağımlılık türleri arasındadır.
Duyguları modelleyebilmek için giriş çıkış ilişkisi açısından eylem seçimi ödevlerini
kullanmak verilen kararların harekete dönüşerek çıktılarının değerlendirilmesini
sağlamaktadır. Duyguların karar verme sürecindeki etkisini gösterebilmek için ise
bağımlılık davranışları araştırmaları son derece uygun bir çalışma alanıdır çünkü
bağımlılık davranışları, bilinçli süreçlerin olumsuz etkisine rağmen aşırı hoşa gitme
duygusu nedeniyle gerçekleştirilen eylemlerden oluşur. Bu tez çalışmasında
geliştirilmeye çalışılan dinamik sistem kurgulanırken, bağımlılık sonucunda bozulan
karar mekanizmaları örnek alınmış ve nikotin bağımlılığındaki duygusal süreçleri
açıklayan bir model geliştirilmiştir.
Geliştirilen model, bağımlılık ve duygusal süreçlerde etkili olan beyindeki ödül
sistemine dopaminerjik açıdan yaklaşmaktadır. Bu nedenle beyinde dopamin (DA)
salgılanması ve eylem seçimi açısından izlediği yollar üzerinde durulmuştur.
Beyindeki ödül sisteminde DA salgısının iki kaynağı vardır: ventral tegmental alan
(VTA) ve substantia nigra pars compacta (SNc). Üzerinde çalışılan modelde ödül
sistemiyle ilgili devrede daha çok beyin bölgesine etki eden ventral tegmental
alandan salgılanan DA ele alınmıştır.
Önerilen model, beyindeki bölgelerden oluşan sistem düzeyinden moleküler düzeye
kadar
inen
farklı
düzeyleri
birleştirmekte
ve
üç
farklı
olası
davranışı
gösterebilmektedir. Ayrıca elde edilen sonuçlar ile pekiştirmeli öğrenmenin
bağımlılık gelişmesindeki rolü açıkça izlenebilmektedir.
3.1
Nikotin Bağımlılığının Moleküler Temelleri
Sigara içmek, en yaygın ve en kolay başlanan madde bağımlılığıdır. Sigara içmek
uzun süre sosyal açıdan bir statü simgesi ve kişisel bir tercih olarak değerlendirilmiş,
ancak yaklaşık son 20 yılda nikotin bağımlığı ve sağlıkla ilişkisi üzerinde durulmaya
27
başlanmıştır. Sigara içmeye başlama yaşı, genellikle 10-20 yaş dönemidir. Sosyal ve
psikolojik açıdan sigara içmek, başkaldırı ve kendini kanıtlama isteğini
göstermektedir ve düşük sosyoekonomik düzeydeki topluluklarda sigara içiciliği
daha sık gözlenmektedir [69]. Đlginç olan ise asıl bağımlılığın sigara içmek değil,
nikotin alımı olduğudur. Sigaralar ve sigara içmeyle ilgili geliştirilen törensel
davranışlar (sabah kahvesi ve sigara gibi), nikotin alımını pekiştiren unsurlar olarak
bağımlılığı desteklemektedirler, yani pekiştirmeli öğrenme süreci bu bağımlılığın
geliştirilmesinde etkilidir.
Nikotinsiz
sigaralar ve nikotinin
merkezi
sinir
sistemindeki (MSS) etkilerini baskılayan ilaçlar kullanıldığında sigara içmenin
önemli oranda azaldığı gözlenmiştir [69]-[70].
Nikotin bağımlılığının fizyolojik temelleri arasında üç önemli başrol oyuncusu göze
çarpar: merkezi sinir sistemi nöronları üzerindeki nikotinik asetil kolin almaçları
(nAChR), salgılanan nörotransmiterler, ve bunlara cevaben çeşitli beyin alt
yapılarında ateşlenen nöronlar. Nikotin bağımlılığında etkin beyin alt bölgeleri
incelendiğinde, bunlar arasında farklı nörotransmiterlerin salgılanarak tepkileri
ilettiği gözlenmiştir. Bunlardan en önemlileri dopamin (DA), asetilkolin (ACh),
glutamat (Glu), serotonin (Ser), gamma amino bütirik asit(GABA)tir.
Sigara dumanı akciğerlere çekildikten sonra buradan kana geçen nikotinin beyne
ulaşması saniyeler sürer. Nikotinin kanda yayılma yarı ömrü 15-20 dk. ve tüm
vücuttaki yarı ömrü ise 2 saat kadardır. Bu nedenle sigara içenlerin kanındaki nikotin
konsantrasyonu aniden yükselerek 1 saat içinde yavaşça azalır ve kandaki nikotin
konsantrasyonunu yüksek tutmak için düzenli olarak - yaklaşık her saatte bir - sigara
içme ihtiyacı hissedilir. Yine bu nedenle uzun süren gece uykusunun ardından
kandaki nikotin miktarı neredeyse sigara içmeyenlerle aynı düzeye gelir ve sabah ilk
içilen sigara daha büyük bir keyif verir [69].
Nikotin bağımlılığında şu üç sürecin birbirleriyle ilişkisi önemlidir: dopaminerjik ve
glutamaterjik sistemlerdeki nAChR düzenlenmesi, nikotine bağlı olarak etkin olan
nAChR’lerde artış oluşması (upregulation) ve nikotine bağlı nAChR duyarsızlaşması
(desensitization). nAChR’lerin kandaki nikotine cevabı, kişiden kişiye değişebilir ve
tüm sigara içme sürecini başlatır. Kronik olarak nikotine maruz kalma sonucunda
nAChR’lerin sayıları artar veya etkileşime girme yatkınlıkları çok yükselir. Nikotin,
duyarsızlaştırma vasıtasıyla ödüllendirici uyarıları tetiklerken, etkin almaçların artışı
yoluyla da daha fazla nikotin bağlanmasına yol açar. Sonuçta beyindeki ödül eşiği
28
düşerek ödüllendirici uyaranlara karşı duyarlılık artmış olur [70]. Kanda ventral
tegmental alan (VTA) nöronlarındaki almaçları harekete geçirmeye yetecek miktarda
nikotin bulunduğunda VTA DA nöronları patlamalar (burst) biçiminde ateşlenmeye
başlar. VTA nöronlarının uzantıları nukleus accumbensin (NAc) iç bölgelerine dek
gider ve sonuçta NAc’e salınan DA miktarı artar. Sürekli nikotine maruz kalma
sonucunda nikotine karşı verilen mezolimbik DA cevabı hassas bir noktaya gelir ve
hücreler arası ortamda DA miktarı artar. Bu DA cevabı, nikotinin pekiştirici ve
bağımlılık yapıcı özellikleriyle ilgilidir [71].
Nikotin, ödül sistemine nAChR vasıtasıyla etki etmektedir. nAChR’lere normal
şartlarda ortamdaki ACh bağlanır. Eğer ortamda nikotin bulunuyorsa, nikotin ACh
ile yarışa girerek nAChR’lere bağlanmaya çalışır. Bağımlılık gelişmesi açısından
nikotinin bu özelliği oldukça önemlidir. Bunun dışında yalnızca nikotin
bağımlılığında gözlenen bir durum daha vardır: herhangi bir madde bağımlılığı
geliştiğinde, ortamda o maddenin yoğunluğu artarken onun bağlandığı reseptörler
uyarılır ve sayıları azalır (reseptör desensitizasyonu). Oysa nikotin bağımlılığında
ortamdaki nikotin miktarı arttıkça nAChR uyarılması ve sayısı artar (up-regulation).
3.2
Nikotin Bağımlılığına Đlişkin Hesaplamalı Modeller
Karşıt süreçlerin nikotin bağımlılığındaki rolünü inceleyen bir hesaplamalı model
[4]’te önerilmiştir. Bu çalışmada nikotinik asetil kolin almaçlarının (nAChR)
kimyasal etkinliği, ortamdaki DA konsantrasyonuna bağlı olarak üç farklı zaman
ölçeğinde modellenmiştir. Bu moleküler yaklaşım, Grossberg ve arkadaşlarının [55][56] mekanik yaklaşımından oldukça farklıdır. Önerilen model, zaman ölçeklerini
açıkça ortaya koymamış olmakla birlikte nikotin bağımlılığını psikolojik,
nörofizyolojik, moleküler açıdan ele alan bütünsel bir çalışmadır. Bu model, [63]’te
önerilen model ile benzerlikler taşımakla birlikte [63]’te uyuşturucu miktarı hesaba
katılmaz ve ayrıca amigdala, prefrontal korteks (PFC) gibi bağımlılık açısından
önemli bazı beyin bölgeleri de içerilmez.
Bir limbik sistem modeli olmamakla birlikte ventral DA salımı kaynağı olan ventral
tegmental
alan
(VTA)
için
ortaya
konan
model
nedeniyle
Graupner’in
çalışmalarından bahsetmek gerekir [48],[51]. Geliştirilen modelde VTA’daki DA ve
GABA nöronlarının asetil kolin (ACh) ve glutamat (Glu) varlığında nasıl çalıştıkları
incelenmiştir. Ayrıca nAChR’larının farklı tiplerine ait uyarılma ve normal duruma
29
geçme süreçleri de modele dahil edilmiştir. Bu çalışmalarda VTA’daki DA ve
GABA nöronlarının mezolimbik ödül sistemine DA salınması için nasıl bir arada
çalıştıkları ayrıntılı olarak ele alınmıştır.
VTA’daki DA nöronlarının süregen (tonik) ve patlama şeklindeki ateşlemelerine ait
moleküler düzeyde bir model [72]’de önerilmiştir. Bu modelde dopaminerjik
nöronların özellikle nikotin varlığındaki dinamikleri ayrıntılı olarak verilmiştir. Bu
amaç için Hodgkin-Huxley türevi nöron modeli kullanılmış ve modelde nöron
dinamiği açısından önemli olan hücre zarındaki kalsiyum (Ca2+) ve potasyum (K+)
iyon kanalları ele alınmıştır. Bu çalışmada kullanılan iletkenlik tabanlı yaklaşım,
farmakolojik olarak apamin maddesinin yol açtığı etkilere denk gelmektedir.
Graupner ve Oster’in çalışmaları [48],[51],[72], DA salgılanmasını ayrıntılı bir
biçimde açıklamakla birlikte DA’in bağımlılıktaki rolüne değinmezler ve bağımlılık
gelişmesini bir sistem olarak ele almazlar. Anlatılan tüm bu çalışmalar, karşıt
süreçler, pekiştirmeli öğrenme ve ödüle dayalı DA salgılanması hesaplamalı
modeller sunmakla birlikte bağımlılığın arkasında yatan limbik ve bilişsel sinir
devrelerini açıklamaya çalışmazlar.
3.3
Nikotin Bağımlılığına Đlişkin Bir Model Önerisi
Bu çalışmada önerilen model, bağımlılık mekanizmasını sistem düzeyinde ele
almaktadır. Sistemdeki nöronlar ortalama ateşlenme oranı (mean firing rate) göz
önüne alınarak modellenmiştir. Bu sayede çok sayıdaki nöronun ürettiği vuruları tek
tek ele almak yerine devredeki nöron gruplarının davranışları ortalama vuru oranına
göre incelenebilmektedir [73]-[74]. Modelde ortalama değer bir sigmoid fonksiyon
ile elde edilmektedir. Model, çıkarımlarını nikotin bağımlılığı üzerinden yapmaktadır
ve sistem düzeyindeki bakış sayesinde nikotinin moleküler düzeydeki etkilerinden
nöronların dinamiklerine kadar geniş bir çerçeveyi içermektedir. Sistemin her bir
bloğu, kendi içinde bir dinamiğe sahiptir.
3.3.1 Tez Çalışmasında Geliştirilen Modelin Nörofizyolojik Temelleri
Nikotin bağımlılığının ardında yatan nörolojik yolaklar, beynin limbik bölgelerini
içeren çeşitli döngülerden oluşurlar. Bu tez çalışmasında amaca yönelik davranış ve
bağımlılığın gelişmesine yol açan bu nörolojik yolaklardan dopaminerjik olanları ele
alınmıştır. Şekil 3.1’de amaca yönelik davranışlarda görev alan ve geliştirilen model
30
açısından önemli bazı beyin bölgeleri gösterilmiştir. Beyinde ödül değerlendirmesine
dayanan davranışsal seçimler açısından önemli iki DA salımı kaynağı vardır
[34],[58]: VTA ve SNc. VTA’daki DA nöronları, limbik ön beyin (NAc, amigdala,
hipokampus) ve prefrontal kortekse (PFC) bağlantı yaparlar. SNc’daki DA nöronları
ise dorsal striatuma (kaudat ve putamen) bağlantı yaparlar [37]. NAc haricinde tüm
bu bölgelerin VTA ile glutamaterjik uyarıcı bağlantıları vardır. VTA/SNc
bölgelerinden DA salınmasını tetikleyen ana mekanizma, VTA/SNc DA nöronlarının
lateral hipotalamus (LH) tarafından harekete geçirilen amigdala (Aml), LH,
pedunculopontine tegmental nucleus/laterodorsal tegmental nucleus (PPTg/LDTg)
bloğu tarafından uyarılmasıdır. Öte yandan striatum (Str), VTA DA salımı sistemine
baskılayıcı işaretler gönderir. VTA’ya giren ana uyaranlar PFC ve PPTg/LDTg’den
gelen glutamaterjik bağlantılardır. VTA’daki GABA nöronları, VTA DA salımı
sistemi için yerel baskılayıcı işaretleri üretirler [48],[51]. Uyarıcı ve baskılayıcı
işaretler arasındaki zaman farkları, VTA/SNc DA nöronlarının patlama (burst)
biçiminde ateşlenmesine yol açar ve böylece DA salımında ani yükselmeler veya DA
azalmasına neden olan duraklamalar gözlenir [58]. PFC’den gelen glutamaterjik
bağlantılar VTA’daki DA ve GABA nöronlarını harekete geçirir. VTA içinde artan
GABA salgısı, DA nöronlarını baskılayarak DA miktarında azalmaya neden olur.
Değer atama işlevini gerçekleştiren beyin alt yapılarına dış dünyadan gelen uyarılar,
temporal kortekse ve LH’a ulaşır. Đçsel duruma ait homeostatik uyarılar da (kandaki
elektrolit, yağ seviyeleri gibi) LH’a gelir. Homeostatik olarak uyarılan LH hücreleri
de Aml hücrelerini uyarır ve LH-Aml ağı, net öznel değeri hesaplar. Aml aynı
zamanda temporal korteks üzerinden dış uyaranların bilgisini de alır. Sonuçta Aml ve
LH, dış uyarana göre oluşabilecek beklenen anlık değeri hesaplarlar. Aml, bu
beklenen değer bilgisini orbito frontal korteks (OFC) ve medyal OFC hücrelerine
iletir. OFC hücrelerinin etkinliği de nesnelerin bağıl değerlerini kodlayarak davranış
seçimlerine yön verir [58]. LH ve Aml yapıları, NAc ve VTA ile birlikte değer
atamada önemli role sahiptirler ancak bu bölümde anlatılan modeldeki değer atama
devresinde yer almamaktadırlar. Model, yalnızca Şekil 3.1’de verilen yapıları içerir.
Öğrenme sırasında ventral striatum (NAc) etkinliği artarak çevreyi temsil eden
bilginin belleğe kazınmasını sağlar. Daha sonra bu temsiller, pekiştirmeli
öğrenmedeki eylem-durum çiftlerine ait ödül değeri ve beklentinin hesaplanmasında
kullanılır [16].
31
Şekil 3.1 Amaca yönelik davranışların seçiminde görev alan beyin bölgeleri ve
Pekiştirmeli öğrenmedeki eylemci/eleştirmen yapıları
bağlantıları.
kesikli
çizgilerle
belirtilmiştir.
GPi/SNr,
globus
pallidus
internus/substantia nigra pars compacta; I, dış uyaranlar; NAc, nucleus
accumbens; n-s-c, nikotin varlığında tetiklenen karşıt süreçlere ilişkin
nAChR döngüleri; PFC, prefrontal korteks; STN, subtalamik nucleus;
Str, dorsal striatum (kaudat ve putamen); Thl, talamus; VTA, ventral
tegmental alan.
3.4
Nikotin Bağımlılığı Đçin Geliştirilen Model
Nikotin bağımlılığı için bir model geliştirmek üzere [4]’te önerilen bağımlılık modeli
[75]’te verilen amaca yönelik eylem seçimi devresiyle birleştirilmiştir. Model, iki
kısımdan oluşmaktadır: pekiştirmeli öğrenme ödevinden sorumlu olan DA işareti
modülü ve eylem seçimi modülü. Eylem seçimi (E-S) modülü, üzerinde çok
çalışılmış olan korteks-bazal ganglia-talamus yapılarını içeren bir dinamik sistemdir.
DA işareti modülü ise nikotin varlığıyla uyarılan nAChR’lerin etkinliği sayesinde
çalışmaktadır.
DA işareti modülü, kandaki nikotin düzeyine bağlı bir eylem değerlendirme bölümü
ile gerçekleştirilen eylemler için ödülü ve beklenti hatasını hesaplayan bir değer
atama bölümünden oluşur. DA işareti modülü, önceki eylemlerin hedonik temsilini
kullanarak E-S döngüsünü yönlendirir. Geliştirilen model (Şekil 3.1), VTA’dan DA
32
salınmasının eylem seçimi üzerindeki etkisini gösteren bir Wr parametresini
pekiştirmeli öğrenme yoluyla uyarlayarak değer atama sürecini modellemektedir.
3.4.1 Modelde Ele Alınan Sinir Sistemi Yapıları
Şekil 3.1’de geliştirilen modelin şematik gösterimi verilmiştir. Bu şemada, dorsal
eylem seçimi döngüsü ödülün değerlendirilmesinde rol alan VTA ve NAc ile birlikte
çizilmiştir. Bu eylem seçimi döngüsü, pekiştirmeli öğrenmedeki aktör elemanına
karşılık gelmektedir. Bazal gangliadaki globus pallidus interna/substantia nigra pars
reticulata (GPi/SNr), striatum (Str), subtalamik nukleus (STN) çekirdekleri ödüllerin
değerini ve ödüllerin elde ediliş zamanlarındaki hatayı hesaplayarak eylem seçimine
katkıda bulunurlar ve bu bilgiyi talamus (Thl) üzerinden prefrontal kortekse (PFC)
aktarırlar. Bu devre, gelecekteki eylemleri şu anki ödüllerin değerine göre
şekillendirmektedir. Olumlu olarak değerlendirilen, yani verimliliği daha fazla olan
eylemlere ait bilgi dorsal striatumda saklanır. Dorsal striatum, özellikle de kaudat
çekirdek, sosyal öğrenmede etkindir [34]. PFC ise bireyi kararlaştırılmış amaçlara
yönlendirerek ve zararlı eylemlere engel olarak eylem seçimindeki son aşamayı
yönetir. Seçilen eylemleri bireyin içinde bulunduğu ortamda davranışlar olarak
gerçekleştiren PFC’deki motor bölgeler, bu sistemin çıkışını oluşturmaktadır.
NAc, ödül ve güdülenme gibi olumlu olarak algılanan duygusal durumların
değerlendirilmesinde önemli rol oynar [16]. Doğal ödüller ve bağımlılığa yol açan
maddeler NAc’e gelen sinaptik DA miktarını artırır ve dolayısıyla davranışları
tetiklemede benzer etkiye sahiptirler. Ancak bu maddeler, mezokortikal DA
nöronlarının sonlandığı medyal PFC’deki (mPFC) DA iletimini artırmazlar [45].
NAc ile birlikte amigdala (Aml), hipokampus ve orbitofrontal korteksin (OFC) de
ödüllerin değerlendirilmesinde ve ödüllerle ilgili anıların oluşturulmasında önemli
rolleri vardır. NAc’e salınan DA, davranışın hoşa giden niteliklerini güdülenme ile
ilişkilendirir. NAc, PFC, Aml ve Str’a DA salınması, deneyimlerin değerini ve
güdüsel önemini ortaya koyar. Buna karşılık VTA’daki DA nöronları, ventral limbik
sistemin DA kaynağıdırlar. VTA’daki DA nöronları, moleküler düzeydeki
değişikliklere bağlı karşıt süreçler ile harekete geçerler ve böylece ödül
değerlendirmesinde etkili olan DA salımını yönetirler (Şekil 3.1). Nikotinin
değiştirici niteliği ve önceki eylemlerin NAc tarafından değerlendiriliyor olması
geliştirilen modelin kilit özellikleridir.
33
3.4.2 DA Đşareti Modülünün Karşıt Süreç Oluşturması
VTA’dan DA salınması, kandaki nikotin düzeyinin tetiklemesiyle gerçekleşir.
Nikotin alımıyla birlikte DA nöronları üzerinde bulunan nikotinik asetil kolin
almaçlarının (nAChR) gösterdiği tepki, üç farklı zaman aralığına yayılır. Önce
nikotinin anlık (fazik) etkisi saniyeler içinde DA nöronları üzerindeki nAChR
almaçlarını uyarır ve nAChR almaçlarının bu hızlı tepkisine (n işareti) paralel olarak
hızlı DA salgısı artışı meydana gelir. Daha yavaş (dakikalar mertebesinde) gelişen
bir pozitif geri-besleme süreci, nikotin alımına bağlı olarak DA nöronlarının üzerinde
bulunan nAChR sayısının hızla artarak (up-regulation) bu nöronların nikotine karşı
daha da duyarlı olmalarına yol açar. nAChR artışına bağlı bu süreç s işareti ile
modellenmiştir. Uzun dönemli nikotine bağlı yoğun etkinlikten kaynaklanan
homeostatik etki sonucunda nAChR almaçları renormalize olurlar ve uyarılmış fakat
etkin olmayan bir duruma gelirler. nAChR tepkisini normal düzeye indirmeye çalışan
beyindeki bu karşıt süreç c işareti ile modellenmiştir ve en geç ortaya çıkandır. Bu üç
işaretten en hızlısı n ve en yavaş gelişeni de c işaretidir [4]. Bu zaman farkı model
açısından önemlidir ve her bileşen farklı zaman sabitiyle modellenmiştir.
n, s ve c işaretlerinin dinamik denklemleri aşağıda verilmiştir:
µ
[-β n (k) ⋅ c(k) + α n (k) ⋅ (1 - n(k) ⋅ c(k))]
τn
(3.1a)
s(k + 1) = s(k) +
µ
[-β s ⋅ s(k) + α s (k) ⋅ (1 - s(k))]
τs
(3.1b)
c(k + 1) = c(k) +
µ
[-β c ⋅ c(k) + α c (k) ⋅ (1 - c(k))]
τc
(3.1c)
n(k + 1) = n(k) +
Yukarıda
verilen
denklemlerin
değerleri
ilk
ve
denklemlerde
kullanılan
parametrelerin değerleri aşağıdaki gibidir:
n = 0.2,
s = 0.2,
c = 0.2
(3.2)
0.3, k < 250
 0, k ≥ 250
θ n = 0.6, θ s = 0.7, θ c = 0.7, β s = 0.4, β c = 0.4, nikotin = 
34
(3.3)
µ = 0.1,
τ n = 0.25,
τ s = 1,
τc = 2
(3.4)
Yukarıdaki sisteme ait aktivasyon fonksiyonları sigmoid tipindedir:
α n (k) = 0.5 ⋅ (1 + tanh(nicotine - γ n ⋅ θ n ))
(3.5a)
α s (k) = 0.5 ⋅ (1 + tanh(n(k) - γ s ⋅ θ s ))
(3.5b)
α c (k) = 0.5 ⋅ (1 + tanh(s(k) - γ c ⋅ θ c ))
(3.5c)
β n (k) = 0.5 ⋅ (1 + tanh(ϕ n ⋅ c(k) - γ n ⋅ θ n ))
(3.5d)
Aktivasyon fonksiyonlarındaki γ ve φ parametreleri [0.8, 1] aralığında değiştirilerek
bağımlılık gelişiminin karşıt süreçler üzerindeki etkisi gösterilebilmektedir (Şekil 2.
3). Bağımlılarda B-süreci daha uzun sürer ve karşıt süreçlerin nötr düzeyi, sağlıklı
bireylerde olduğundan daha aşağıdadır.
3.4.3 Eylem Seçimi Modülünün Dinamik Davranışının Analizi
Daha önce yapılan çalışmalarda [76]-[79] korteks-bazal ganglia-talamus devresinden
oluşan eylem seçici modeller verilmiştir. Bu bölümde anlatılan eylem seçimi (E-S)
sistemi [75]’ten alınmıştır ve premotor ile motor döngüler olmak üzere iki kısımdan
oluşmaktadır. (3.6-3.7) ile verilen sistemin dinamik özellikleri XPPAUT kullanılarak
incelenmiştir [5]. Modelde yer alan döngülerin çalışması sonucunda elde edilen
işaretler davranış açısından ele alınmakta, beyinde ilgili bölgelerde ölçülen işaretler
ile
ilişkilendirilmemektedir.
Model,
davranışlardaki
değişimleri
göstermeyi
hedefleyerek tasarlanmıştır..
p pm (k + 1) = f (λp pm (k ) + m pm (k ) + Wc pm I (k ))
(3.6a)
m pm (k + 1) = f ( p pm (k ) − d pm (k ))
(3.6b)
rpm (k + 1) = Wr pm f ( p pm (k ))
(3.6c)
n pm (k + 1) = f ( p pm (k ))
(3.6d)
35
d pm (k + 1) = f (Wd pm n pm (k ) − rpm (k ))
(3.6e)
p m (k + 1) = f (λp m (k ) + m m (k ) + βp pm (k ) + gürültü )
(3.7a)
m m (k + 1) = f ( p m (k ) − d m (k ))
(3.7b)
rm (k + 1) = Wrm f ( p m (k ))
(3.7c)
n m (k + 1) = f ( p m (k ))
(3.7d)
d m (k + 1) = f (Wd m n m (k ) − rm (k ))
(3.7e)
Yukarıdaki denklemlerdeki ppm/m, mpm/m, rpm/m, npm/m, dpm/m değişkenleri, sırasıyla
premotor ve motor döngülerdeki korteks, talamus (Thl), striatum (Str), subtalamik
nukleus (STN), ve globus pallidus interna/substantia nigra (GPi/SNr) bileşenlerine
karşılık gelmektedir. Bu değişkenler uyaranın varlığı ve yokluğu olarak 2 durum
bulunduğundan 2 boyutlu vektörlerdir. Bu modelde Str ile GPi/SNr arasındaki
doğrudan ve PFC ile STN arasındaki üst doğrudan yolaklar yer almaktadır.
Denklemler kurgulanırken ilgili beyin bölgeleri arasındaki uyarıcı/baskılayıcı
bağlantılar dikkate alınmış ve denklemlerde +/- olarak yer almıştır. Bu vektörlerin
boyutlarını eylem seçeneklerinin sayısı belirler. Nikotin bağımlılığı modelinde
“sigara iç” ve “sigara içme” olmak üzere iki farklı eylem söz konusudur. Bu nedenle
yukarıda verilen tüm sistemin boyutu 20 olur. Parametreye bağlı olarak sistem
davranışının nasıl değiştiğini açıklamak daha basit olduğundan sistem ayrık zamanlı
olarak gerçeklenmiştir.
[75]’te anlatıldığı gibi, E-S modülü, girişine gelen bir uyaranın değerini kullanarak
çıkışta seçilecek eyleme karar verir. Ancak eğer bir uyaran için üretilen ödül işareti
tatmin edici değilse, rastgele bir çıkış üretilir. Rastgeleliği sağlayabilmek için motor
döngüye küçük değerli bir gürültü işareti de eklenmiştir. Premotor kısım,
değerlendirmeyi tamamlayarak olası eylemleri belirler ve motor kısım da hassas bir
ayrıştırıcı gibi davranarak bu olasılıklardan birine karar verir. I ile gösterilen dış
dünyadan gelen duyusal uyaran, premotor döngüyü etkiler ve bu döngünün çıkışı da
motor döngüyü yönlendirerek eylemin gerçekleşmesini sağlar. Nikotin bağımlılığı
modelinde duyusal uyaran nötr olarak ele alınıp küçük değerli elemanlara sahip 2-
36
boyutlu bir vektör kullanılmıştır. Kullanılan aktivasyon fonksiyonu aşağıda verilen
sigmoid tipindedir:
f = 0.5(1 + tanh(a ( x − 0.45)))
(3.8)
Premotor ve motor kısımlara ait denklemler birbirine çok benzediğinden sadece
premotor kısmın dinamik özellikleri incelenmiştir. Çıkış olarak motor devreyi süren
premotor E-S sisteminin çıkışı olan korteks bileşeni, ppm, alınmıştır. Modelde
pekiştirmeli öğrenme seçilen eylemlerin değiştirilmesini sağlayan Wrpm parametresi
değiştirilerek sağlanmaktadır. Wrpm parametresini değiştirmenin premotor sistemde
yol açtığı değişiklikler dallanma diyagramlarıyla gösterilmiştir. Bu parametre
pekiştirmeli öğrenme sayesinde değiştikçe dinamik sistemdeki denge noktaları ve
bunların kararlılıkları da değişmektedir.
Modelin çalışmasını açıklamak için aşağıdaki rastgele seçilmiş parametre değerlerini
ele alalım:
0.5061 0 
0.5410 0.1935
Wr = 
, Wc = 

, Wv = [0.0185 0.0176]
 0 0.5061
0.3310 0.4624
(3.9)
Yukarıdaki değerlerle birlikte sistemdeki parametreleri I=0.1, λ=0.5, a=3 ve Wdpm
de 0.5’lerden oluşan 2x2’lik bir matris olarak alındığında premotor sistem için
Çizelge 3.1 ile verilen sabit noktalar elde edilir. Özdeğerler birim çember içinde
kaldığından bu sabit noktalar kararlıdır.
Çizelge 3.1. Ağırlık matrisleri öğrenme ile ayarlanmadan önce sistemin sabit
noktaları. Sağdaki sütunlar, bu sabit noktalarda doğrusallaştırılmış sisteme ait
özdeğerleri gösterir.
ppm
Sabit
nokta
0.9982
Özdeğerler
0.06
-0.05
0 + i 0.02
0 – i 0.02
0
Bu noktada Wr parametresine göre çizdirilen dallanma diyagramı Şekil 3.2.a’da
verilmiştir. Diyagramda etiketlenmiş noktalar, Çizelge 3.2 ile verilen dallanma
noktalarıdır. Diyagramda 4 ile etiketlenmiş noktada Hopf dallanması gözlenmektedir
[80]. Hopf dallanmasının varlığı, sistem davranışının parametreye bağlı olarak
değişebildiği anlamına gelmektedir (Hopf dallanmasıyla ilgili bilgi için bkz. Ek A).
Bu nedenle sistemin dinamik özellikleri, kararlı hal çözümünden limit çevrim
37
davranışına dek değişiklik göstermektedir. Modelde sabit noktalar E-S devresi
tarafından karar verilen seçimleri gösterirken limit çevrim davranışı uygun bir
seçenek arayışına karşılık gelmektedir. Böylece eylem seçimi için verilen dinamik
sistem
ile
pekiştirmeli
öğrenmenin
keşfetme
ve
kullanma
kavramları
gerçeklenebilmektedir.
Çizelge 3.2. Öğrenme başlamadan önce ppm denkleminin Wr parametresine bağlı
dallanma noktaları. (EP: uç nokta, HB: Hopf dallanması, LP: eyer noktası (limit
point) dallanması)
Tip
EP
EP
LP
HB
EP
Etiket
1
2
3
4
5
Wr
0.5
2.32
-0.046
-0.045
-2.24
ppm1
0.9981
0.9983
0.816
0.735
0.133
Yukarıdaki parametrelere ait sabit noktalar Çizelge 3.3 ile verilmiştir. Yukarıdaki
parametreler kullanılarak Şekil 3.2.b’deki dallanma diyagramı elde edilmektedir.
Diyagramdaki etiketlenmiş noktalar, dallanma noktalarıdır ve Çizelge 3.4’te
verilmiştir. Diyagramda 3 ve 4 ile etiketlenmiş noktalarda Hopf dallanması vardır.
Çizelge 3.3. Ağırlık matrisleri öğrenme ile ayarlandıktan sonra elde edilen sabit
noktalar. Sağdaki sütunlar, bu sabit noktalarda doğrusallaştırılmış sisteme ait
özdeğerleri gösterir.
ppm
Sabit
nokta
0.9989
Özdeğerler
0.05
-0.05
0 + i 0.04
0 - i 0.035
0
Çizelge 3.4. Öğrenme bittikten sonra ppm denkleminin Wr parametresine bağlı
dallanma noktaları. (EP: uç nokta, HB: Hopf dallanması, LP: eyer noktası (limit
point) dallanması)
Tip
EP
EP
LP
HB
EP
Etiket
1
2
3
4
5
Wr
1
2.03
-0.116
-0.782
-2.247
ppm1
0.9989
0.9989
0.695
0.298
0.211
Öğrenme bittiğinde ağırlık matrislerinin değerleri aşağıdaki gibi olur:
1 0 
1.1855 0.8380
Wr = 
, Wc = 

, Wv = [0.5409 0.5409]
0 0.7018
0.2518 0.3833
38
(3.10)
Şekil 3.2 ppm denkleminin Wr parametresine bağlı dallanma diyagramları.
a) Öğrenme başlamadan önce. b) Öğrenme tamamlandıktan sonra.
Grafiklerde Wr parametresinin değeri değişirken p denkleminin çıkışının
nasıl değiştiği görülmektedir. p çıkışı, 0’a yaklaştığında eylemin
seçilmediği, pozitif değerli bir büyüklüğe ulaştığında da eylemin davranış
olarak gerçeklendiği anlamına gelmektedir ve bu nedenle birimsizdir.
Öğrenme
başlamadan
önceki
ve
bittikten
sonraki
dallanma
diyagramları
karşılaştırıldığında, aradaki en önemli fark kararsız parametrelerin bulunduğu
aralıktır. Öğrenme bittikten sonra çizilen dallanma diyagramında bu aralık daha
39
geniştir. Pekiştirmeli öğrenme kuramına göre sistem, daha önce seçmediği eylemleri
etkin olarak ödül getirecek eylemler keşfetmek amacıyla denemektedir. Bu deneme
evresi, keşfetme süreci olarak tanımlanır. Pekiştirmeli öğrenmedeki bu keşfetme
süreci bir bakıma en iyi olmayan eylemler arasından belirsizliği azaltmak için o an en
uygun olduğu düşünüleni
seçmeye karşı düşmektedir . Kararsız dala ve Hopf
dallanmasına karşılık gelen parametre değerleri pekiştirmeli öğrenmedeki keşfetme
evresini gösterir. Kararlı sabit noktalara denk gelen parametre değerleri ise seçilen
eylemleri göstermektedir. Büyük değerli kararlı sabit nokta, sigara içmenin seçildiği;
küçük değerli kararlı sabit nokta da sigara içmenin seçilmediği durumlara karşılık
gelmektedir. Dallanma diyagramından görülebildiği gibi E-S sistemi, iki farklı
davranış (iki kararlı sabit nokta) ile birlikte öğrenmenin gerçekleşmediği ve sistemin
kararsız olduğu (kararsız sabit nokta) durumu gerçekleyebilmektedir.
3.4.4 Modelde Pekiştirmeli Öğrenmenin Gerçeklenmesi
Önceki kısımda Wr’nin farklı değerlerinde dinamik sistemin nasıl davrandığı
incelenmişti. Bu bölümde de Wr değerlerinin pekiştirmeli öğrenme ile nasıl
değiştirildiği nikotin bağımlılığı örneği üzerinden tartışılacaktır. Modelin DA işareti
modülü, E-S modülünün bir sonraki adımdaki kararlarını etkilemek üzere
pekiştirmeli öğrenme kullanır. [4]’te anlatıldığı gibi sürecin dinamik davranışını
modellemek için DA etkisi aşağıdaki gibi ifade edilen bir fark denklemiyle
gösterilmiştir. Bu fark denklemi açık Euler yaklaşımı ile elde edilmiştir ve muDA
adım büyüklüğüdür.
u DA (k + 1) = u DA (k ) + mu DA (−u DA (k ) + s DA (ri, Ni ))
(3.11)
Yukarıdaki denklemde yer alan sDA aktivasyon fonksiyonu bir sigmoiddir ve aşağıda
verilmiştir:
s DA (ri, Ni ) = 0.5 ⋅ (1 + tanh( Ni ⋅ ri − θ DA ))
(3.12)
nAChR etkinliği üç dinamik değişkenin ortak çalışmasıyla gösterilir (bölüm 3.4.2).
Ni değişkeni, nAChR almaçlarının nikotin varlığıyla doyuma (up-regulation)
gitmesini gösterir ve nikotin alımı durduğundaki n ile s işaretlerinin çarpımı olarak
alınır. Ortamda nikotin varken nAChR etkinliği artar. Ancak beyindeki homeostatik
sistem, yani karşıt süreç, bu etkinliği normal düzeye indirmek için harekete geçer.
40
θDA değişkeni, minimum tonik DA düzeyini gösteren eşik değerdir ve 0.01 olarak
alınmıştır. ri, nikotin alımıyla tetiklenen ödül işaretidir. muDA, DA alt sistemine ait
öğrenme parametresidir.
Wdpm/m değişkeni, simetrik bir matristir ve subtalamik nukleusun (STN) etkisini
modellemektedir. Wrpm köşegen matrisi, ventral striatumun (nukleus accumbensNAc) dorsal striatum (kaudat ve putamen) üzerindeki etkisini göstermektedir.
Ventral yolak değer atamada etkinken dorsal yolak, amaca yönelik davranışlardan
sorumludur. Dolayısıyla Wrpm parametresi, eylem seçimlerinin değer atamayla
değişimini göstermektedir. Wrpm parametresi pekiştirmeli öğrenme kuralıyla
değiştirilir ve bu sayede seçilen eylemler de değişir. Dış dünyadan gelen uyaranları
Wcpm matrisi temsil etmektedir. Geçmişteki eylemler, güncel ödül değerini ve
dolayısıyla o anda seçilecek eylemi etkilemektedir. Wcpm ve Wrpm parametreleri
aşağıdaki gibi uyarlanmaktadır:
Wc pm (k + 1) = Wc pm (k ) + η c ⋅ δ (k ) ⋅ p m (k ) ⋅ I (k )'
(3.13)
Wr pm (k + 1) = Wr pm (k ) K
+ η r ((U DA + Ni )(u DA (k ) − θwDA )' ( p m (k ) − θ ))'⋅ f ( p m (k )) ⋅ rm (k )
(3.14)
Wrpm parametresi, ri değeri 0.5’i geçtikten sonra hesaplanmaya başlanmaktadır çünkü
fiziksel olarak başlangıçta rastgele içilen sigaraya karşı kuvvetli bir hoşlanma
duygusu hissedilmez. Ancak birey, rastgeleden daha sık olacak biçimde sigara
içmeye devam ettiğinde, sigara içmenin ödül değeri büyür ve hoşlanılan davranış
haline gelerek sistemin çıkışı üzerinde değiştirici etkiye sahip olmaya başlar. Bu
nedenle
geliştirilen
modelde ödül
değeri
bir
eşiği
geçene dek
dikkate
alınmamaktadır. Böylece ödülün sadece varlığının değil, daha etkili ve anlamlı
olduğu zaman aralığındaki etkisinin sistemi değiştirmesi sağlanmıştır.
U DA , [4]’te verildiği gibi, 10 adımlık bir pencere boyunca sürekli alınan DA etkisini
gösteren işaretin ortalamasıdır. θDA ve θ büyüklükleri, sırasıyla UDA ve pm işaretleri
için kullanılan eşik değerleridir ve ilgili işaretin 0.1 ile çarpılmasıyla elde edilirler.
Öğrenme hızı η, 0.1 olarak alınmıştır. Beklentideki hata δ ile gösterilir ve aşağıdaki
gibi hesaplanır:
41
δ (k ) = ri + µV (k + 1) − V (k )
(3.15)
Kortekse giren dış uyaran olan I(k)’ya bağlı olarak seçilen eylemin değerlendirilmesi
ve buna karşılık gelen ödül değeri kullanılarak değer fonksiyonu aşağıdaki gibi
hesaplanır:
V (k ) = (Wv + base) I (k )
(3.16)
Yukarıdaki denklemde Wv bir satır matristir ve base değeri de gürültü katmak için
kullanılmaktadır. Değer işaretine dayanarak bir beklenti işareti üretilir ve ri değeri ile
birlikte bu beklenti işareti, hata işareti δ’yı verir. Hata işareti, nörotransmiterlerin
modülatör rolünü temsil etmektedir ve Wrpm vasıtasıyla dorsal striatumdaki akışı
değiştirmektedir. Hata işareti, aynı zamanda duyusal I(k) girişinin temsilini Wcpm
vasıtasıyla kuvvetlendirmekte ve uyaranın değerini Wv vasıtasıyla aşağıdaki gibi
güncellemektedir:
Wv (k + 1) = Wv (k ) + η v δ (k ) I (k )'
3.5
(3.17)
Benzetim Sonuçları
Önerilen modelin başarımını ölçmek için [4]’te anlatılan nikotin alımına modelin
verdiği karşılık incelenmiştir. Başlangıçta ödül değeri (ri), çok düşüktür (0.01
civarında). Sigara içme eylemi her seçildiğinde ri değeri ri = 1 olana dek 2 ile
çarpılır. Art arda 20 kez sigara içmeye kararı verdikten sonra sistemin bir bağımlıyı
modellediği varsayılmaktadır. 20 sayısı istatistiksel olarak anlamlı bir sınır koymak
amacıyla seçilmiştir. Bir pakette 20 tane sigara bulunur ve kişi belirli bir zaman
aralığında 20 sigara içiyorsa, yani bir paketi bitiriyorsa bağımlıdır diye
düşünülmüştür. Şekil 3.4’te Wrpm grafiğinin yönlenmesinden görüldüğü gibi, bir
davranış öğrenildikten sonra artık gelecekte bu davranış seçimi değiştirilmemektedir.
Bu nedenle bağımlılık oluştuğuna karar vermek için ardışıl sigara içme seçimlerinin
sayısını 20 ile sınırlamak yeterlidir.
42
Şekil 3.3
Sistemin her durumuna ait beklentideki hata grafikleri. (a), (b) ve (c)’de δ hata işareti (mavi çizgiler) ve sigara içme eylemleri (kırmızı
noktalar) çizilmiştir. a) Başlangıçta sigara içme veya içmeme rastgele seçilir fakat sistem, zamanla sigara içmemeyi seçmeyi öğrenir. Sigara
içmeme davranışı oturduğunda δ = 0 olur ve sigara içmeme sürekli seçilir. b) Herhangi bir eylemi seçmenin öğrenilmediği durum. δ işareti,
simulasyon boyunca [-1, 1] aralığında değerler alır ve sistem, sigara içmeyi veya içmemeyi rastgele seçer. c) Başlangıçta sistem, sigara içmeyi
veya içmemeyi rastgele seçer fakat sonunda her seferinde sigara içmeyi seçmeyi öğrenir. Arada bir sigara içmeme seçilse bile sistem, hemen
öğrenilmiş davranışa geri döner. Bağımlılık geliştiğinde δ = 0 olur ve bundan sonra hep sigara içme seçilir. d) E-S sisteminin dallanma diyagramı.
(yeşil, bağımlılık gelişmeyen duruma ait kararlı dal; mavi, keşfetme sürecine ait kararsız dal; kırmızı, bağımlılık durumuna ait kararlı dal)
43
Şekil 3.4
Sistemin her durumuna ait W parametrelerinin değişimi. a) Bağımlılığın gelişmediği durum. Öğrenme sona erdiğinde Wr değerleri, sigara
içmeme eyleminin kodu olan [0,1] noktasına doğru yönelir. b) Simulasyon sonunda Wr değerleri [1,1] noktasına doğru yönelir. Herhangi bir
davranış öğrenilmez. c) Öğrenme tamamlanıp bağımlılık geliştiğinde Wr değerleri, sigara içme eyleminin kodu olan [1,0] noktasına doğru yönelir.
d) E-S sisteminin dallanma diyagramı (Şekil 3.2 ile verilmişti). (yeşil, bağımlılık gelişmeyen duruma ait kararlı dal; mavi, keşfetme sürecine ait
kararsız dal; kırmızı, bağımlılık durumuna ait kararlı dal)
44
E-S modülü tarafından seçilen eyleme pm denkleminin çözümü hesaplanarak karar
verilir. Değer ve hata fonksiyonları hesaplanır ve elde edilen sonuçlar kullanılarak
Wcpm, Wrpm ve Wv matrisleri güncellenir. 1000 adım olarak belirlenmiş bir zaman
aralığında art arda 20 kez sigara içme eylemi seçilirse benzetim sonlanır. Sistem,
davranışı modellemeye çalıştığından zaman aralıkları ve çıkışlar ile parametre
büyüklükleri aksi belirtilmedikçe birimsizdir. Verilen zaman aralığında ardışıl sigara
içme eylemlerinin sayısı 20’ye ulaşmazsa sistemin bağımlı olmayan fakat arada bir
sigara içen bir bireyi modellediği varsayılır. Şekil 3.3 (a), (b) ve (c)’deki grafiklerin
ortaya koyduğu gibi öğrenilmiş bir davranış daha sonra değiştirilmemektedir ve bu
nedenle simulasyon süresini 1000 adımla sınırlamak, sonuçları görebilmek açısından
istatistiksel olarak anlamlı bir yaklaşımdır.
Simulasyonda kullanılan parametre değerleri şöyledir: λ = 0.5, β = 0.03, base = 0.2,
a = 3, muDA = 0.1, ηc = 0.1, ηv = 0.1, ηr = 0.1. Wc ve Wv matrislerinin ilk değerleri
rastgele küçük pozitif gerçel sayılar olarak alınmıştır. Wrpm matrisinin ilk değerleri de
0.5 civarında küçük rasgele sayılar olarak alınır. Güncelleme sırasında Wcpm ve Wrpm
matrislerinin değerleri normalize edilir. Wdpm/m ve Wrm matrisleri, 0.5’lerden oluşur
ve sabittirler, güncellenmezler. Gürültü işareti çok küçük değerli bir rastgele sayı
olarak üretilir. Sistemin çıkışındaki eylemleri sınıflayabilmek için her davranış tipi
kodlanmıştır ve bu kodlar sigara içme eylemi için [1 0]′, sigara içmeme eylemi için
[0 1]′ ve kararsız davranışlar için de [1 1]′ olarak alınmıştır.
Model art arda 50 kez çalıştırıldığında, bu simulasyonların 22’sinde ortalama
363/1000 adımda ve 288.5952’lik bir standart sapmayla bağımlı olma davranışını
modellediği görülmüştür. Kalan 28 denemede bağımlı olmama ya da kararsız kalma
davranışları gelişmiştir. Bağımlılığın oluştuğu bir denemeye ait sonuç matrisler
aşağıdaki gibidir:
0 
1
0.8569 0.2965 
Wr pm = 
, Wc pm = 

, Wv pm = [0.8157 0]
0 0.6179
 0.16 − 0.4331
(3.18)
Sistemin modellediği üç duruma ait beklentideki hatanın grafiği Şekil 3.3’te
verilmiştir. Şekil 3.3 (a), (b) ve (c)’de beklentideki hata işareti δ (mavi çizgiler) ile
sigara içme eylemleri (kırmızı noktalar) çizilmiştir ve her ikisi de birimsiz
büyüklüklerdir. Her kırmızı nokta bir eylem seçimini göstermektedir: seçilen eylem
sigara içmeme olduğunda 0, sigara içme olduğunda ise kaçıncı ardışıl sigara içme
45
seçimi olduğunu gösteren bir pozitif tamsayıdır. Grafiğe uygun yerleştirebilmek
amacıyla y-ekseni 10 ile normalize edilmiştir. (Örneğin y = 2 olduğunda aslında
20’dir. Sigara içmeme eylemi seçildiğinde y = 0 olur. Eğer seçilen eylem üst üste
beşinci kez sigara içme oluyorsa y = 0.5 olur.) Sigara içme eylemi art arda 20 kez
seçildiğinde bağımlılığın geliştiği kabul edilmiştir. Hata işareti δ, üst üste aynı eylem
seçildiğinde sabit kalır, diğer durumlarda değişir. (a)’da başlangıçta sistem rastgele
olarak sigara içme veya içmeme eylemini seçmektedir. Fakat zamanla sistem, sigara
içmeme eylemini üst üste seçmeyi öğrenir. Sigara içmeme davranışı yerleştiğinde
hata işareti δ = 0 olur ve artık seçilen eylem, hep sigara içmemedir. Şekil 3.3.b’de δ
hata işareti [-1,1] aralığında değerler alır ve sistem benzetim boyunca rastgele olarak
sigara içmeyi veya içmemeyi seçer. Sistem, herhangi bir davranışı öğrenemez yani
sigara içme konusunda kararsız kalmıştır. Şekil 3.3.c’de ise sistem başlangıçta
rastgele olarak sigara içme ve içmeme eylemlerinden birini seçmektedir. Zamanla
sistem, her seferinde sigara içmeyi seçmeyi öğrenir. Arada bir sigara içmeme eylemi
seçilmesine rağmen sistem, hemen bir sonraki adımda bu kararını değiştirir ve tekrar
öğrenilmiş davranışı seçmeye devam eder. Bağımlılık geliştiğinde δ = 0 olur ve
daima sigara içme eylemi seçilir. Şekil 3.3.d’deki dallanma diyagramında sistemin
sergilediği farklı davranışlara ait dallar farklı renklerde gösterilmiştir. Ortadaki mavi
dal kararsız olup (b)’de gösterilmiş olan ve pekiştirmeli öğrenmenin keşfetme
sürecine karşılık gelen davranışı gösterir. Diğer iki kararlı dal ise bağımlılığın
geliştiği ve gelişmediği davranışlara karşılık gelir. (dallanma diyagramının orijinali
Şekil 3.2.b ile verilmiştir.)
Yukarıda anlatılan simulasyona ait Wcpm, Wrpm, Wvpm parametrelerinin değişimini
gösteren grafikler Şekil 3.4 ile verilmiştir. Wc parametresi, dış dünyadan gelen
etkilerin o anki eylemlerle ilişkisini göstermektedir. Şekil 3.4.a’da öğrenme
tamamlandıktan sonra Wr değerleri modeldeki sigara içmeme eyleminin kodu olan
(0,1) noktasına yönelmiştir. (b)’de ise benzetim sona erdiğinde Wr değerleri (1,1)
noktasına yönelmiştir ve belirli bir davranış öğrenilmemiştir. (c)’de öğrenme bitip
bağımlılık davranışı geliştiğinde, Wr değerleri sigara içme davranışının kodu olan
(1,0) noktasına yönelmiştir. Şekil 3.4.d, sistemin sergilediği farklı davranışlara denk
gelen dallanma diyagramını göstermektedir. Grafikler incelendiğinde, arada bir
öğrenilen davranışın tersi olan bir seçim yapılsa bile Wr parametresine ait grafiğin
yönelimini değiştirmediği görülmektedir (Şekil 3.3 ile karşılaştırılırsa bu anlarda δ
46
işareti 0’dan farklı olmaktadır). Örneğin Şekil 3.3.c’de yaklaşık 300. adım civarında
sistem bir süre için üst üste sigara içmeyi seçer fakat sonra bir kez sigara içmemeyi
seçer. Şekil 3.4.c’de bu adımlara karşılık gelen anlarda ise Wr grafiği çoktan (1,0)
noktasına yönelmiştir ve farklı eylem seçilse bile doğrultusunu değiştirmemektedir.
Yaklaşık 400. adımdan itibaren sistem, daima sigara içmeyi seçer. Grafikten
görüldüğü gibi sistem, davranış modellemeyi doğru olarak yapabilmektedir.
3.6
Sonuç ve Tartışma
Öne sürdüğümüz kurama göre sigara bağımlılığı pekiştirmeli öğrenme sayesinde
gelişen düşüncesizce gelişen (impulsif) davranışlardan dürtüsel (kompulsif)
davranışlara
doğru
geçiştir.
Ödül
değerlendirme,
beyinde
limbik
sistem
elemanlarının görev aldığı önemli süreçlerden biridir ve pekiştirmeli öğrenme
ödevleri tarafından kolayca uyarılabilir. Bu nedenle önerilen pekiştirmeli öğrenmeye
dayalı eylem seçimi modeli sayesinde beyindeki alt sistemlerde süregelen davranış
değişimi süreçlerini anlayıp takip etmek mümkündür.
DA bu modelde nöromodülatör olarak kullanılmıştır. VTA tarafından salgılanan DA,
bazal gangliada eylem seçimi ödevini harekete geçirir ve öğrenilen davranışları
kodlamada rol alır. Korteks katmanları (PFC, OFC, mOFC) ve amigdala ile
hipokampus arasındaki DA iletimi, öğrenmede etkilidir. NAc’e salınan DA
davranışları değerlendirmede ve ödülleri kodlamada kullanılır. Bazal ganglia
yapılarına salınan DA ise karar verme süreçlerinde kullanılır. DA’in beyinde pek çok
farklı alanda rol aldığı bilinmekle birlikte modellemeyi basitleştirmek açısından
önerilen modelde bu alanlar tek bir tür DA iletimine indirgenmiştir.
Beyindeki süreçleri modellemek sistem düzeyi, tek bir nöral çekirdeğin görevlerini
modellemek veya moleküler düzeyde modellemek gibi farklı düzeylerde ele
alınabilir. Önerilen model, bu farklı yaklaşımları birleştirmektedir. Modelde ortalama
ateşlenme oranı (mean firing rate) yaklaşımı bir sigmoid fonksiyon ile sağlanmıştır.
Bu sayede çok sayıdaki nöronun ürettiği vuruları tek tek ele almak yerine devredeki
nöron gruplarının davranışları ortalama vuru oranına göre incelenebilmektedir.
nAChR almaçlarının VTA’dan DA salınması üzerindeki ayarlayıcı etkisini
modellemek, ödül değerlendirmeyi oldukça gerçekçi olarak ele almayı sağlayan bir
yaklaşımdır. Modeldeki eylem seçimi kısmı sistem düzeyinde modelleme
yaklaşımına dayanır ve bu kısım için yazılan denklemlerin her biri, bir bazal ganglia
47
çekirdeğini modeller. Model farklı kısımlardan oluştuğundan, her kısmı bir alt model
olarak ele alıp, bu alt modelleri giriş çıkış bağıntıları ile birleştirmek kullanılan farklı
modelleme düzeylerini bağdaştırma açısından uygundur.
Önerilen model, nikotin bağımlılığının bir tür öğrenilmiş davranış olduğunu
göstermektedir ve bağımlı olmaya götüren süreç amaca yönelik davranış
mekanizmasının hatalı çalışmasıyla açıklanabilir. Bu nedenle öğrenme için daha üst
kortikal yapılarla ve ödül değerlendirme için alt düzey limbik elemanlarla iç içe
geçmiş bir kortiko-striato-talamik eylem seçimi devresi ele alınmıştır. Model
yardımıyla gösterilmiştir ki geçmiş eylemlerin birikimli etkileri bellekte saklanmakta
ve o anki eylemlerin olası sonuçlarını değerlendirmek için kullanılmaktadır.
Her insanın almaçları aynı olmadığı gibi her insanın nAChR’larının nikotine tepkisi
(nikotine bağlanmaları) da aynı değildir. Modele katılan rastgelelik sayesinde her
davranış tipi için belirli bir örüntüyü izleyen ama birbirinin aynı olmayan çıkışlar
elde edilmektedir. Böylece bireysel farklılıklar da gözlenebilmektedir.
Bu çalışma, beyinde bağımlılığın gelişmesi sürecine ilişkin hesaplamalı modelleri
birleştiren bir ilerleme sunmaktadır. Sunulan modeli geliştirmek için DA salımının
kaynağı olan beyin bölgeleri ve DA’in beyindeki farklı görevleri de ele alınabilir. Bu
modeldeki eylem seçimi devresi PFC’e gelen girişle tetiklenmektedir. Halbuki
striatumun bazal gangliadaki yönlendirici çekirdek olduğu bilinmektedir. Bu
nedenle, modeli daha da geliştirmek için eylem seçimi alt sistemine ait dinamikler
striatumdan gelecek yönlendirici girişleri de içerecek biçimde değiştirilebilir. Bu
modeldeki içsel ödül değeri geometrik olarak artmaktadır. Mezolimbik sistemde
ödülün değerlendirilmesi eylemlerin sonuçları tarafından ayarlanan farklı bir dinamik
sistem olarak ele alınıp gelecekteki çalışmalara konu edilebilir. Bağımlılığın altında
yatan ana sürecin pekiştirmeli öğrenme olduğu vurgulanmakla birlikte, modeli
geliştirmek açısından ileride GABA ve glutamat gibi nörotransmiterler ve diğer
psikolojik süreçler de işe katılabilir. Ayrıca modeldeki nöronların çalışmasını daha
gerçekçi olarak, örneğin iletkenlik tabanlı modeller kullanılarak ele alınabilir.
3.6.1 Önerilen Modelin Farkı ve Getirdiği Đlerlemeler
Bu çalışmada nikotin alımının etkileri tarafından sürülen bir kortiko-striato-talamik
eylem seçimi devresi nikotin bağımlılığı modeli olarak önerilmiştir. Model, davranış
seçimlerinin dorsal yolaktaki ifadesine karşılık gelen bir eylem seçimi (E-S) devresi
48
ile ventral yolaktaki geçmiş eylem seçimlerini değerlendirerek anlık eylem
seçimlerini yönlendiren bir dinamik döngü olmak üzere iki kısımdan meydana
gelmektedir. E-S devresi, nikotin alımından etkilenen VTA’dan salgılanan DA işareti
tarafından değiştirilen yarışmalı öğrenme kuralını kullanır. E-S devresinin yapısı,
PFC-bazal ganglia-talamus arasındaki premotor ve motor döngülere karşılık gelen bir
doğrusal olmayan dinamik sistemdir. E-S devresi, bazal ganglia, talamus ve PFC
sistemini içermesi ve bunu ayrıntılı açıklayabilmesi bakımından [4]’ten farklıdır.
Eylem seçimlerinin yol açtığı değişiklikler premotor döngüdeki bir parametreyi
ayarlayarak gerçeklenmiştir. Bu Wr parametresi, pekiştirmeli öğrenme vasıtasıyla
DA işaretinin sağladığı yönlendirici etkiye karşılık gelmektedir. Wr parametresini
ayarlayarak sistem, bağımlı olma, bağımlı olmama ve herhangi bir eylemi sürekli
seçemeyen kararsızlık davranışlarından birini öğrenebilmektedir. Böylece E-S
modülü, [4]’te anlatılandan farklı olarak pekiştirmeli öğrenmeyi kullanabilmektedir.
[4]’te pekiştirmeli öğrenmeden söz edilmekle birlikte verilen model, nikotin alımını
kendi seçimiyle yapmaz. Bu bölümde anlatılan model, doğrusal olmayan ayrık
zaman sistemine ait dinamik denklemler içermekte ve bu sayede bilişsel süreçlere
ilişkin dinamikleri gösterebilmektedir. Ayrıca pekiştirmeli öğrenmenin etkisi ile
parametrelerin ayarlanması sayesinde sağlanan dinamik davranış değişikliklerini
kolayca takip etmek mümkündür.
Bu çalışmada amaç, bağımlılığın bir tür amaca yönelik davranış olarak geliştiğini
savını desteklemek ve kortiko-striato-talamik eylem seçimi döngülerinin bağımlılık
gelişiminde önemli bir rolü olduğunu ortaya koymaktır. Geçmiş eylemlerin birikimli
sonuçları o anki eylem seçimini tetiklediğinden, bağımlılık gelişimi sürecini ve sinir
sistemi yapılarında pekiştirmeli öğrenmenin rolünü gerçekçi olarak betimleyebilmek
için modelde doğrusal olmayan dinamik sistem yaklaşımı kullanılmıştır.
Ayrıca [4]’te verilen n-s-c sistemi geliştirilerek nAChR almaçlarının kandaki nikotin
düzeyine verdikleri tepkinin bağımlılığın gelişimiyle birlikte nasıl değiştiği
gösterilmiştir. 3.5 denklemlerindeki aktivasyon fonksiyonlarının parametrik olarak
değiştirilmesi sayesinde bağımlılığın karşıt süreçler üzerindeki bozucu etkisi
gözlenebilmektedir. Şekil 2.1’de verilen grafiği elde edebilmek için γ ve φ
parametreleri [0.8, 1] aralığında değiştirilmektedir.
49
50
4.
EYLEM SEÇĐMĐNĐN NÖRON SEVĐYESĐNDE MODELLENMESĐ
Bir önceki bölümde anlatılan eylem seçimi devresi, basit bir aktivasyon fonksiyonu
ile işlemden geçirilen premotor ve motor devrelerden oluşuyordu [5]-[6]. Bu sistem,
her ne kadar Hopf dallanması yaparak farklı davranışları seçmeyi sağlasa da
kullanılan denklemler biyofiziksel olayları açıklamakta yetersiz kalmaktadır. Bir
nöron, süregen (tonik) ve anlık (fazik) biçimlerde ve tek bir vuru, vuru katarı,
patlama tiplerinde ateşlenebilir. Ayrıca bir veya bir grup nöronun ateşlenebilmesi
için aktivasyon potansiyelinin bir eşik değeri aşması da gerekir [81]. Tüm bu
özellikler sayesinde nöronların farklı biyolojik süreçlerde farklı biçimde rol almaları
mümkün olmaktadır. Oysa önceki bölümde kullanılan sistemle bu özellikleri
gerçekleyebilmek mümkün değildir. Ayrıca birbirini süren bazal ganglia döngüleri
düşünüldüğünde, bir nöronun eşiği aşıp ateşlenmesi sayesinde bağlantı yaptığı postsinaptik diğer nöronların da ateşlenmelerini sağlaması ve bu arada oluşan zaman
kaymaları da önceki modelle doğru biçimde gösterilememektedir.
Bu nedenle, beyindeki eylem seçimi devreleri incelenip farklı tipte ateşlenmeleri
mümkün kılan ve bir nöronun biyofiziksel davranışını daha doğru yansıtan HodgkinHuxley tipi iletkenlik tabanlı farklı nöron modelleri ile bu devreler gerçeklenmeye
çalışıldı. Bu sayede farklı nöron modellerinin avantaj ve dezavantajları hakkında
bilgi edinildi. Ayrıca beyin bölgeleri arasındaki bağlantılarda etkin olan
nörotransmiterlerin nöronların ateşlenmesi üzerindeki rolü de modelde ele alındı.
Tezin bu bölümünde önce bu farklı modeller kıyaslanarak birbirlerine üstünlükleri
hakkında bilgi verilecektir. Daha sonra ise kalsiyum (Ca) akımlarının iyon
kanallarına ve aktivasyon potansiyeli üretilmesine etkisini gösteren bu tür modeller
kullanılarak dorsal yolağı etkileyen ventral döngü yeniden ele alınıp tasarlanan
eylem seçimi devresi ve elde edilen sonuçlar anlatılacaktır.
4.1
Daha Gerçekçi Bir Modellemeye Doğru: Hodgkin-Huxley Denklemleri
Daha gerçekçi ve hem doğrudan hem dolaylı yolun etkilerini gösterebilen bir eylem
seçimi devresi geliştirilmeye çalışılmıştır. Gerçekçi bir nöron modeliyle çalışabilmek
51
için Hodgkin-Huxley denklemleri kullanılmıştır. Hodgkin-Huxley modeli, hücre
zarının temel biyofiziksel özelliklerini temsil eden bileşenlerden meydana gelmiştir.
Hücre zarındaki lipid tabakası kapasitans, gerilim ile açılıp kapanan iyon kanalları da
iletkenlik olarak modelde yer alırlar. Đyonların zarın iki yanına doğru akışını
sağlayan pompa mekanizmaları da akımlar olarak betimlenmiştir. Hodgkin-Huxley
modeli, nöronun aksiyon potansiyeli üretebilmesini ve bu gerilimin nöronun aksonu
üzerinde ve nöronlar arasında sinapslar vasıtasıyla yayılabilmesini ayrıntılı biçimde
açıklayabilen ilk hesaplamalı modeldir. Bu model kullanılarak önceki bölümde
anlatılan eylem seçimi devresi gerçeklendiğinde gelen uyarıya göre nöronun vuru
(spike) üretmesi veya susması gözlemlenebilmiştir. Bu çalışmaya ilişkin sonuçlar
bölüm 4.1.1’de verilecek ve bu modeli geliştirmek için gereken iyon kanallarının
modele nasıl eklendiği bölüm 4.1.2’de anlatılacaktır. Bu alt bölümde son olarak
bölüm 4.1.2’de anlatılanlar ışığında elde edilen model tartışılacaktır.
4.1.1 Hodgkin-Huxley Denklemleri ile Eylem Seçimi Devresinin Modellenmesi
Tezin üçüncü bölümünde anlatılan eylem seçimi devresini oluşturan ve HodgkinHuxley nöron modelini [81] kullanan denklemler aşağıda verilmiştir. Denklemlerde
C, duyusal girişlerin alındığı duyusal korteksi, StrD1 ve StrD2, striatumdaki D1 ve
D2 tipinde dopamin (DA) almacına sahip nöronları, GPe, globus pallidus eksternayı,
STN, subtalamik nukleusu, GPi, globus pallidus interna/substantia nigra pars
reticularis bloğunu, Thl, talamusu göstermektedir. Denklemlerdeki Iapp, IL, INa, ve IK
akımları, sırasıyla dış uyaranı, kaçak akımı, sodyum (Na+) ve potasyum (K+) iyon
kanallarına ait akımları gösterir. Bir nöronun diğeri ile bağlantısı, bu nörondan
diğerine doğru olan akım ile ifade edilip bu akım post sinaptik nörona ait aksiyon
potansiyelinden presinaptik nöronun aksiyon potansiyeli çıkarılarak bulunur. 4.1
eşitliklerindeki Str denklemlerindeki WD katsayıları, DA salımının D1 ve D2
nöronları üzerindeki zıt yönlü etkisini göstermek amacıyla konulmuştur. DA
varlığında D1 nöronları daha yoğun vuru üretirken D2 nöronlarının etkinliği azalır,
yani DA salımı D1 nöronlarını uyarırken D2 nöronlarını baskılar. DA salındığında
D1 nöronlarının tetiklediği doğrusal yol etkindir. DA salınmadığındaysa D2
nöronlarının tetiklediği dolaylı yol etkin olur. Bu devreye ilişkin sonuçlar DA salınan
durum için, yani doğrusal yolun etkin olduğu durum için Şekil 4.1’de görülmektedir.
52
Şekil 4.1 : Hodgkin-Huxley modeliyle gerçeklenen eylem seçici devrenin DA
salgılanan durumdaki çıkışları. a) Korteks çıkışı b) Striatum D1 nöronu
çıkışı c) Striatum D2 nöronu çıkışı d) GPe çıkışı e) STN çıkışı f) GPi
çıkışı g) Talamus çıkışı.
53
dVC
= (− I L − I K − I Na + I app + I THL _ C )
dt
(4.1a)
C
dV StrD1
= (WD1 ⋅ (− I L − I K − I Na ) + I C _ STRD1 )
dt
(4.1b)
C
dV StrD 2
= (WD 2 ⋅ (− I L − I K − I Na ) + I C _ STRD 2 )
dt
(4.1c)
dVGPe
= (− I L − I K − I Na − I STRD 2 _ GPE )
dt
(4.1d)
dV STN
= (− I L − I K − I Na − I GPE _ STN )
dt
(4.1e)
dVGPi
= (− I L − I K − I Na − I STRD1 _ GPI + I STN _ GPI )
dt
(4.1f)
dVTHL
= (− I L − I K − I Na − I GPI _ THL )
dt
(4.1g)
C
C
C
C
C
Şekil 4.1’deki devre I = 10 nA düzeyinde sabit bir akım ile uyarılmaktadır. Çıkış
gerilimlerinin
frekansları
Na+
ve
K+
iyon
kapılarına
ait
denklemlerle
ayarlanmaktadır. Şekil incelendiğinde GPe ve talamusun olması gereken etkinlik
düzeyine yani korteks ve Str gibi bir uyarılmışlık düzeyine ulaşamadığı
görülmektedir. Dolayısıyla GPe ve talamus, aksiyon potansiyeli üretememektedir.
Bunun temel sebebi, tüm yapılara ait denklemlerin Hodgkin-Huxley modeline göre
yazılmış olmasıdır. Hodgkin-Huxley modelinde nörona dışarıdan bir akım
uygulanmadığı sürece denklemler kendi başlarına vuru üretememektedirler. Sürekli
dış uyarana maruz kalan korteks vuru katarı üretirken kendisine baskılayıcı giriş
gelmediği için kendi etkinliğini en üst düzeyde göstermesi gereken GPe ve talamus,
herhangi bir uyarı almadıkları için suskun kalmaktadır. StrD1 ve StrD2 çıkışlarındaki
farklılık DA salımına göre değeri değişen WD katsayısı sayesinde olmaktadır (D1
için uyarıcı ve D2 için baskılayıcı yönde etki ettirilmiştir). Hodgkin-Huxley
modelinde, dışarıdan gelen akımın dışında vuru üretilmesini sağlayan elemanlar iyon
kanallarına ait akımlardır (IL, INa, ve IK akımları).
54
Sonuç olarak kullanılan model, tek bir nöron söz konusu olduğunda son derece
gerçekçi sonuçlar vermekte ama birbirine bağlı nöron grupları için yetersiz
kalmaktadır. Elde edilen bulgulara göre, nöron etkinliğini azaltmak için uygulanan
akım büyüklüğüyle oynamanın yanında iyon kanallarını susturma ve iletkenlikleri
(iyon geçirgenliğini) ayarlama yöntemleri de kullanılmalıdır. Biyofiziksel olaylar
dikkate alındığında, bir pre-sinaptik nöronun aksonunda oluşan potansiyel sayesinde
hücre zarındaki kesecikler açılarak nörotransmiterler ve iyonlar sinapsa salınmakta
ve post-sinaptik nöronunun hücre zarındaki iyon kanallarını etkileyerek (bazı iyon
tipleri için kanalın açılmasını, bazıları için kapanmasını sağlayarak) aksiyon
potansiyeli oluşturulmasını sağlamaktadırlar. Bu durumda uyaran akımını iyon
kanallarını etkileyecek biçimde modele entegre etmek daha uygun sonuçlar
alınmasını sağlayacaktır.
4.1.2 Hücre Zarı Đyon Kanallarının Nöron Etkinliğindeki Rolü
Aksiyon potansiyeli oluşurken hücre zarında gerçekleşen çok hızlı gerilim
değişiklikleri, iyon kanalları vasıtasıyla iyonların hücre zarının iç ve dış tarafı
arasında geçişleri sayesinde oluşur. Đyon kanalları, iyon tiplerini tanıyarak
ilgilendikleri iyonun geçişini sağlarken diğerlerini engellerler ve elektriksel, mekanik
veya kimyasal işaretlerle uyarılarak çalışırlar. Bu seçici geçirgenlik özelliği
sayesinde bazı iyonlar hücre zarının dış tarafında sayıca fazlayken bazıları da iç
tarafta fazladır (oysa difüzyon ilkelerine göre iki taraftaki iyon konsantrasyonu
eşitlene kadar iyonların geçişe devam etmesi gerekirdi). Dolayısıyla hücre zarının iç
ve dış yüzeyleri arasında iyonların yüküne bağlı olarak bir potansiyel farkı oluşur.
Burada söz konusu olan iyonlar, Na+, K+, Cl-, Ca+2 iyonlarıdır. Ca+2 iyonları, aksiyon
potansiyelinin yanı sıra çeşitli enzimler ve proteinlerin çalışması ile nörotransmiter
salımı gibi hücredeki pek çok metabolik olayda etkin görev alırlar [82].
Her bir iyon tipi için hücre zarının iç ve dış tarafındaki iyon miktarına bağlı olarak
oluşan potansiyel farkı Nernst denklemiyle belirlenir ve denge durumundaki iyon
potansiyeli olarak adlandırılır [81]. Hücre zarı potansiyeli, denge potansiyeline eşit
olduğunda o iyon tipi için net potansiyel sıfır olur. Aksi durumda ise potansiyel
farkına ve hücre zarının o iyon tipi için geçirgenliğine (yani iletkenliğine) bağlı
olarak bir akım oluşur.
55
Nöronların aksiyon potansiyeli üretmesinde iyon akımları kadar aralarındaki
bağlantının niteliği de önemlidir. Yavaş akımların uyarılma veya baskılanması
sonucunda baskılama sonrası geri tepme vuruları (rebound spikes) oluşabileceği gibi
birbirini baskılayan nöronlardan oluşan sistemlerde ritmik etkinlik gözlenebilir.
Yavaş ve hızlı olma durumu, iyonların zar geçiş hızını betimlemektedir. Her nöronda
hızlı Na+ ve K+ ile kaçak akımları bulunmaktadır [83].
Her ne kadar Hodgkin-Huxley denklemleri Na+ ve K+ iyon akımlarını içerse de salt
bu
model
kullanılarak
bir
sistemi
doğru
biçimde modellemek
+2
olmamaktadır. Zira hem hücrede önemli görevleri olan Ca
mümkün
iyonlarının etkisini hem
de hücreler arası bağlantıların uyarıcı/baskılayıcı olmalarının etkisini göz önüne
almak gerekir. Aynı zamanda devrede yer alan beyin alt yapılarının farklı özellikleri
de dikkate alınmalıdır çünkü bazılarında bulunan bir tür iyon akımı diğerlerinde
gözlenmemektedir. Hodgkin-Huxley modeli, yalnızca deney ortamında hücre
dışarıdan uyarıldığında çok gerçekçi sonuçlar vermekte ancak hücrenin kendi başına
etkinliğini aktarmakta yetersiz kalmaktadır. Bu nedenle dorsal eylem seçimi devresi
doğrudan ve dolaylı yolu içerecek biçimde tekrar ele alınmış ve her beyin yapısı için
onu temsil eden nöronun özelliklerine uygun iyon akımları kullanılarak
gerçeklenmiştir [11].
Yeniden tasarlanan sistemde vuru üretebilme dinamiklerini elde edebilmek için sinir
hücresi gerilim denklemlerine [84]’te olduğu gibi Ca+2 iyon akımı (ICa) da
eklenmiştir. ICa, IAHP akımlarıyla Ca+2 iyon konsantrasyonu ve hızlı kanal
dinamiklerine ilişkin denklemler de [84]’ten alınmıştır. Korteks nöronuna etki eden
yüksek eşikli Ca+2 akımı ILca, nöronun uyarılabilirliğini azaltmaktadır [62],[85].
Hiperpolarizasyon sonrası K+ akımı (IAHP) ve korteks nöron dinamikleri [84] ve
[85]’ten alınmıştır.
Kalsiyum akımına ait denklemlerin getirdiği temel fark, eklenen Ca+2 akımlarının
hücre dışarıdan uyarılmazken de vuru üretmeyi sağlamasıdır. Ancak verilen model
çalıştırıldığında, uygulanan Iapp akımı öncekine göre daha düşük seviyedeyken yine
vuru üretiminin durduğu gözlenmiştir. Hodgkin-Huxley modelinde Iapp ≈ 10 nA iken
vuru katarı üretilmekte, Iapp = 0 nA iken aksiyon potansiyeli üretilmemektedir.
Terman modelinde ise Iapp = 0 nA iken vuru katarı, Iapp = -5 nA iken tek bir vuru
üretilmekte, Iapp = -10 nA iken vuru üretilmemektedir. Yani modele eklenen Ca+2
56
akımları, kendiliğinden uyarılmayı sağlamamakta ama modelin uyarılma eşiğini
aşağıya kaydırmaktadırlar.
Sisteme Terman nöron modelindeki Ca+2 akımları eklendiğinde bu kez de
baskılandığı için etkinliğinin durması/azalması gereken nöronlar sorun çıkarmıştır.
Zira kendi başlarına da vuru üretebildiklerinden gelen negatif akımdan olumsuz
etkilenmemişlerdir. Bir diğer sorun da modelde bir beyin bölgesinden diğerine doğru
yazılan
akımların
bağladıkları
beyin
altyapılarının
gerilimlerinin
farkına
dayanmasıdır. Sistemdeki tüm elemanlar vuru katarı üretebilmekte, yani gerilimleri
salınım yaparcasına alt ve üst sınırlar arasında değişmektedir. Salınım yapan iki
gerilim aynı fazda olmadıklarından, bunların farkı da salınım yapan bir akım
doğurmaktadır. Bu durumda, kortekse uygulanan Iapp hariç, tüm nöronlara giren
akımlar da salınım yapan karakteristiğe sahip olmaktadır. Hodgkin-Huxley benzeri
iletkenlik tabanlı modellerde ise nörona giren akımlar hep doğru akım
karakteristiğine sahiptir. Bu sayede düzenli vuru katarı üretilebilmektedir. Terman
modelindeki nöronların susması için uyarı akımının iyice negatif düzeye çekilmesi
gerekmektedir. Ancak salınım yapan bir akım ne kadar negatif olursa yaklaşık olarak
aynı büyüklükte pozitif bileşeni de olacağından, uyardığı nöron aralıklı olarak
uyarım almış gibi davranmakta ve bu uyarılar repolarizasyon evresinde geldiğinden
yine vuru üretmektedir.
Bu sorunu aşmak için sistemdeki tüm beyin yapıları aynı nöron modeli kullanılarak
değil de her biri sahip oldukları özellikleri yansıtan farklı modellerle gerçeklenmiştir.
Böylece örneğin Str nöronlarında çok etkin olan farklı tiplerdeki Ca+2 akımları,
yalnızca bu nöronların dinamiğini etkilerken diğer beyin bölgeleri için de sahip
oldukları fizyolojik özelliklerine uygun farklı iyon akımları eklenmiştir. Böylece her
beyin bölgesinin gerçekten de biyofiziksel eşdeğer modelini kullanan bir sistem elde
edilmiştir.
Str nöronunu modellerken, burada bulunan medium spiny nöron (MSN) tipindeki
hücrelerin özellikleri dikkate alınmıştır [82]. Str’da bulunan Kv1 tipindeki K+ iyon
kanalları eşik altı K+ akımının ve tekrarlanan etkinliğin oluşmasında en büyük paya
sahiptirler. Kv1 kanalları, vuru oluşan bölgede stratejik bir noktada bulunurlar ve
vuru oluşma eşiğinin hemen altındaki bir gerilim aralığında açılırlar ve bu sayede
MSN’ların uyarılabilirliğinin düzenlenmesinde rol oynarlar. Kv1 kanallarının
dinamiği [86]’da Shen ve arkadaşları tarafından gerçeklenen Hodgkin-Huxley
57
modelinde anlatıldığı şekilde ele alınmıştır. Ayrıca DA’in farklı D tipi almaca sahip
nöronlar üzerindeki etkisini gösterebilmek için Str modellenirken D1 ve D2 tipinde
iki farklı nöron kullanılmış, herbirinin ayrı ayrı diğer bölgelerle bağlantıları
yapılmıştır. Normalde farklı bir nöron üzerinde farklı tiplerde DA almaçları bulunur
ve bunların toplam etkisi nöronun ateşlenmesinde rol oynar. Ancak geliştirilen
modeli sadeleştirmek açısından D1 ve D2 nöronları, sadece ismini aldıkları tipteki
DA almacına sahip olarak kurgulanmıştır. Bu iki nörona SNc’dan salınan DA etkisi
farklı iletkenliklerle çarpılarak kontrol edilmektedir. DA miktarı arttığında D1
almaçları üzerinde bulundukları nöronun etkinliğinin artmasını sağlarken D2
almaçları tam tersine nöron etkinliğinin azalmasına yol açmaktadır. Bazal ganglia
eylem seçimi devresindeki doğrudan yolakta Str etkinliği (GPi/SNr’nin Thl
üzerindeki) baskılamayı baskılayarak hareketin seçilmesini sağlarken dolaylı yolakta
azalan Str etkinliği nedeniyle GPi baskılandığından hareket seçimi mümkün
olmamaktaydı. Str etkinliğindeki bu farkı belirtebilmek için D1 nöronları doğrudan
yolak, D2 nöronları da dolaylı yolak için başlangıç noktası olarak alınmıştır.
GPe ve GPi nöronlarını modellemek için [84]’teki gibi düşük eşikli T-tipi Ca+2 akımı
(IT) akımı süreçleri göz önüne alınmıştır. Ancak nöron hücre zarı dinamikleri
[86]’daki denklemlerden yararlanarak yazılmıştır.
STN ve Thl nöronlarını modellemek için ise düşük eşikli T-tipi Ca+2 akımı [87]’de
anlatıldığı gibi kullanılmıştır. Dorsal eylem seçimi devresinde Str’a gelen DA’in
kaynağı SNc’dır. SNc nöronunu modellemek için Hodgkin-Huxley denklemi
kullanılmıştır. SNc nöronunun varlığıyla sisteme DA salınımı sağlanmakta ve bu
şekilde Str D1 ve D2 nöronlarına gelen DA sayesinde eylem seçimi mümkün
olmaktadır [11]. Ancak SNc’dan Str’a olan bağlantılar D1 ve D2 nöronlarına farklı
etki edecek biçimde ele alındığında ödülün eylem seçimine etkisi açıkça
görülmektedir. SNc’den D1 nöronuna olan bağlantı sodyum (Na+) kanalının ve L-tipi
Ca+2 kanalının etkinleştirilmesi ile oluşan akım olarak yazılırsa DA, iyon kapılarına
etki eder. Benzer biçimde SNc’den D2 nöronuna gelen akım da Na+ kanalının
inaktive edilmesi ve K+ kanalının etkinleştirilmesiyle oluşan akım biçiminde yazılır.
Bu şekilde DA’in D1 ve D2 tipindeki almaçlara sahip nöronlar üzerindeki farklı
etkisi gösterilebilir. Tüm denklemlerle ilgili bilgiler Ek B’de verilmiştir.
58
4.1.3 Geliştirilmiş Hodgkin-Huxley Modeli ile Eylem Seçimi Devresinin
Modellenmesi
Eylem seçimi devresinde yalnızca dorsal döngüdeki bileşenler (korteks, Str, SNc,
GPe, GPi/SNr, STN, Thl) varken (Şekil 2.1) ve SNc’dan gelen uyarıyla striatumda
oluşan Ca+2, K+, Na+ iyon akımları dikkate alınmadığı durumda elde edilen sonuçlar
aşağıda anlatılmıştır. Bu devrede korteks, [18]’de anlatıldığı gibi dış dünyadan gelen
uyarıları alan aktivasyon (duyusal – assosiasyon) korteksi ve istemli hareketleri
yöneten motor korteks olarak iki parça halinde ele alınmıştır. DA, Str-D2
nöronlarının etkinliğini bastırmadığından [11]’de anlatıldığı gibi aktivasyon
korteksinden (AC) gelen uyarı motor kortekse (MC) yansımaktadır.
Bu devrede (Şekil 2.1) kortekse gelen uyaran belli bir değerin altında (I = 10 nA) ise
korteks sessiz kalır (Şekil 4.2). Korteksin sessiz kalması demek girişlerine bir uyarı
gelmediği için striatum nöronlarının da sessiz kalması demektir. Striatum nöronları
sessiz kalınca doğrudan yolak üzerindeki GPi ve dolaylı yolaktaki GPe nöronlarının
etkinliği bastırılmaz ve bu iki nöron, hücre içi dinamikleri sebebi ile hızlı ateşleme
davranışı gösterirler. STN nöronu, hücre içi dinamiği gereği yavaş bir ateşleme
davranışı (düşük frekansta 500 ms’de bir, bir vuru üretir) gösterir. GPe, STN’nin
etkinliğini bastırdığında geri tepme vurularının (rebound spikes) üretilmesi beklenir.
Fakat GPe ile STN arasındaki bağlantı, zayıf türden bir bağlantı olduğundan bu
baskılama, STN’deki etkinliği arttırıcı değil zayıflatıcı bir etki gösterir. Eğer GPeSTN bağlantısı kuvvetli olsaydı, geri tepme vuruları üretilecekti fakat zayıf olunca
STN bastırıldıktan sonra aksiyon potansiyeli -65 mV’u geçse de vuruyu üretecek eşik
gerilimi geçemez. STN nöronu, üst doğrudan yol ile bağlı olduğu korteksten
etkilenmez çünkü korteks herhangi bir aksiyon potansiyeli üretememiş ve STN’yi
uyaramamıştır. GPi nöronunun, STN ve STR-D1 nöronlarından gelen uyarım
nedeniyle tıpkı GPe gibi hızlı ateşleme davranışı göstermesi beklenir. Fakat GPe’den
GPi’ye bağlanan GABAerjik yolak, GPi’deki bütün etkinliği sonlandırır. GPi
susturulduğu için Thl’ta da herhangi bir etkinlik görülmez. Thl’ta herhangi bir
etkinlik olmadığı için motor kortekste de herhangi bir etkinlik oluşmaz, sonuç olarak
AC’indeki sessizlik MC’e aktarılmış olur.
59
Şekil 4.2 : Tek başına çalışan dorsal eylem seçimi devresinin girişinin eşik altında
uyarıldığı durum. Kısaltmalar: AC, aktivasyon korteksi; GPe, globus
pallidus eksternus, GPi, globus pallidus internus; MC, motor korteks;
STN, subtalamik nukleus; STR-D1, STR-D2, striatumun D1 ve D2
tipinde DA almacına sahip nöronları (kaudat ve putamen); THL, talamus.
60
Şekil 4.3 : Tek başına çalışan dorsal eylem seçimi devresinde STR-D2 kanalının DA
tarafından baskılanmadığı durum. Kısaltmalar: AC, aktivasyon korteksi;
GPe, globus pallidus eksternus, GPi, globus pallidus internus; MC, motor
korteks; STN, subtalamik nukleus; STR-D1, STR-D2, striatumun D1 ve
D2 tipinde DA almacına sahip nöronları (kaudat ve putamen); THL,
talamus.
61
Aynı devrede bu kez AC girişi eşik değerin üzerinde bir I akımı (16 nA) ile
uyarıldığında korteks etkinliği gözlenir (Şekil 4.3). Kortekste üretilen etkinlik, Str
nöronlarını uyarır ve Str nöronlarında korteksteki etkinlikle aynı frekansta patlama
vuruları (bursts) üretilir (hemen her korteks vurusuna karşılık birden fazla Str vurusu
üretildiğinden patlama tipi vurudur). Str’da üretilen bu etkinlik, GABAerjik yollar ile
GPi ve GPe’deki hızlı ateşleme etkinliğini bastırır ve GPe’de içlerinde çok sayıda
vuru olan aralıklı patlamalar üretir. GPi’nin de GPe gibi bir davranış üretmesi
beklense de aralarındaki GABAerjik bağlantı sayesinde GPe, GPi’deki bütün
etkinliği sonlandırmıştır. Bu aşamada GPi’de sanki hiçbir etkinlik yokmuş gibi
görünmektedir fakat durum böyle değildir. GPi, STR-D1 nöronunun etkisi ile
bastırıldığında bu baskılanmaya sanki geri tepme vurusu üretecekmiş gibi bir tepki
vermiştir. Ancak hücre içi dinamiğinin geri tepme vurusu üretmeye uygun olmaması
nedeniyle aksiyon potansiyeli, baskılanma sonrası denge potansiyeli olan -65mV’u
aşmış fakat geri tepme vurusu üretecek düzeye ulaşamamıştır. Yani GPi sessizmiş
gibi görünse de STR-D1 nöronu etkinliğini benzer bir frekans bilgisi ile GPi’ye
aktarmıştır. GPe’den aldığı düşük baskılama nedeniyle geri tepme vurusu
üretemeyecek durumdaki STN nöronuna korteks, üst doğrudan yol üzerinden etki
eder ve kendisini STN hücresine küçük bir zaman kayması ile kopyalar. Bu kayma,
sistem çıkışındaki zaman kaymasının ilk görünür sebebidir. STN, korteksten
kopyaladığı etkinliği glutamaterjik bağlantıyla GPi’ye aktarır. Bu aktarımın
kolaylaşmasının nedeni, STR-D1 nöronu GPi’yi yeterince baskılamadığından GPi
nöronunun
geri
tepme
vurusu
üretecek
düzeyde
aksiyon
potansiyeli
oluşturamamasıdır. Bu noktada STN devreye girer ve GPi hücre zarında vuru
üretilmesi için gerekli eşiğe gelmiş zar potansiyelini eşiğin üstüne iter [83]. Böylece
GPi, korteksteki etkinliği STR-D1, GPe ve STN nöronlarının yardımıyla aynı frekans
ile kopyalamış olur. GPi, Thl’a GABAerjik yol ile bağlıdır. Bu nedenle baskılanmış
olan Thl, baskı sonrası geri tepme vurusu üretir [82]. Geri tepme vurusundan
kaynaklanan küçük bir zaman kayması bu noktada da gözlenir. Thl, ürettiği etkinliği
glutamaterjik bağlantısı ile motor kortekse uyaran olarak aktarır. Uyarılan MC
çıkışında görülen etkinlik, davranışa denk gelir. Böylece eylem seçimi devresinin
girişindeki uyarana karşılık üretilmiş olan etkinlik motor korteksten davranış olarak
dış dünyaya aktarılmış olur.
62
Şekil 4.4 : Tek başına çalışan dorsal eylem seçimi devresinde DA’in STR-D2
kanalını baskıladığı durum. Kısaltmalar: AC, aktivasyon korteksi; GPe,
globus pallidus eksternus, GPi, globus pallidus internus; MC, motor
korteks; STN, subtalamik nukleus; STR-D1, STR-D2, striatumun D1 ve
D2 tipinde DA almacına sahip nöronları (kaudat ve putamen); THL,
talamus.
63
Dorsal devrenin DA kaynağı SNc’dır. DA’in sistemi nasıl etkilediğini göstermek için
SNc da devreye eklenmiştir. SNc’dan gelen DA’in D1 ve D2 nöronlarına etkisini
göstermek için D1 nöronuna olan bağlantı Na+ kanalının ve L-tipi Ca+2 kanalının
etkinleştirilmesi ile oluşan akım olarak ve D2 nöronuna gelen akım da Na+ kanalının
inaktive edilmesi ve K+ kanalının etkinleştirilmesiyle oluşan akım biçiminde
yazılırsa, STR-D2 nöronlarının baskılanmasıyla aktivasyon korteksine gelen
uyarıların motor kortekse aktarılmadığı Şekil 4.4’de görülmektedir. Bu akımlar
arasında en etkin olanı STR-D2’ye giren Na+ akımıdır; değeri azaldığında devre,
girişindeki uyarıyı çıkışa aktarmaya başlamaktadır. STR-D2 kanalı baskılanmış
olduğundan artık GPe’ye geri tepme vurusu ürettiremez. STN, aktivasyon
korteksinden gelen etkinliği kopyalar ve frekans bilgisini de GPi’ye aktarır. Fakat
GPe, geri tepme vurusu oluşturamadığından GPi’yi tamamen baskılamaktadır ve bu
nedenle GPi de geri tepme vurusu oluşturacak düzeyde aksiyon potansiyeli üretemez.
Sonuçta korteks girişindeki uyarılar talamus üzerinden motor kortekse iletilemez. Bu
durum, eylem seçiminin yapılıp yapılamayacağının DA etkisiyle ayarlanabileceğini
göstermektedir.
4.2
Dorsal Striatal Eylem Seçimi Devresine Ödülün Etki Etmesi
Ödülün etkisini göstermek amacıyla dorsal eylem seçimi devresi ile paralel çalışan
bir ventral ödül değerlendirme devresi sisteme eklenmiştir. NAc için DA kaynağı,
VTA’dır. NAc nöronunu modellemek için Str nöron modelinde kullanılan
denklemler tercih edilmiştir çünkü her iki yapı da benzer medium spiny nöronlar
içermektedir. Bununla birlikte NAc’te D2 tipindeki almaçların sayısı daha fazla
olduğundan NAc için bir adet D1 ve iki adet D2 tipinde nöron kullanılmıştır.
Doğrudan yolu etkilemek için NAc D1 nöronu GPi ile bağlanmıştır. Dolaylı yol için
de NAc D2 nöronları GPe ile bağlanmışlardır.
VTA nöron modeli olarak [72] ile verilen nöron modeli kullanılmıştır. Bu model ile
VTA’nın ürettiği vuru, patlama (burst), süregen (tonik) ve anlık (fazik) işaretlerinin
tümü gözlenebilmektedir. Amaçlanan, korteksten gelen dış uyaran bilgisiyle DA
salgısının arttırılması ve bunun ödül olarak NAc üzerinden eylem seçimi devresine
yansıtılıp kararlara etki etmesidir. VTA korteks tarafından DAerjik bağlantı ile
uyarılırken NAc tarafından da GABAerjik bağlantı ile baskılanmaktadır. Ventral
yolaktaki ödül döngüsünü tamamlamak üzere amigdala (Aml), laterodorsal
64
hipotalamus (LH), pedunculopontine tegmental nucleus (PPTg), laterodorsal
tegmental nucleus (LDTg) da devreye eklenmiştir. Oluşturulan ödüle dayalı eylem
seçimi devresi Şekil 4.5’de verilmiştir.
Şekil 4.5 : Ödüle dayalı eylem seçimi devresi. Kısaltmalar: Aml, amigdala; DA,
dopamin, D1, D2, D1 ve D2 almacına sahip nöronlar; GABA, gama
aminobütirik asit; GPe, globus pallidus eksternus, GPi, globus pallidus
internus; LDTg, laterodorsal tegmental nucleus; LH, lateral hipotalamus;
NAc, nucleus accumbens; PPTg, pedunculopontine tegmental nucleus;
SNc, substantia nigra pars compacta; SNr, substantia nigra pars reticulata,
STN, subtalamik nukleus; Str, striatum (kaudat ve putamen); THL,
talamus, VTA, ventral tegmental alan.
Bu bölümde ödülün etkisini göstermek için iki farklı devre anlatılacaktır. Đlk devrede
yalnızca VTA ile NAc arasındaki dinamiği kullanan minimal bir model vardır. Đkinci
65
olarak gerçeklenen devredeyse, birinci devre genişletilerek ödül mekanizmasında
etkili olan tüm elemanları içermesi için Aml/LH ve PPTg/LDTg yapıları eklenmiştir.
4.2.1 Ödül Etkisinin Minimal Modellenmesi
Eylem seçimi devresine ödülün etkisini göstermek üzere NAc ve ventral yolak için
DA kaynağı olan VTA eklendiğinde elde edilen sonuçlar Şekil 4.6’da görülmektedir.
Bu durumda SNc’den salgılanan DA’in etkisini göstermek üzere Str nöronlarında
Ca+2, K+, Na+ iyon akımları devrededir. NAc nöronları da Str nöronlarıyla benzer
biçimde modellenmiştir, yani DA salgısının D1 ve D2 tipi almaca sahip nöronlarda
farklı etkisi vardır. Ayrıca merkezi sinir sisteminde en fazla bulunan DA almacı tipi
D2 olduğundan [27], devredeki D2 tipinde NAc nöronlarının sayısı, D1
tipindekilerden fazladır. SNc ve VTA nöronları için dış uyaran akım kullanılmıştır
(ISNc = 80 nA, IVTA = 0.4 nA). Str üzerinde DA kaynaklı iyon akımlarının etkisiyle
Şekil 4.4’teki gibi motor korteks çıkışının bastırılmış olması beklenirken NAc
üzerinden gelen vurular GPe’yi baskıladığı için Thl ve motor korteks çıkışında
etkinlik vardır. Buradan ödülün etkisiyle istenmeyen bir eylemin de seçilebileceği
veya arzulanan bir eylemin daha kuvvetle isteneceği sonucu çıkmaktadır.
Yukarıda anlatılan durumda VTA nöronu SNc nöronunda olduğu gibi HodgkinHuxley modeliyle değil, DA ve dış uyaran olarak kullanılan nikotinin etkisini uygun
biçimde gösteren ve farklı vuru tiplerini sergileyebilen daha gerçekçi bir modelle
[72] tasarlanmıştır. [72] ile önerilen model laboratuvardaki deneyi tekrarlandığından
nöronun çalışmasına etki eden iki farklı madde vardır: tetrodotoksin (TTX) ve
apamin (APA). TTX, hızlı Na kanallarına bağlanarak nöronların aksiyon potansiyeli
üretmesine engel olan bir tür zehirdir ve laboratuvar ortamında çalışma yapmak için
kullanılır. Bu nedenle VTA nöronu için TTX katsayısı 1 olarak alınmış ve nöronun
ateşlenmesi mümkün kılınmıştır. APA, arılardan elde edilen bir tür zehirdir ve hücre
zarındaki SK kanallarını (Ca+2 ile aktive edilen K+ kanalları) bloke eder. TTX gibi
APA de hücre zarı iyon kanallarının elektriksel özelliklerini incelemekte kullanılır.
[88]’de belirtildiği gibi, nikotin ve APA, nAChR’larını benzer biçimde etkilerler,
yani aynı hedef üzerinde etkilidirler. Bölüm 3’te ele alınan nikotin bağımlılığı için
geliştirilen modele benzer bir çalışma bu yapı ile gerçekleştirilirse [72] modelindeki
APA katsayısı nikotin olarak düşünülebilir. Böylece nikotin varlığında VTA
nöronunun patlama ateşlemeleri yaptığını göstermek mümkün olmaktadır.
66
Şekil 4.6 : Eylem seçimi devresinde dorsal ve ventral birlikte etkin ve DA’in STR-D2 kanalını baskıladığı durum. Kısaltmalar: AC, aktivasyon
korteksi; GPe, globus pallidus eksternus, GPi, globus pallidus internus; MC, motor korteks; NAc-D1, NAc-D21, NAc-D22, nucleus
accumbensin D1, D2 tipinde DA almacına sahip nöronları; SNc, substantia nigra pars compacta; STN, subtalamik nukleus; STR-D1,
STR-D2, striatumun D1, D2 tipinde DA almacına sahip nöronları (kaudat ve putamen); THL, talamus; VTA, ventral tegmental alan.
67
Şekil 4.7 : Eylem seçimi devresinde dorsal ve ventral birlikte etkinken VTA’nın tonik ateşleme yapması nedeniyle çıkış etkinliğinin artması.
Kısaltmalar: AC, aktivasyon korteksi; GPe, globus pallidus eksternus, GPi, globus pallidus internus; MC, motor korteks; NAc-D1,
NAc-D21, NAc-D22, nucleus accumbensin D1, D2 tipinde DA almacına sahip nöronları; SNc, substantia nigra pars compacta; STN,
subtalamik nukleus; STR-D1, STR-D2, striatumun D1, D2 tipinde DA almacına sahip nöronları (kaudat ve putamen); THL, talamus;
VTA, ventral tegmental alan.
68
VTA nöronunun ürettiği patlamalar sayesinde D2 kanalları bastırıldığı halde
aktivasyon korteksindeki uyarı motor kortekse iletilebilmektedir. Şekil 4.6’te VTA
nöronu patlamalar üretmektedir. APA katsayısı VTA nöronu süregen (tonik)
ateşlenecek biçimde değiştirilirse (APA = 1), Nac D2 nöronlarında azalan DA
girişine bağlı olarak etkinliğin biraz arttığı görülür. Dolaylı yolun baskılamasını
azaltan bu durum nedeniyle Thl ve MC çıkışlarındaki etkinlik de biraz artar. Bununla
ilgili sonuçlar Şekil 4.7’de verilmiştir.
VTA DA nöronlarının çalışması için bunlara gelen DA-GABA salımı arasında uygun
bir dinamiğin olması gerekir [51]. Bu dinamik, bir tür karşıt süreç sergiler ve DA
nöronlarının uygun biçimde aksiyon potansiyeli üretmesini sağlar. Önerilen modelde
VTA’nın giriş bağlantıları olarak korteksten gelen uyarıcı ve NAc’den gelen
baskılayıcı akımlara ihtiyaç olması bu sebeptendir. Yalnızca korteks üzerinden gelen
bir uyaranla VTA, ancak çok küçük genlikli bir aksiyon potansiyeli üretebilmekte, bu
da NAc nöronlarının çalışmasını etkileyecek eşik değere ulaşmamaktadır.
Dolayısıyla sistem düzgün çalışmaz, ödül tarafından desteklenmediği için sadece
dorsal devre etkindir ve eylem seçimini engellendiğinden motor kortekste çıkış
göremeyiz.
4.2.2 Ödül Etkisinin Genişletilmiş Model ile Ele Alınması
Eylem seçimi devresini, dorsal ve ventral yolaklar ile ödül değerlendirme
mekanizmasında rol alan beyin bölgelerini içerecek biçimde genişletmek için son
olarak amigdala/lateral hipotalamus (Aml/LH) ile pedunculopontine tegmental
nucleus/laterodorsal tegmental nucleus (PPTg/LDTg) yapıları sisteme birer blok
olarak eklenmiştir. Bu iki yapı, VTA, NAc ve SNc ile ilişkileri sayesinde sistemde
DA salımının düzenlenmesinde rol almaktadırlar ([89] ve bölüm 0’de anlatılmıştı).
Şekil 4.5’ de görülen tüm yapılar sistemde etkin olarak çalışırken ancak sistemin
girişinde hiçbir uyaran bulunmazken elde edilen sonuçlar Şekil 4.8’de verilmiştir.
Korteks girişinde hiçbir uyaran olmamasına rağmen sistemde 250ms’den kısa süren
bir etkinlik gözlenmektedir. Bunun nedeni sistemin iç dinamiğinin yol açtığı geri
tepme
vurularıdır.
Uzun
dönemde
nöronlar
birbirlerini
uyarmadığı
veya
baskılamadığı için bir etkinlik oluşmaz. Bu nedenle sistemin girişi dışarıdan
uyarılmazken herhangi bir eylem seçimi söz konusu değildir.
69
Şekil 4.8 : Eylem seçimi devresinde dorsal ve ventral yolak birlikte etkinken girişin uyarılmaması sonucu etkinlik gözlenmemesi. Kısaltmalar:
AC, aktivasyon korteksi; Aml, amigdala; GPe, globus pallidus eksternus, GPi, globus pallidus internus; LDTg, laterodorsal tegmental
nucleus; LH, lateral hipotalamus; MC, motor korteks; NAc-D1, NAc-D21, NAc-D22, nucleus accumbensin D1, D2 tipinde DA
almacına sahip nöronları; PPTg, pedunculopontine tegmental nucleus; SNc, substantia nigra pars compacta; STN, subtalamik nukleus;
STR-D1, STR-D2, striatumun D1, D2 tipinde DA almacına sahip nöronları; THL, talamus; VTA, ventral tegmental alan.
70
Şekil 4.5’deki devre AC üzerinden gelen bir uyaran akımı ile beslendiğinde elde
edilen sonuçlar Şekil 4.9’da verilmiştir. Yukarıdakinden farklı olarak bu kez tüm
nöronlar patlamalar biçiminde aksiyon potansiyeli üretmektedir. SNc etkinliği
nedeniyle Str D2 nöronu DA tarafından baskılandığından dorsal dolaylı yolak,
eylemi baskılayacak yönde çalışmaktadır. Buna karşılık ventral yolakta NAc
nöronları kuvvetli bir etkinlik göstermektedir. NAc D2 nöronları DA baskılaması
nedeniyle zayıf bir patlama etkinliği gösterseler bile NAc D1 nöronu, VTA
üzerinden gelen geri beslemenin de katkısıyla eylemi gerçekleştirmeye yönelik bir
etkinlik oluşturur. Dorsal ve ventral yolakların çıkışları GPi/SNr nöronunda toplanır
ve NAc D1 nöronunun sayesinde GPi nöronunda geri tepme vuruları oluşur. Bu
vurulara denk gelen anlarda Thl üzerindeki baskılama kalkar. Sonuçta Thl ve bunun
bağlandığı MC nöronlarında patlama vuruları gözlenir. Bu durum, dorsal eylem
seçimi devresi tarafından seçilmeyen yani istenmeyen bir davranışın ventralde oluşan
ödülün etkisiyle seçiliyor olmasını sağlar.
Şekil 4.9’da anlatılan durumda bu kez Str D2 nöronunda SNc’dan salınan DA
nedeniyle oluşan Ca+2, K+, Na+ iyon akımlarının yol açtığı baskılamayı
kaldırdığımızda, devrede hem dorsal hem ventral yolakta aynı girişe karşılık benzer
biçimde etkinlik gözlenir (Şekil 4.10). SNc’dan salgılanan DA etkisini göstermek
için Str-D1 nöronu denklemine eklenen Ca+2 ve Na+ akımları ile Str-D2 nöronu
denklemine eklenen K+ ve Na+ akımları arasında en etkili olanı, D2 nöronundaki Na+
akımıdır. Baskılamayı kaldırmak için SNc’dan Str-D2 nöronuna gelen Na+ akımına
ait iletkenliği azaltmak yeterlidir (gD2_Na = 0.01). Bu durumda sistemin girişindeki
uyaran akımı nedeniyle tüm nöronlar patlama vuruları üretmekte ve her patlama
anında Şekil 4.9’dakine kıyasla daha fazla sayıda vuru oluşmaktadır. Dorsal ve
ventral yolaklardan gelen işaretlerin toplandığı GPi/SNr nöronunda bir önceki
duruma göre daha büyük bir baskılama oluşur. Bu nedenle GPi/SNr nöronu daha
fazla sayıda ve genliği daha büyük geri tepme vuruları üretir. Dolayısıyla Thl
üzerindeki baskılama da önceki duruma göre oldukça hafiflemiş olur. Bunun
sonucunda hem dorsal hem ventral yolaktaki etkinlik sayesinde çıkışta daha kuvvetli
ifade edilen bir hareket gözlenir. Bu durum, istenen ve hoşa giden bir davranışın
daha şiddetli olarak gerçekleştirilmesine denk gelmektedir.
71
Şekil 4.9 : Eylem seçimi devresinde dorsal ve ventral yolak zıt çalışırken ödülün etkisiyle hareket gözlenmesi. Kısaltmalar: AC, aktivasyon
korteksi; Aml, amigdala; GPe, globus pallidus eksternus, GPi, globus pallidus internus; LDTg, laterodorsal tegmental nucleus; LH,
lateral hipotalamus; MC, motor korteks; NAc-D1, NAc-D21, NAc-D22, nucleus accumbensin D1, D2 tipinde DA almacına sahip
nöronları; PPTg, pedunculopontine tegmental nucleus; SNc, substantia nigra pars compacta; STN, subtalamik nukleus; STR-D1,
72
Şekil 4.10 : Eylem seçimi devresinde dorsal ve ventral yolak paralel çalışırken daha kuvvetli çıkış elde edilmesi. Kısaltmalar: AC, aktivasyon
korteksi; Aml, amigdala; GPe, globus pallidus eksternus, GPi, globus pallidus internus; LDTg, laterodorsal tegmental nucleus; LH,
lateral hipotalamus; MC, motor korteks; NAc-D1, NAc-D21, NAc-D22, nucleus accumbensin D1 ve D2 tipinde DA almacına sahip
nöronları; PPTg, pedunculopontine tegmental nucleus; SNc, substantia nigra pars compacta; STN, subtalamik nukleus; STR-D1,
73
4.3
Sonuç ve Tartışma
Bu bölümde, daha önce geliştirilmiş olan ve bölüm 3’te anlatılan eylem seçimi
devresi biyofiziksel gerçekçi bir modelle tekrar ele alındı. Temel biyofiziksel
gerçekçi nöron modeli olarak Hodgkin-Huxley modeli kullanıldı ve bölüm 3’te
anlatılmış olan devredeki her bir nöron aynı şekilde modellendi. Bu şekilde elde
edilen sistem incelendiğinde devrenin artık düzgün çalışmadığı gözlendi. Bunun
nedenleri araştırılırken Hodgkin-Huxley modelinin hücre zarında bulunan bazı iyon
kanalları akımlarını içermediği için bir nöronun gösterdiği tüm ateşlenme tiplerini
tam olarak gerçekleştiremediği, ayrıca dış uyaran olmadan vuru üretecek (örneğin
geri tepme vurusu oluşturabilecek) dinamiğe sahip olmadığı anlaşıldı. Bu bulgu
üzerine literatürde çalışılmış nöron modelleri incelenip eylem seçimi devresi yeniden
tasarlanarak daha fazla beyin bölgesini daha doğru bağlantılar ile içerecek biçimde
geliştirilmeye çalışıldı.
Bir sonraki adımda dorsal eylem seçimi devresi yine Hodgkin-Huxley modeli
kullanılarak fakat bu kez nöronların ateşlenmesinde etkili olan Ca+2 iyonu akımları
da eklenerek tekrar ele alındı. Devredeki nöronların bu kez dış uyarı akımının değeri
çok düşükken de çalışabildiği fakat aslında Ca+2 akımının devrenin uyarılma eşiğini
aşağı çekmiş olduğu görüldü. Bu nedenle kaynaklar taranıp her bir nöronun temsil
ettiği beyin bölgesinin özellikleri göz önüne alınarak nasıl modellenebileceği
araştırıldı. Her nöronun tamamen aynı biçimde değil de içerdikleri farklı iyon kanalı
akımlarına göre farklı denklemlerle modellenmesinin en uygun yaklaşım olacağı
anlaşıldı.
Sonuçta ulaşılan devre ile eylemlerin seçimine karar veren dorsal striatumdan geçen
doğrudan ve dolaylı yolaklar gerçeğe uygun biçimde modellendi. Bu dinamik
sistemin üzerinde ödülün etkisini göstermek üzere ventral striatumdan (NAc) geçen
ve [27]’de anlatılana benzer bir ventral eylem seçimi devresi sisteme eklendi. Bu
sayede eylem seçiminde görev alan limbik beyin bölgelerinin hemen hemen
tamamını içeren bir dinamik sistem elde edilmiş oldu.
Tasarlanan dinamik sistemin çalışması çeşitli koşullar altında incelenerek dorsal ve
ventral kısımların ayrı ayrı ve birlikte nasıl çalıştıkları gözlendi. Ayrıca devrenin
korteks girişine bir uyaran uygulandığında ve uygulanmadığında nasıl tepki verdiği
araştırıldı. Sonuçta bu devre ile eylem seçiminin istenen ve ödül getiren davranışların
74
daha kuvvetli ifade edilerek gerçekleştirilmesini sağladığı; fakat istenmediği halde
ödül getiren davranışların da hoşa gittikleri için tercih edilebildiğini gösterilmiş oldu.
Geliştirilen model, ventral striatumun dorsal striatuma etkisini göstermesi ve eylem
seçiminde
rol
alan
hemen
tüm
yapıları
içermesi
açısından
literatürdeki
benzerlerinden ayrılmaktadır. Kullanılan iletkenlik tabanlı dinamik sistem modeliyle
nöronların çalışması fizyolojik verilere uygun biçimde kurgulanabilmiş ve patlama,
süregen, anlık tipte ateşlemeler gözlenebilmiştir. Ayrıca modeldeki her nöronun çıkış
geriliminin ona etki eden nöronların akımları cinsinden ifade edilmesi, bir sinapsta
oluşan ve tüm pre-sinaptik nöronlardan gelen uyarının toplanarak post-sinaptik
nörona iletilmesi durumuyla örtüşmektedir.
Önerilen modelin ürettiği sonuçlar tek bir nöron ile yapılan çalışmalarda [90],[91]
elde edilen sonuçlar ile uyumludur. Bununla birlikte Str üzerinden gelen bir
baskılayıcı uyaran olmadığında GPi’nin de GPe gibi tonik etkinlik göstermesi
beklenirken bu sistemde bu tamamen sağlanamamıştır. Birden fazla aynı beyin
bölgesine ait nöronu birbirine bağlayarak Parkinson hastalığı gibi olguları inceleyen
çalışmalar [84] ya da [25] ve [74]’te anlatıldığı gibi dorsal eylem seçimi devresini
gerçeklemek için birden fazla beyin bölgesine ait nöronları bağlayarak inceleyen
modeller bulunmakla birlikte hem dorsal hem ventral bölgeleri aynı anda içeren bir
hesaplamalı model önerilmemiştir. Bu durum tez çalışmasının bu bölümünde
anlatılan modeli özgün kılmaktadır.
Önerilen modelde her beyin bölgesi tek bir nöron ile temsil edilmektedir. Modeli
geliştirmek için her bölgeyi [84]’te olduğu gibi birden fazla nöron ile temsil edecek
biçimde nöronları birbirine bağlamak gerekir. Bu şekilde striatumun medium spiny
nöronları arasındaki mikro devrelerin özelliklerini yansıtmak da mümkün
olabilecektir. Ayrıca bir önceki bölümde anlatılan modelde olduğu gibi nikotini dış
uyaran olarak kullanacak biçimde bu model geliştirilirse bağımlılık sürecinde ödülün
dinamik etkisini de göstermek mümkün olacaktır.
75
76
5.
SONUÇ
Bu tez çalışmasında amaçlanan duygusal süreçlerin etkin olduğu bağımlılık
davranışlarını açıklamaya yönelik bir hesaplamalı modelleri doğrusal olmayan sistem
yaklaşımıyla tasarlamak
ve elde edilen
modeller
aracılığı
ile
süreçlerin
anlaşılabilirliğine katkıda bulunmaktır. Bu nedenle duygusal davranışlarda etkin olan
beyin bölgeleri incelenip sinir hücreleri arasındaki iletişimin dinamiği araştırılmıştır.
Önerilen hesaplamalı modeli sınayabilmek için bağımlılık davranışları ve davranış
seçiminde etkin olan yapılardaki tek hücre ölçümlerine ilişkin sonuçlardan
yararlanılmıştır.
Üçüncü bölümde anlatılan hesaplamalı model, bağımlılık davranışını pekiştirmeli
öğrenme temeline oturtarak modellemektedir. Model ile düşüncesizce rastgele
gerçekleştirilen davranışların pekiştirmeli öğrenme sayesinde kalıplaşarak dürtüsel
davranışlara dönüşmesi sayesinde bağımlılığın gelişeceği gösterilmektedir. Örnek
olarak seçilen nikotin bağımlılığı ile nikotinin kandaki moleküler etkilerinin nasıl
ödül olarak değerlendirildiği modelde bir dinamik döngü ile hesaplanmaktadır.
Duyguları motor devreler ile harekete dökmek için bir eylem seçimi devresi
kullanılmıştır. Bu sayede 1990’lardan beri bilinen bazal gangliadaki dorsal eylem
seçimi devresi dinamik bir sistem olarak modele eklenmiştir. Hesaplamalı modelde
ayrıca dopaminin nöromodülatör olarak etkisi gösterilmiştir.
Modelde yer alan dinamik sistemde ortalama ateşlenme oranı (mean firing rate)
yaklaşımı bir sigmoid fonksiyon ile sağlanarak devredeki nöron gruplarının
davranışları ortalama vuru oranına göre incelenebilmektedir. Ödülün etkisini
yansıtmak için başlangıçta rastgele gerçekleştirilen sigara içme ve içmeme eylemleri
benimsenen davranışa göre (yani bağımlılığın gelişip gelişmemesine göre)
değerlendirilmekte ve ödül veya ceza olarak bellekte yerini almaktadır. Geçmiş
davranışa ait bellekteki bilgiler kullanılarak bir sonraki davranışlara karar
verilmektedir.
Modelde kullanılan iki aşamalı eylem seçimi devresi, bazal ganglia, talamus ve PFC
sistemini ayrıntılı açıklayabilmesi bakımından benzerlerinden farklıdır. Eylem
77
seçimlerinin yol açtığı değişiklikler ilk aşama olan premotor döngüdeki bir
parametreyi ayarlayarak gerçeklenmiştir. Bu ayarlama işlemi, pekiştirmeli öğrenme
vasıtasıyla DA işaretinin sağladığı yönlendirici etkiye karşılık gelmektedir ve bu
şekilde sistem, bağımlı olma, bağımlı olmama ve herhangi bir eylemi sürekli
seçemeyen kararsızlık davranışlarından birini öğrenebilmektedir. Bu öğrenme
parametresini dopamine göre ayarlayarak sağlanan dinamik davranış değişikliklerini
kolayca takip etmek mümkündür. Bunun için eylem seçimi sistemi XPPAUT ile
incelenerek dinamik sistemde parametre değişikliğine bağlı oluşan dallanmalar
gösterilmiştir.
Önerilen modelin getirdiği bir ilerleme de moleküler düzeydeki değişiklikleri
gösteren dinamik sistemin bağımlılıkla oluşan direnç mekanizmasını ortaya
koyabilecek biçimde ayarlanabilir hale getirilmesidir. Karşıt süreçlerin moleküler
düzeydeki yansıması olan bu sistem, sağlıklı insanlarda normal bir ortalama seviyeye
sahiptir. Oysa bağımlılarda vücudun giderek daha fazla bağımlı olunan maddeyi
istemesi nedeniyle bu ortalama seviye değişmiştir. Önerilen hesaplamalı modelde bu
değişiklik de parametrik olarak ayarlanabilmektedir.
Hem moleküler hem dinamik sistem düzeyinde bileşenleri olması açısından önerilen
model duygusal süreçlerin gelişimine ilişkin farklı yaklaşımları birleştirmektedir.
Dopaminin pekiştirmeli öğrenme üzerindeki etkisinin modellenmesi ile de
nöronlardaki elektriksel iletim kadar nörotransmiterlerin sinirsel ağlardaki rolü de
sisteme dahil edilmektedir. Modelin özgün yanı, nikotin bağımlılığını pekiştirmeli
öğrenme üzerinden inceleyerek eylem seçimini bir dinamik sistem olarak ortaya
koyabilmesidir. Psikolojide duyguları açıklamada önemli bir kavram olan karşıt
süreçlerin geliştirilen modelde bağımlılık sürecindeki moleküler düzeydeki
değişiklikleri de açıklamakta kullanılması, bu modelin bağımlılık davranışlarını pek
çok farklı düzeyde inceleyebilmesini sağlamaktadır.
Sunulan bu modeli geliştirmek için eylem seçimi alt sistemine ait dinamiklerin
striatumdan gelecek yönlendirici girişleri de içerecek biçimde değiştirilmesi söz
konusu olabilir. Önerilen bu modeldeki ödül değeri geometrik olarak artmaktadır.
Oysa mezolimbik sistemde ödülün değerlendirilmesi de bir dinamik süreçtir.
Dolayısıyla gelecekteki çalışmalarda ödül de bir sistem olarak modelde yerini
alabilir. Bağımlılığın altında yatan ana sürecin pekiştirmeli öğrenme olduğu
78
vurgulanmakla birlikte modeli geliştirmek açısından ileride GABA ve glutamat gibi
nörotransmiterler ve diğer psikolojik süreçlerin de işe katılması düşünülebilir.
Nikotin bağımlılığı için önerilen bu model başka bağımlılık türleri için de
kullanılabilir. Modelde yer alan karşıt süreçlere ve eylem seçimine ait dinamik
sistemler sabit tutulabilir. Modelde ödüllendirici unsur olarak kullanılan nikotin
yerine başka bir madde seçilerek aynı sistem ile değişik bağımlılık olguları da
incelenebilir. Bu açıdan önerilen model, sinirbilimde hesaplamalı modellerin
kullanılmasıyla elde edilecek beyindeki süreçleri anlamaya yönelik faydalar için iyi
bir örnektir.
Yukarıda sözü edilen model kullanılarak bir sinir hücresinin gösterdiği tüm biyolojik
etkinliği ortaya koymak mümkün değildir. Öncelikle modelin sistem düzeyinde ele
alınmış olması ve içerdiği farklı devrelerin sadece giriş çıkış ilişkisi açısından
birbirine bağlanabilmesi, bunu mümkün kılmaz. Duygusal davranışların eylem
seçimine etkisini ele alan daha kapsamlı bir model geliştirmek üzere literatürde
verilmiş olan hesaplamalı modeller taranarak bunların bütünleştirilmesi ile yeni bir
devre oluşturulmuştur. Bölüm 4’te anlatılan bu devrede bölüm 3’te anlatılan eylem
seçimi devresi biyofiziksel gerçekçi bir modelle tekrar ele alınmıştır. Nöron modeli
olarak Hodgkin-Huxley benzeri iletkenlik tabanlı modeller kullanılarak hücre
zarındaki iyon kanallarının nöronun çalışması üzerindeki etkisi gösterilmiştir. Bu
sayede farklı tipteki vuruları üretebilen nöronlar içeren bir sistem elde edilmiştir.
Önerilen yeni modelde her beyin bölgesinde bulunan nöronların özellikleri göz
önüne alınarak her nöron tamamen aynı biçimde değil de içerdikleri farklı iyon
kanalı akımlarına göre farklı denklemlerle modellenmiştir. Tasarlanan devre ile
eylemlerin seçimine karar veren dorsal striatumdan geçen doğrudan ve dolaylı
yolaklar gerçeğe uygun biçimde modellenmiştir. Bu dinamik sistemin üzerinde
ödülün etkisini göstermek üzere ventral striatumdan geçen ve ödülün etkisini
gösteren bir ventral eylem seçimi devresi de sisteme eklendi. Bu sayede eylem
seçiminde görev alan limbik beyin bölgelerinin hemen hemen tamamını içeren bir
dinamik sistem elde edilmiş oldu. Literatürde bu kadar kapsamlı olarak duygusal
süreçlerde görev alan beyin yapılarını ele alan bir başka model yoktur. Dolayısıyla
geliştirilen modeli sınamak için bazı bölgelere ilişkin tek hücre kayıtlarından [90][91] ve daha dar kapsamlı eylem seçimi modellerinin sonuçlarından [60],[62],[84]
yararlanılmıştır.
79
Bu devrenin farklı uyaran seviyelerinde nasıl çalıştığı incelenerek eylem seçiminde
bir davranış istenmese bile ödül getirici olduğu veya hoşa gittiği için
gerçekleştirilebileceği gösterildi. Bu açıdan önerilen model, hem dorsal hem ventral
bazal ganglia döngülerini içeren ve bunların etkileşimini doğru biçimde yansıtan ilk
örnektir. Geliştirilen model, duygusal süreçlerde görev alan hemen tüm beyin
bölgelerini içerdiğinden literatürdeki benzerlerinden ayrılmaktadır. Kullanılan
iletkenlik tabanlı dinamik sistem modeliyle nöronların çalışması fizyolojik verilere
uygun biçimde kurgulanabilmiş ve patlama, süregen, anlık tipte ateşlemeler
gözlenebilmiştir. Ayrıca modeldeki her nöronun çıkış geriliminin ona etki eden
nöronların akımları cinsinden ifade edilmesi, bir sinapsta oluşan ve tüm pre-sinaptik
nöronlardan gelen uyarının toplanarak post-sinaptik nörona iletilmesi durumuyla
örtüşmektedir.
Önerilen modelde her beyin bölgesi bir tek nöron ile temsil edilmektedir. Modelin
ürettiği sonuçlar, tek bir nöron ile yapılan çalışmalarda elde edilen sonuçlar ile
uyumludur [90]-[91]. Modeli geliştirmek için her beyin bölgesi birden fazla nöron
kullanılarak ele alınabilir ve böylece hem bölgeler arası hem de bölgedeki nöronların
kendi aralarındaki etkileşimleri gösterilebilir. Özellikle striatumun medium spiny
nöronlarının oluşturduğu mikro devrelerin çalışmasını gösterebilmek için bu
yaklaşımı benimsemek gerekir. Birden fazla nöronu işin içine katmak için HodgkinHuxley benzeri nöron modelleri yerine daha sade olan ama yine farklı ateşlenme
tiplerini gösterebilen Izhikevich veya uyarlamalı tümleştirme ve ateşleme (adaptive
integrate and fire) yapısında nöronlar kullanılabilir. Bu şekilde sistemin boyutu
artarken karmaşıklığının da aynı oranda artması engellenmiş olur.
Bu modelin bağımlılıkla ilişkisini kurmak için üçüncü bölümde anlatılan modelde
olduğu gibi nikotin bir uyaran olarak sisteme eklenip uzun vadede nikotin varlığına
bağlı olarak eylem seçimlerinin değişmesi gösterilebilir. Halihazırda kullanılmış olan
ventral tegmental alan nöronu modeli ile nikotinin etkisini göstermek mümkündür.
Benzer biçimde farklı uyaranlardan kaynaklanan değişiklikler nöron modeline
yansıtılarak değişik bağımlılık türleri de incelenebilir.
80
KAYNAKLAR
[1] Churchland, P.S., Koch, C., Sejnowski, T.J. (1993). What is Computational
Neuroscience?, Computational Neuroscience (sf. 46-55). The MIT
Press.
[2] Huys, Q.J.M., Moutoussis, M., Williams, J. (2011). Are computational
models of any use to psychiatry?, Neural Networks, 24(6), 544551.
[3] Sterrat, D., Graham, B., Gillies, A., Willshaw, D. (2011). Principles of
Computational Modelling in Neuroscience, Cambridge University
Press.
[4] Gutkin, B.S., Dehaene, S., Changeux, J.P. (2006). A Neurocomputational
Hypothesis for Nicotine Addiction, PNAS, vol.103, no.4, 11061111.
[5] Metin, S., Şengör, N.S. (2010). Dynamical System Approach in Modeling
Addiction, Brain Inspired Cognitive Systems (BICS 2010), Madrid,
Spain, July 14-16.
[6] Metin, S., Şengör, N.S. (2010). A Neurocomputational Model of Nicotine
Addiction Based on Reinforcement Learning, The 20th
International Conference on Artificial Neural Networks (ICANN
2010), Selanik, Yunanistan Eylül 15-18.
[7] Metin, S., Şengör, N.S. (2011). Nikotin Bağımlılığı Đçin Bir Hesaplamalı
Model, 10. Ulusal Sinirbilim Kongresi, Đstanbul, 8-12 Nisan.
[8] Metin, S., Şengör, N.S. (2011). A neurocomputational model of nicotine
addiction based on reinforcement learning, 13th Annual Meeting of
the SRNT Europe, Antalya, Turkey, September 8-11.
[9] Metin, S., Şengör, N.S. (2011). A neurocomputational model of nicotine
addiction based on reinforcement learning, Bernstein Conference
2011, Freiburg, Germany, October 4-6.
[10] Metin, S., Şengör, N.S. (2012). From Occasional Choices to Inevitable Musts:
A Computational Model of Nicotine Addiction, Computational
Intelligence
and
Neuroscience,
vol.
2012,
doi:
10.1155/2012/817485.
[11] Yücelgen, C., Denizdurduran, B., Metin, S., Elibol, R., Şengör, N.S. (2012).
A Biophysical Network Model of Basal Ganglia Pathways for
Action Selection, The 22nd International Conference on Artificial
Neural Networks (ICANN 2012), Lausanne, Switzerland,
September 11-14.
81
[12] Metin, S., Şengör, N.S. (2012). Contribution of the Ventral Striatal Pathway to
Decision Making, The Second Symposium on the Biology of
Decision Making (SBDM 2012), Paris, France, May 10-11.
[13] Metin, S., Şengör, N.S. (2012). Ventral Striatal Pathway Determines Actions
Employed: A Computational Model, Bernstein Conference 2012,
Munich, Germany, September 12-14.
[14] Metin, S. (2012). Ventral Striatal Yolun Karar Almaya Katkısı, 1. Karmaşık
Dinamik Sistemler ve Uygulamaları Çalıştayı, Ankara, 12-13
Ekim.
[15] LeDoux, J. (2006). Duygusal Beyin, Pegasus Yayınevi, Đstanbul.
[16] Nestler, E.J. (2002). Common Molecular and Cellular Substrates of Addiction
and Memory, Neurobiology of Learning and Memory, vol.78, 637647.
[17] Blumenfeld, H. (2002). Neuroanatomy Through Clinical Cases, 1st ed.,
Sinauer Associates Inc..
[18] Mesulam, M.M. (2000). Principles of Behavioral and Cognitive Neurology, 2nd
ed., Oxford University Press.
[19] Houk, J.C., Bastianen, C., Fansler D., Fishbach, A., Fraser, D., Reber, P.J.,
Roy, S.A., Simo, L.S. (2007). Action selection and refinement in
subcortical loops through basal ganglia and cerebellum, Philos.
Trans. R. Soc. Lond. B Biol. Sci., 362(1485), 1573-1583.
[20] Salamone, J.D., Correa, M., Farrar, A., Mingote, S.M. (2007). Effort-related
functions of nucleus accumbens dopamine and associated forebrain
circuits, Psychopharmacology, 191(3), 461-482.
[21] Alexander, G.E., Crutcher, M.D. (1990). Functional architecure of basal
ganglia circuits: neural substrates of parallel processing, Trends
Neurosci., Cilt 13, sayı 7, 266-271.
[22] Alexander,
G.E., Crutcher, M.D., DeLong, M.R. (1990). Basal
gangliathalamocortical circuits: Parallel substrates for motor,
oculomotor, ‘prefrontal’ and ‘limbic’ functions, Progress in Brain
Research, Vol.85, 119-146.
[23] Haber, S.N., Fudge, J.L., McFarland, N.R. (2000). Striatonigrostriatal
Pahways in Primates Form an Ascending Spiral from the Shell to
the Dorsolateral Striatum, Journal of Neuroscience, 20(6), 23692382.
[24] DeLong, M.R, Wichmann, T. (2007). Circuits and Circuit Disorders of the
Basal Ganglia, Arch Neurol.,64(1),20-24.
[25] Frank, M.J. (2006). Hold your horses: A dynamic computational role for the
subthalamic nucleus in decision making, Neural Networks, 19(8),
1120-1136.
[26] Sesack, S.R., Grace, A.A. (2010). Cortico-Basal-Ganglia Reward Network,
Neuropsychopharmacology Reviews, 35, 27-47.
82
[27] Nicola, S.M. (2007). The nucleus accumbens as part of a basal ganglia action
selection circuit, Psychopharmacology, Volume 191, Number 3,
521-550.
[28] Cardinal, R.N., Winstanley, C.A., Robbins, T.W., Everitt, B.J. (2004).
Limbic Corticostriatal Systems and Delayed Reinforcement,
Annals of the New York Academy of Sciences, 1021, 33-50.
[29] Haber, S.N., Knutson, B. (2010). The Reward Circuit: Linking Primate
Anatomy and Human Imaging, Neuropsychopharmacology
Reviews, Vol. 35, 4-26.
[30] Mayhew, K.P., Flay, B.R., Mott, J.A. (2000). Stages in the development of
adolescent smoking, Drug and Alcohol Dependence, 59 Suppl. 1,
61–81.
[31] Spanagel, R., Heilig, M. (2005). Addiction and Its Brain Science, Addiction,
vol.100, no.12, 1813-1822.
[32] Kalivas,
P.W.
(2002).
Neurocircuitry
of
Addiction,
Neuropsychopharmacology: The Fifth Generation of Progress,
chapter 95, 1357-1366, Lippincott ,Williams & Wilkins.
[33] Peele, S., Alexander, B.K. The Meaning of Addiction, chapter 3 – Theories of
Addiction, http://www.peele.net/lib/moa3.html, alındığı tarih:
24.05.2010.
[34] Delgado, M.R. (2007). Reward-Related Resposes in the Human Striatum,
Annals of the New York Academy of Sciences, 1104, 70-88.
[35] Dayan, P. (2009). Dopamine, Reinforcement Learning, and Addiction,
Pharmacopsychiatry, 42, 56-65.
[36] Solomon, R.L., Corbit, J.D. (1978). An Opponent-Process Theory of
Motivation, The American Economic Review, Vol. 68, No.6, 12-24.
[37] Hyman, S.E., Malenka, R.C., Nestler, E.J. (2006). Neural Mechanisms of
Addiction: The Role of Reward-Related Learning and Memory,
Annual Review of Neuroscience, vol.29, 565-598.
[38] Koob, G.F. (2009). Brain stress systems in the amygdala and addiction, Brain
Research, Vol. 1293, 61-75.
[39] Koob, G.F., Le Moal, M. (2001). Drug Addiction, Dysregulation of Reward,
and Allostasis, Neuropsychopharmacology, vol.24, no.2, 97-129.
[40] Koob, G.F., Le Moal, M. (2008). Neurobiological mechanisms for opponent
motivational processes in addiction, Phil. Trans. R. Soc. B, 363,
3113–3123.
[41] Sutton, R.S., Barto, A.G. (1999). Reinforcement Learning:An Introduction,
2nd printing, MIT Press, Cambridge, MA.
[42] Schultz, W., Dayan, P., Montague, P.R. (1997). A Neural Substrate of
Prediction and Reward, Science, 275(5306), 1593-1599.
[43] Saal, D., Dong, Y., Bonci, A., Malenka, R.C. (2003). Drugs of abuse and
stress trigger a common synaptic adaptation in dopamine neurons,
Neuron, volume 37, no.4, 577-582.
83
[44] Self, D.W. (1998). Neural substrates of drug craving and relapse in drug
addiction, Annals of Medicine, 30: 4, 379 - 389.
[45] Di Chiara, G. (2000). Role of Dopamine in the Behavioural Actions of
Nicotine Related to Addiction, European Journal of
Pharmacology, 393, 295-314.
[46] Laviolette, S.R., van der Kooy, D. (2001). GABA(A) receptors in the ventral
tegmental area control bidirectional reward signalling between
dopaminergic and non-dopaminergic neural motivational systems,
European Journal of Neuroscience, Vol.13, 1009-1015.
[47] Vargas-Perez, H., Ting-A-Kee, R., van der Kooy, D. (2009). Different neural
systems mediate morphine reward and its spontaneous withdrawal
aversion, European Journal of Neuroscience, Vol. 29, 2029-2034.
[48] Graupner, M., Gutkin, B. (2009). Modeling nicotinic neuromodulation from
global functional and network levels to nAChR based mechanisms,
Acta Pharmacol Sin., 30(6),681-93.
[49] Mansvelder, H.D., McGehee, D.S. (2002). Cellular and Synaptic Mechanisms
of Nicotine Addiction, J. Neurobiology, vol. 53, 606-617.
[50] Grace, A.A., Floresco, S.B., Goto, Y., Lodge, D.J. (2007). Regulation of
Firing of Dopaminergic Neurons and Control of Goal-Directed
Behaviors, Trends in Neurosciences, vol.30 no.5, 220-227.
[51] Graupner, M., Gutkin, B. (2008). Nicotine control of dopamine signaling in
the Ventral Tegmental Area, NeuroComp 2008, Ekim 8-11,
Marsilya, Fransa.
[52] Yu, A.J., Dayan, P. (2005). Uncertainty, neuromodulation, and attention,
Neuron, vol.46(4), 681-692.
[53] Ahmed, S.H., Graupner, M., Gutkin, B. (2009). Computational Approaches
to the Neurobiology of Drug Addiction, Pharmacopsychiatry, vol
42 (suppl. 1), 144-152.
[54] Redish, A.D. (2009). Addiction as a Computational Process Gone Awry,
Science, 306, 1944-1947.
[55] Grossberg, S., Gutowski, W.E. (1987). Neural Dynamics of Decision Making
Under Risk: Affective Balance and Cognitive-Emotional
Interactions, Psychological Review, Vol. 94, No. 3, 300-318.
[56] Grossberg, S., Schmajuk, N.A. (1987). Neural dynamics of attentionally
modulated Pavlovian conditioning: Conditioned reinforcement,
inhibition, and opponent processing, Psychobiology, Vol. 15, No.3,
195-240.
[57] Daw, N.D., Kakade, S., Dayan, P. (2001). Opponent Interactions Between
Serotonin and Dopamine, Neural Networks, 15, 603-616.
[58] Dranias, M.R., Grossberg, S., Bullock, D. (2008). Dopaminergic and nondopaminergic value systems in conditioning and outcome-specific
revaluation, Brain Research, Vol.1238, 239-287.
84
[59] Litt, A., Eliasmith, C., Thagard, P. (2008). Neural affective decision theory:
choices, brains, and emotions, Cognitive Systems Research, 9(4),
252-273.
[60] Frank, M.J., Claus, E.D. (2006). Anatomy of a decision: striato-orbitofrontal
interactions in reinforcement learning, decision making, and
reversal, Psychological review, Vol. 113, No. 2, 300-326.
[61] Levine, D.S. (2006). Emotion and Decision Making: Short-term Reactions
versus Long-term Evaluations, International Joint Conference on
Neural Networks 2006 (IJCNN '06), Vancouver, BC, Canada, July
16-21.
[62] Guthrie, M., Myers, C.E., Gluck, M.A. (2009). A neurocomputational model
of tonic and phasic dopamine in action selection: A comparison
with cognitive deficits in Parkinson’s disease, Behavioral Brain
Research, 200(1), 48-59.
[63] Dezfouli, A., Piray, P., Keramati, M.M., Ekhtiari, H., Lucas, C., Mokri, A.
(2009). A Neurocomputational Model for Cocaine Addiction,
Neural Computation, 21, 2869-2893.
[64] Daw, N. D. (2003). Reinforcement learning models of the dopamine system and
their behavioral implications, (doctoral dissertation), Carnegie
Mellon University, Adres: www.cns.nyu.edu/~daw/thesis.pdf .
[65] Zhang, J., Berridge, K.C., Tindell, A.J., Smith, K.S., Aldridge, J.W. (2009).
A Neural Computational Model of Incentive Salience, PLoS
Computational Biology, 5(7).
[66] Levy, Y.Z., Levy, D., Meyer, J.S., Siegelmann, H.T. (2009). Drug Addiction:
A Computational Multiscale Model Combining Neuropsychology,
Cognition, and Behavior, Proceedings of the International
Conference on Bio-inspired Systems and Signal Processing
(BIOSIGNALS), Porto, Portugal, January 14-17.
[67] Huys, Q.J.M., Beck, A., Dayan, P., Heinz, A. (2011). Neurobiological
understanding and computational models of addictive behavior,
Phenomenological Neuropsychiatry: Bridging the Clinic and
Clinical Neuroscience, Springer Science.
[68] Busemeyer, J.R., Stout, J.C., Finn, P. (2010). Using Computational Models to
Help Explain Decision Making Processes of Substance Abusers,
Cognitive and Affective Neuroscience of Psychopathology, Oxford
University Press.
[69] Jarvis, M.J. (2004). ABC of smoking cessation - Why people smoke, BMJ,
328(7434): 277–279.
[70] Ortells, M.O., Barrantes G.E. (2010). Tobacco addiction: a biochemical
model of nicotine dependence, Med Hypotheses., 74(5):884-94.
[71] Foulds, J. (2006). The neurobiological basis for partial agonist treatment of
nicotine dependence: varenicline, Int J. Clin. Pract., 60(5):571-6.
[72] Oster, A.M., Gutkin, B.S. (2011). A reduced model of DA neuronal dynamics
that displays quiescence, tonic firing and bursting, J Physiol Paris..
85
[73] Ermentrout, G.B., Terman, D.H. (2010). Mathematical Foundations of
Neuroscience, Springer.
[74] Humphries, M.D., Stewart, R.D., Gurney, K.N. (2006). A Physiologically
Plausible Model of Action Selection and Oscillatory Activity in the
Basal Ganglia, Journal of Neuroscience, 26(50), 12921-12942.
[75] Sengor, N.S., Karabacak, O., Steinmetz, U. (2008). A Computational Model
of Cortico-Striato-Thalamic Circuits in Goal-Directed Behavior,
LNCS 5163, Proceedings of ICANN, 328-337.
[76] Taylor, N.R., Taylor, J.G. (2000). Hard-wired Models of Working Memory
and Temporal Sequence Storage and Generation, Neural Networks,
13, 201–224.
[77] Taylor, J.G., Taylor, N.R. (2000). Analysis of Recurrent Cortico-Basal
Ganglia-Thalamic Loops for Working Memory, Biological
Cybernetics, 82, 415–432.
[78] Gurney, K., Prescott, T.J., Redgrave, P. (2001). A Computational Model of
Action Selection in the Basal Ganglia I: A New Functional
Anatomy, Biological Cybernetics, 84, 401–410.
[79] Gurney, K., Prescott, T.J., Redgrave, P. (2001). A Computational Model of
Action Selection in the Basal Ganglia II: Analysis and Simulation
of Behaviour, Biological Cybernetics, 84, 411–423.
[80] Kuznetsov, Y.A. (1995). Elements of Applied Bifurcation Theory, SpringerVerlag.
[81] Izhikevich, E.M. (2007). Dynamical Systems in Neuroscience, MIT Press.
[82] Kandel, E., Schwartz, J., Jessell, T. (2000). Principles of Neural Science, 4th
ed., McGraw-Hill.
[83] McCarthy, M.M., Moore-Kochlacs, C., Gu, X., Boyden, E.S., Han, X.,
Kopell, N. (2011). Striatal Origin of the Pathologic Beta
Oscillations in Parkinson’s Disease, Proceedings of the National
Academy of Sciences of the USA, 108(28),11620-11625.
[84] Terman, D., Rubin, J.E., Yew, A.C., Wilson, C.J. (2002). Activity Patterns in
a Model for the Subthalamopallidal Network of the Basal Ganglia,
Journal of Neuroscience, 22(7), 2963–2976.
[85] Gerstner, W., Kistler, W.M. (2002). Spiking Neuron Models, Cambridge
University Press.
[86] Shen, W., Hernandez-Lopez, S., Tkatch, T., Held, J.E., Surmeier, D.J.
(2004). Kv1,2-Containing K Channels Regulate Subthreshold
Excitability of Striatal Medium Spiny Neurons, J. Neurophysiol.,
91(3), 1337-49.
[87] Guo, Y., Rubin, J.E. (2011). Multi-site stimulation of subthalamic nucleus
diminishes thalamocortical relay errors in a biophysical network
model, Neural Net., 24(6), 602-616.
[88] Griguoli, M., Scuri, R., Ragozzino, D., Cherubini, E. (2009). Activation of
nicotinic acetylcholine receptors enhances a slow calcium-
86
dependent potassium conductance and reduces the firing of stratum
oriens interneurons, Eur. J. Neurosci., 30(6), 1011-22.
[89] Tepper, J.M. (2010). Neurophysiology of Substantia Nigra Dopamine
Neurons: Modulation by GABA, Handbook of Basal Ganglia
Structure and Function, bölüm 16, Elsevier.
[90] Kropotov, J.D., Etlinger, S.C. (1999). Selection of Actions in the Basal
Ganglia Thalamacortical Circuits: review and Model, Int. J. of
Psychopysiology, 31,197-217.
[91] Magill, P.J., Bolam, J.P., Bevan M.D. (2001). Dopamine Regulates the
Impact of the Cerebral Cortex on the Subthalamic Nucleus Globus
Pallidus Network, Neuroscience, 106 (2), 313-330.
[92] Khalil, H.K. (2000). Nonlinear Systems, 3rd ed., Pearson Education.
[93] Wiggins, S. (1988). Global Bifurcations and Chaos, Springer-Verlag.
[94] Hoppensteadt, F.C., Izhikevich, E.M. (1997). Weakly Connected Neural
Networks, Springer-Verlag.
87
88
EKLER
EK A :
Dallanmalar
EK B :
Ödülün etkisini içeren dorsal ve ventral striatal eylem seçimi devresine
ilişkin denklemler
89
EK A
Dallanma: Bir parametrenin değişimine bağlı olarak denge noktalarında, periyodik
yörüngelerde, veya bunların kararlılık niteliklerinde gözlenen değişimlerdir [92]. □
Bir başka tanıma göre [93], sonsuz boyutlu dinamik sistemler uzayında yapısal
kararlı dinamik sistemler, bir S açık kümesi oluştururlar. Bu kümenin tümleyeni SC,
dallanmaları içerir; yani sonsuz boyutlu dinamik sistemler uzayında dallanma,
yapısal kararsız olan herhangi bir dinamik sistemdir.
Bilişsel süreçlerin modellenmesinde ele alınacak dinamik yapıların da böyle yapısal
karasız sistemler olması gerektiği bir nöronun davranışına dikkatli bakıldığında
görülebilir. Bir postsinaptik nöronun ateşlenmesi, presinaptik nöronların birikimsel
etkilerine bağlıdır. Bir sinapsta bağlantı yapan binlerce nöron olabilir ve hepsinin
aksiyon potansiyelleri toplamı, postsinaptik nöronun toplam potansiyelini oluşturur.
Postsinaptik nöronun aksiyon potansiyeli üretebilmesi için toplam postsinaptik
potansiyelin (PSP) bir ateşlenme eşik düzeyini aşması gerekir. Presinaptik nöronların
her birinin tek başına toplam PSP’ine etkisi çok küçük olabilir. Ancak toplam PSP,
belli bir eşik düzeyine çok yaklaştığında sadece tek bir presinaptik nörondan gelen
aksiyon potansiyeli bile toplama eklenerek eşiğin aşılmasını sağlayabilir. Bu
durumdaki bir postsinaptik nöronun etkinliği, bir dinamik sistem olarak ele
alındığında, dallanma noktasına yakındır. Başka bir deyişle beyindeki süreçlerde
sadece dinamikleri dallanma noktasında çalışan nöronlar etkindir [94].
Bir dinamik sistemin dallanmalarını incelemek için dengedeki sistem üzerinde çok
küçük oynamalar yapılır, adeta sistem hafifçe dürtülür. Böylece yeni denge noktaları
(sabit noktalar) yaratılabilir, varolanlar yok edilebilir veya kararlılıkları değişebilir.
Bir hiperbolik sabit nokta için eğer tüm özdeğerler sol yarı-düzlemdeyse bu sabit
nokta kararlıdır. Eğer tüm özdeğerler sağ yarı-düzlemdeyse bu sabit nokta
kararsızdır, ancak hep kararsız kalacağından yapısal kararlıdır. Oysa sabit nokta
hiperbolik değilse, sanal eksen üzerindeki özdeğerler küçük düzensizliklerle sağ veya
sol yarı-düzleme kayabilir. Bu da sabit noktanın kararlılık niteliğini tamamen
değiştirebilir. Đşte bu yüzden hiperbolik sabit noktalar için dallanma söz konusu
değildir, sadece hiperbolik olmayan sabit noktalar dallanabilir.
Eyer noktası (saddle node, limit point) dallanmasında varolan iki denge noktası
bir parametre değiştikçe birbirlerine yaklaşırlar ve en sonunda çarpışırlar.
Çarpışmadan sonra da parametreyi değiştirmeye devam edersek artık bu sistemin
denge noktası olmayacaktır.
x(k + 1) = tanh(a ⋅ x(k ) + b)
(A.1)
A.1 sistemini göz önüne alalım. Bu sistem x0 = 2, a = 3, b = -1 başlangıç koşullarıyla
çalıştırıldığında ve b parametresi sabit tutulup sadece a parametresine bağlı dallanma
diyagramı çizdirildiğinde a ≈ 2,622 değerinde eyer noktası dallanması
gözlenmektedir. Bu değerlere ait dallanma diyagramı Şekil A. 1’de görülmektedir.
Hopf dallanması, üstkritik ve altkritik olarak iki başlıkta incelenir. Üstkritik Hopf
dallanmasında kararlı denge noktası kararsız denge noktasına dönüşürken bunun
etrafında birbirinin simetriği kararlı denge noktaları oluşur. Yeni oluşan bu denge
noktaları ise kararlı bir limit çevrime doğru çekilirler. Altkritik Hopf dallanmasında
ise bir kararlı denge noktası kendi etrafındaki kararsız limit çevrimle çarpışarak
kararsız bir denge noktasına dönüşür.
90
Şekil A. 1: a) x& = r + x 2 sisteminde eyer noktası dallanması oluşması b) A2.1 sistemi
için b = -1 iken a parametresine bağlı dallanma diyagramı
Çizelge A.1 : (A.1) sistemi için dallanma noktaları (EP: uç nokta, HB: Hopf
dallanması, LP: eyer noktası (limit point) dallanması)
Dal
1
1
1
1
3
3
3
Tip
EP
EP
HB
EP
LP
EP
EP
Etiket
1
2
3
4
5
6
7
a
2.000000E+00
4.140000E+00
-1.796878E+00
-2.289864E+00
-1.000000E+00
-2.501777E+00
-2.767454E+00
X1
-9.993275E-01
-9.999907E-01
-6.659330E-01
-5.824779E-01
-4.837732E-06
7.747801E-01
-7.991602E-01
b
-9.675239E-06
2.970505E+00
-3.307923E+00
A.1 sistemi, x0 = 0.8 başlangıç koşuluyla çalıştırıldığında ve b = -2 olarak sabit
tutulduğunda -2 < a < 4 aralığında değişirken a = -1,797 noktasında Hopf dallanması
yapar (Şekil A. 2.a). Bu durumda -2,5 < b < 2,5 aralığında değiştirerek iki
parametreli dallanma diyagramını çizersek eyer noktası dallanması gözleriz (Şekil A.
2.bHata! Başvuru kaynağı bulunamadı.). Bu dallanma diyagramlarına ait AUTO
ile elde edilen noktalar çizelge A.1’de görülebilir.
Şekil A. 2 : a) (A.1) sisteminde yalnız a parametresi değiştirildiğinde Hopf
dallanması b) (A.1) sisteminde a, b parametreleri aynı anda değiştirildiğinde eyer
noktası dallanması
91
EK B
Dorsal ve ventral bazal ganglia eylem seçimi devresine ilişkin iletkenlik tabanlı
denklemler:
Cv& AC = (− I L − I K − I Na − I LCa − I AHP − I Ca + I app )
(B.1a)
Cv& STRD1 = (− I L − I K − I Na − I LCa − I AHP − I Ca − I Kv1 + I AC _ STRD1 + I SNC _ STRD1 )
(B.1b)
Cv& STRD 2 = (− I L − I K − I Na − I LCa − I AHP − I Ca − I Kv1 + I AC _ STRD 2 + I SNC _ STRD 2 )
(B.1c)
Cv& NACD1 = (− I L − I K − I Na − I Ca − I LCa − I AHP − I Kv1 K
+ I AC _ NACD1 + I VTA _ NACD1 )
Cv& NACD 21 = (− I L − I K − I Na − I Ca − I LCa − I AHP − I Kv1 K
+ I AC _ NACD 21 + I VTA _ NACD 21 )
Cv& NACD 22 = (− I L − I K − I Na − I Ca − I LCa − I AHP − I Kv1 K
+ I AC _ NACD 22 + I VTA _ NACD 22 )
Cv&GPE = (− I L − I K − I Na − I T − I Ca − I AHP + I STRD 2 _ GPE K
+ I NACD 21 _ GPE + I NACD 22 _ GPE )
Cv& STN = (− I L − I K − I Na − I T − I Ca − I AHP + I GPE _ STN + I AC _ STN )
Cv&GPI = (− I L − I K − I Na − I T − I Ca − I AHP − I STRD1 _ GPI + I NAC _ GPI K
+ I STN _ GPI + I GPE _ GPI )
(B.1d)
(B.1e)
(B.1f)
(B.1g)
(B.1h)
(B.1i)
Cv&THL = (− I L − I K − I Na − I T − I AHP + I GPI _ THL + I MC _ THL )
(B.1j)
Cv& MC = (− I L − I K − I Na − I LCa − I AHP − I Ca + I THL _ MC )
(B.1k)
Cv& SNC = (− I L − I K − I Na + I SNc )
(B.1l)
Cv&VTA = 1 / µVTA ⋅ (− I L − I K − I LCa − I GABA − X APA ⋅ I KSK K
− X TTX ⋅ ( I Na + I Kdr + I NMDA ) + I AC _ VTA + I NACD 21 _ VTA + I NACD 22 _ VTA )
Cv& AML = (− I L − I K − I Na + I AC _ AML + I VTA _ AML + I NACD1 _ AML K
+ I NACD 21 _ AML + I NACD 22 _ AML )
Cv& PPT = (− I L − I K − I Na + I AML _ PPT + I NACD1 _ PPT + I NACD 21 _ PPT + I NACD 22 _ PPT )
IL, INa,IK ve ICa akımları için kullanılan denklemler:
92
(B.1m)
(B.1n)
(B.1o)
I L = g L (v − V L )
(B.2a)
I Na = g Na ⋅ h ⋅ m 3 (v − V Na )
(B.2b)
I K = g K ⋅ n 4 (v − V K )
(B.2c)
I Ca = g Ca ⋅ S ∞2 (v − VCa )
(B.2d)
Goldman-Hodgkin-Katz denklemi kullanılarak yazılan yüksek eşikli Ca akımı (IL_Ca)
denklemi:
I LCa = g T ⋅ m 2
v m z 2 F 2 [Ca 2+ ]e ⋅ e − vm zF / RT − [Ca 2+ ]i
RT
1 − e −vm zF / RT
(B.3)
Hiperpolarizasyon sonrası Ca akımı (IAHP) denklemi aşağıdaki gibi yazılır:
I AHP = g AHP (v − V K )
[Ca 2+ ]
[Ca 2+ ] + k L
(B.4)
Str için Kv1 tipi iyon kanalı dinamikleri aşağıdaki biçimde belirlenir:
I Kv1 = g K ⋅ m 2 ⋅ h(v − V K )
(B.5)
GPe ve GPi’de kullanılan düşük eşikli T-tipi Ca akımı:
I T = g T ⋅ a ∞3 ⋅ r (v − VCa )
(B.6)
STN için kullanılan düşük eşikli T-tipi Ca akımı:
I T = g T ⋅ a ∞3 ⋅ b∞2 (v − VCa )
(B.7)
Zaman aralıklarını denk getirmek için VTA nöronuna ait dinamik sistem 10 kat
hızlandırılmıştır (µVTA). VTA nöronunu modellemede kullanılan akımlar:
1


IK = gK 
(V K − v)
− ( v − k1 ) / k 2 
1+ e

(B.8a)
I LCa = G LCa (VCa − v)
(B.8b)

α C (v)
L
L 


GCa
= g Ca
 α C (v ) + β C ( v ) 
(B.8c)
α C (v) = −0.0032
(v + 50)
e
( − ( v + 50 ) / 5 ) −1)
β C (v) = e ( − ( v +55) / 40)
93
(B.8d)
(B.8e)
I KSK = GSK (u )(VK − v)
 u4 

G SK (u ) = g SK  4
4 
 u + K1 
(B.8f)
= GSK (u )(VK − v)
 u4 

G SK (u ) = g SK  4
4 
+
u
K

1 
(B.8g)
I
SK
K
VTA nöronundaki hızlı süreçler, Na dinamiğine bağlıdır. Ayrıca geciktirilmiş
doğrultucu bir potasyum akımı (IdrK), bu dinamiği dengeler. Bu akımlar ile hızlı
aktivasyon ve yavaş inaktivasyon süreçlerinin denklemleri aşağıdadır:
I Na = g Na ⋅ m∞3 ⋅ h ⋅ (v − V Na )
(B.9a)
 p 2 − v 
1

1 − tanh 
2
p
3


(B.9b)
h& = α h (v) ⋅ (1 − h) − β h (v)
(B.9c)
m∞ =
α h (v ) =
 ha 2 − v  
ha1 

1 + tanh 
h
2 
 a 3 
(B.9d)
β h (v ) =
 hb 2 − v 
hb1 

1 − tanh 
2 
h
 b 3 
(B.9e)
I Kdr = g K ⋅ n 4 (v − V K )
(B.9f)
n& = α n (v) ⋅ (1 − n) − β n (v) ⋅ n
(B.9g)
α n (v ) =
 na 2 − v 
n a1 

1 − tanh 
2 
n
 a 3 
(B.9h)
β n (v ) =
 nb 2 − v  
nb1 

1 + tanh 
2 
n
 b 3 
(B.9i)
VTA nöronunda L-tipi Ca akımı IL_Ca, SK-tipi potasyum akımı ISKK ile karşılıklı
etkileşim içindedir. SK-tipi akım, hem gerilime hem de yoğunluk değişimi u dinamik
denklemiyle verilen Ca seviyesine bağlı olarak değişir. Ca, hücreye en fazla L-tipi
Ca ve NMDA kanalları vasıtasıyla girer ve daha sonra Ca pompa sistemiyle dışarı
atılır. Ca2+ yoğunluk değişimi:
u& =
2 f Ca
r
L
Ca
 I Ca

+ I NMDA

− I pump 
H


94
(B.10a)
I pump =
M pump ⋅ u
(B.10b)
u + K pump
Hızlı Na ve potasyum akımlarının yanında magnezyum (Mg) miktarına bağlı değişen
NMDA akımı da önemlidir:
I NMDA = G NMDA (v) ⋅ (v − V NMDA )
(B.11a)
stim
c

g NMDA
+ g NMDA
G NMDA (v) = 
− me⋅( v + 20 )
 1 + 0.28 ⋅ ( Mg ) ⋅ e



(B.11b)
g, m∞, n∞ ve mLCa∞ fonksiyonlarını göstermek üzere iyon kanalı için yazılan
fonksiyonlar aşağıdaki gibi parametrik olarak ifade edilebilir:
−a−v
g ∞ (v) =
− a − v + b⋅e
 − c − d ⋅v 


e


 − v −35 − v 
 +

10 
0.0027 ⋅ e  20
h∞ (v) =
0.0027 ⋅ e
 − v − 35 − v 
+


10 
 20
e
τ g (v ) =
 − a −v 


 10 
0.0027 ⋅ e
 −v 


 − v −35 − v 
 +

10 
 20
 −v 


 20 
(B.12b)
+1
−1
 − d − e⋅v 


f


 −35 − v 


10 
e
(B.12a)
+ 0.0027 ⋅ e  20 
+ 0.0027 ⋅ e
b ⋅ (−a − v) + c ⋅ e
τ h (v ) =
−b⋅e
 −v 


 f 
−c⋅e
(B.12c)
 −v 


 g 
−1
− 0.0027 ⋅ e
 −v 


 20 
(B.12d)
+1
Đyon kanalı fonksiyonlarının parametrik ifadelerinde her parametre için kullanılan
değerlerin tablosu çizelge B.1 ile verilmiştir:
Çizelge B.1 : Đyon kanalı fonksiyonlarında kullanılan parametreler.
Değişken
m∞
n∞
mL 2 +∞
a
40
55
28
b
1.1
5.545
10
c
360
440
252
d
14
9
14
e
90
80
70
f
18
80
14
g
-
τm
τn
40
55
10
0.1
0.01
0.1
0.108
0.0549
1.2
360
440
50
14
9
6
90
80
50
18
80
50
Ca
τ m LCa
2+
Nöronlar için kullanılan hücre zarı parametreleri çizelge B.2 ile verilmiştir.
95
Çizelge B.2 : Nöronlar için hücre zarı parametreleri.
Parametre
AC, MC
VL
VNa
VK
VCa
gL
gNa
gK
gCa
gT
gAHP
gL_Ca
gKv1,2
-54.6
55
-77
140
0.3
120
36
0.1
37
0.009
0.009,
0.00003
1
22
10
8
-42.97
ε
C
kCa
kL
τr
σa
σb
σr
σs
θa
θb
θr
θs
StrD1, D2
NAc D1,
D2
-54.6
55
-77
140
0.3
120
36
0.24
4.5
0.0012
GPe,
GPi
STN
THL
-54
55
-80
120
0.4
120
30
1
0.4
24
-
-54.6
55
-77
140
0.3
120
36
2.7
1
9
-
-54
55
-80
120
0.3
120
30
1
24
0.00006
0.0001
1
20
6
8
-42.97
1
21
35
30
2.5
-2.2
-2
-66
-70
-41
-
0.0002 0.0002
1
28
10
7.8
-0.1
-2
8
-66.7
0.4
-72
-42.97
1
25
12
30
7.8
-0.1
-4
-66.7
0.4
-84
-
Đyon kapılarına ait diferansiyel denklemlerin ifadesi, ortak olarak bulundukları
nöronlara göre gruplanmıştır. AC, MC, StrD1, StrD2, NAcD1, NAcD21, NAcD22,
GPE, GPi, STN, THL, AML, PPT için g parametresi m, n, h ve mLCa fonksiyonlarını
ifade etmek üzere B.13 geçerlidir. Aynı denklem ile GPE, GPi, STN, THL nöronları
için r fonksiyonunun ifadesi de yazılır.
g& x =
g ∞x − g x
τg
(B.13)
x
Ca dinamikleri için iyon yoğunluğu ifadesi:
[Ca ]
2+
i
= α ⋅ I Ca _ X − τ T [Ca 2+ ]i
I Ca _ X = I LCa + I Ca ,
x : AC , MC , STRD1, STRD 2, NACD1, NACD 21, NACD 22
I Ca _ X = I T + I Ca ,
x : GPE , GPi, STN
96
(B.14a)
(B.14b)
(B.14c)
I Ca _ X = I T ,
x : THL
(B.14d)
α =1
(B.14e)
τ T = k Ca
(B.14f)
Ca kanalı fonksiyonlarının ifadeleri de ortak oldukları nörona göre gruplanarak
verilmiştir. GPE, GPi, STN, THL için c, a∞ ve r∞ fonksiyonlarını göstermek üzere
ortak yazılan ifade:
C ∞ _ X (v ) =
1
 − (v − θ g ) 

1 + exp
 σ

g


(B.15)
Aynı B.15 denklemiyle AC, MC, StrD1, StrD2, NAcD1, NAcD21, NAcD22, GPE,
GPi, STN nöronları için s∞ denklemi de yazılır. STN ve THL için b∞ ifadesi
aşağıdadır:
b∞ (r ) =
1
1
−
 − (r − θ b ) 
 −θ
 1 + exp b
1 + exp
 σb

 σb
τ rSTN (v) = 43 +



19.5
 − (v − 68) 
1 + exp

 − 2 .2 
(B.16a)
(B.16b)
Nöronlar arasındaki bağlantılara ait diferansiyel denklemler aşağıdaki gibi yazılır:
rel&X −Y = α ⋅ H ∞ (v x )(v y − ϕ )(1 − rel X −Y ) − β ⋅ rel X −Y
H ∞X −Y (v) =
1
 − (v − θ H ) 

1 + exp
 σH

(B.17a)
(B.17b)
Bu bağıntı SNc ile StrD2 ve VTA ile NAc D2 nöronları arasındakiler hariç tüm
nöronlar arası bağlantılar için aynıdır. Đstisnai duruma ait denklem:
rel&X −Y = α ⋅ H ∞ (v X ) ⋅ H ∞ (vY )(vY − ϕ )(1 − rel X −Y ) − β ⋅ rel X −Y
(B.18)
Nöronlar arasındaki bağlantıyı sağlayan akımların genel ifadesi aşağıda verilmiştir:
I X −Y = g X −Y ⋅ (v y − V X −Y ) ⋅ rel X −Y
(B.19)
Nöronlar arası bağlantılar için kullanılan parametreler çizelge B.3 ile verilmiştir.
97
Çizelge B.3 : Nöronlar arası bağlantı parametreleri.
AC-StrD1
AC-StrD2
AC-NAcD1
AC-NAcD21
AC-NAcD22
StrD2-GPe
StrD1-GPi
GPe-GPi
GPe-STN
AC-STN
STN-GPi
GPi-Thl
Thl-MC
SNc-StrD1
SNc-StrD2
VTA-NAcD1
VTA-NAcD21
VTA-NAcD22
AC-VTA
NAcD21-VTA
NAcD22-VTA
NAcD1-GPi
NAcD21-GPe
NAcD22-GPe
MC-AC
AML-AC
AC-AML
AML-VTA
VTA-AML
PPT-VTA
AML-PPT
NAcD1-PPT
NAcD21-PPT
NAcD22-PPT
AML-NAcD1
AML-NAcD21
AML-NAcD22
NAcD1-AML
NAcD21-AML
NAcD22-AML
SNc-AC
SNc-AML
SNc-PPT
SNc-GPi
SNc-STN
SNc-GPe
SNc-StrD1
SNc-StrD2
α
0.01
0.01
0.01
0.01
0.01
0.039
0.039
0.039
0.02
0.02
0.039
0.01
0.02
0.02
0.02
0.01
0.01
0.01
0.01
0.01
0.01
0.039
0.039
0.039
0.01
0.02
0.02
0.01
0.02
0.01
0.02
0.02
0.02
0.02
0.01
0.01
0.01
0.02
0.02
0.02
0.02
0.02
0.02
0.02
0.02
0.02
0.02
0.02
β
1.43
1.43
1.43
1.43
1.43
4
4
4
3
3
4
1.2
2
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
4
4
4
1.2
2
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
1.43
φ
15
15
15
15
15
30
50
50
30
30
30
-35
30
30
200
15
15
15
15
15
15
50
30
30
15
30
30
30
30
30
30
30
30
30
15
15
15
30
30
30
30
30
30
30
30
30
30
30
98
VX-Y
0
0
0
0
0
-100
-100
-100
-100
0
0
-100
0
0
-100
0
-100
-100
0
-100
-100
-100
-100
-100
0
0
0
0
0
0
0
-100
-100
-100
0
0
0
-100
-100
-100
0
0
0
-100
0
-100
-100
-100
gX-Y
1.25
1.25
1.25
1.25
1.25
14
1
24
0.01
6
1.4
4
0.04
0.001
20
0.001
20
20
1.25
1
1
1
14
14
0.8
0.5
0.5
0.5
0.5
0.5
0.5
0.5
0.5
0.5
0.5
0.5
0.5
0.5
0.5
0.5
0
0
1
0.8
1
0.5
0.5
0.5
θH
-42.97
-42.97
-42.97
-42.97
-42.97
-32.97
-20.97
-42
25
-38
-55
-8
-42.97
-20
-42
-20
-42
-42
-42.97
-42.97
-42.97
-20.97
-32.97
-32.97
-8
-42.97
-20
-42.97
-20
-42.97
-20
-20
-20
-20
-42.97
-42.97
-42.97
-20
-20
-20
-20
-20
-20
-20
-20
-20
-20
-20
σH
8
8
8
8
8
2
2
10.5
1
2
10
1
8
2
2.5
2
2.5
2.5
8
8
8
2
2
2
1
8
2
8
2
8
2
2
2
2
8
8
8
2
2
2
2
2
2
2
2
2
2
2
ÖZGEÇMĐŞ
Ad Soyad:
Selin Metin
Doğum Yeri ve Tarihi:
Ankara , 4 Ekim 1977
Adres:
E-Posta:
[email protected]
Lisans:
Yıldız Teknik Üniversitesi Elektronik ve
Haberleşme Müh.
Yüksek Lisans:
Đstanbul Teknik Üniversitesi Biyomedikal Müh.
Mesleki Deneyim ve Ödüller:
Selin Metin, 2000 yılından beri özel sektörde çeşitli kuruluşlarda AR-GE
mühendisi olarak görev yapmaktadır. Otomasyon, tüketici elektroniği, finans,
haberleşme sektörlerinde deneyim kazanmıştır. Yurtiçinde, yurtdışında ve
uluslararası ekiplerle gerçekleştirilen projelerde gömülü sistemlerde yazılım
tasarımı üzerine çalışmıştır.
Yayın ve Patent Listesi:
TEZDEN TÜRETĐLEN YAYINLAR/SUNUMLAR
Makale
Metin, S., Şengör, N.S. (2012). From Occasional Choices to Inevitable Musts: A
Computational Model of Nicotine Addiction, Computational Intelligence and
Neuroscience, vol.2012, doi: 10.1155/2012/817485.
Bildiri ve Sözlü Sunumlar
Metin, S., Şengör, N.S., 2010: Dynamical System Approach in Modeling
Addiction, Brain Inspired Cognitive Systems, July 14-16, 2010, Madrid, Spain.
99
Metin, S., Şengör, N.S., 2010: A Neurocomputational Model of Nicotine
Addiction Based on Reinforcement Learning, The 20th International Conference on
Artificial Neural Networks (ICANN 2010), Eylül 15-18, 2010, Selanik, Yunanistan.
Yucelgen, C., Denizdurduran, B., Metin, S., Elibol, R., Şengör, N.S., 2012: A
Biophysical Network Model of Basal Ganglia Pathways for Action Selection, The
22nd International Conference on Artificial Neural Networks (ICANN 2012),
September 11-14, 2012, Lausanne, Switzerland.
Metin, S., 2012: Ventral Striatal Yolun Karar Almaya Katkısı, bildiri, 1. Karmaşık
Dinamik Sistemler ve Uygulamaları Çalıştayı, Ekim 12-13, 2012, Ankara.
Poster ve Özet
Metin, S., Şengör, N.S., 2011: Nikotin Bağımlılığı Đçin Bir Hesaplamalı Model,
poster, 10. Ulusal Sinirbilim Kongresi, 8-12 Nisan 2011, Đstanbul.
Metin, S., Şengör, N.S., 2011: A neurocomputational model of nicotine addiction
based on reinforcement learning, poster sunumu ve özet, 13th Annual Meeting of the
SRNT Europe, September 8-11, 2011, Antalya, Turkey.
Metin, S., Şengör, N.S., 2011:A neurocomputational model of nicotine addiction
based on reinforcement learning, poster sunumu ve özet, Bernstein Conference 2011,
October 4-6, 2011, Freiburg, Germany.
Metin, S., Şengör, N.S., 2012: Contribution of the Ventral Striatal Pathway to
Decision Making, poster sunumu ve özet, The Second Symposium on the Biology of
Decision Making (SBDM 2012), May 10-11, 2012, Paris, France.
Metin, S., Şengör, N.S., 2012: Ventral Striatal Pathway Determines Actions
Employed: A Computational Model, poster sunumu ve özet, Bernstein Conference
2012, September 12-14, 2012, Munich, Germany.
100

"Eylem Seçiminin Limbik Sisteme Bağlı Olarak Dinamik

Transkript

Benzer belgeler

“Halk Savaşı”ndan “Halkın Gücü”ne?[1]

Raoul Wallenberg İnsan Hakları ve İnsancıl Hukuk Enstitüsü İnsan

Herkese Bilim Teknoloji 22 Nisan 2016

birleşik eylemler

Daha detaylı bilgi icin tıklayınız

Şartlar - Disney

Burada

Ekte - TİAK

AB OFİSİ PROJELERİ Program Proje No Adı Kısaltması

3. mimarlık öyküleri yarışması koşulluğu