Actualisation d`une interface cerveau

Préface
Ce projet final est le dernier travail de mes études de licence au Département de Génie
Informatique, Faculté d’Ingénierie et de Technologie, Université Galatasaray. Il consiste
en une réalisation d’une Interface Cerveau-Machine pour contrôler un robot humanoïde.
La réalisation de ce projet des fois a été difficile, cependant, ces périodes difficiles de travail m’a permis de construire une bonne connaissance sur les notions Interface CerveauMachine. J’espère que ce dernière projet sera un point de départ pour l’avenir de mes
études.
D’abord, je voudrais exprimer ma gratitude à mon conseiller Yard.Doç.Dr. R. Burak Arslan qui m’a guidé tout au long de ce projet final avec ses connaissances et son expérience.
Ensuite, je voudrais remercier à Ozan Çağlayan à cause de son support, son aide, sa
positive posture et son énergie qu’il partage avec tout le monde sans hésitation. Sans
doute que je ne pourrais pas arriver à réaliser ce projet sans leurs contributions.
Enfin, je remercie toutes mes professeurs, ma famille, mes amis qui m’aident tous ensemble de former ma personalité d’aujourd’hui. Pour les gens qui me connaissent, je
voudrais citer un parole de Manu Chao ;
"Toujours trop tôt pour un trop tard"
Mai 2014, Istanbul
Barış Serhan
ii
Table des Matières
Préface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ii
Table des Matières . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
iii
Liste des Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
v
Liste des Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
vii
Liste des Tableaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii
Résumé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ix
Özet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
x
1 INTRODUCTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.1
OBJECTIVE ET MOTIVATION . . . . . . . . . . . . . . . . . . . . . .
1
1.2
CONTOUR DU RAPPORT . . . . . . . . . . . . . . . . . . . . . . . . .
1
2 INTERFACES CERVEAU-MACHINE . . . . . . . . . . . . . . . . .
3
2.1
CERVEAU HUMAIN . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
2.1.1
Système Nerveux Central . . . . . . . . . . . . . . . . . . . . . .
5
2.1.2
Neurones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
2.1.3
Cortex Cérébral . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
2.1.3.1
Rythme Cérébral . . . . . . . . . . . . . . . . . . . . .
9
2.1.3.2
Potentiel évoqué . . . . . . . . . . . . . . . . . . . . .
11
2.2
IMAGERIE CEREBRALE . . . . . . . . . . . . . . . . . . . . . . . . .
12
2.3
ELECTROENCEPHALOGRAPHIE . . . . . . . . . . . . . . . . . . . .
14
2.3.1
Les Electrodes . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
2.3.1.1
Types des électrodes . . . . . . . . . . . . . . . . . . .
15
2.3.1.2
Localisation des électrodes . . . . . . . . . . . . . . . .
15
Plate-formes Logicielles . . . . . . . . . . . . . . . . . . . . . .
16
2.3.2
3 REALISATION DE NOTRE INTERFACE . . . . . . . . . . . . . . .
3.1
19
MATERIAUX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19
3.1.1
Emotiv EEG . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19
3.1.1.1
Emotiv SDK . . . . . . . . . . . . . . . . . . . . . . .
21
Kondo KHR-3hv . . . . . . . . . . . . . . . . . . . . . . . . . .
22
3.1.2.1
Carte wifi KCB-3WL . . . . . . . . . . . . . . . . . .
23
3.1.2.2
Heart2Heart . . . . . . . . . . . . . . . . . . . . . . .
24
l’Autres Matériels Additionnels . . . . . . . . . . . . . . . . . .
25
CONCEPTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
4 CONCLUSION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
29
Bibliographie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
3.1.2
3.1.3
3.2
iv
Liste des Notations
ADSL - Asymmetric Digital Subscriber Line (en ang.)
Ag - Argent
AgCl - Chorure d’Argent
API - Application Program Interface (en ang.)
BBA - Beyin Bilgisayar Arayüzü (en tur.)
BCI - Brain-Computer Interface (en ang.)
CPU - Central Processing Unit (en ang.)
CS - Channel Select (en ang.)
EEG - Electroencéphalographie
ECG - Electrocardiogramme
ECoG - Electrocorticographie
EDK.dll - Emotiv Development Kit’s Dynamic Linked Library (en ang.)
EOG - Electrooculogramme
EP - Potentiel Evoqué
EMG - Electromyogramme
fMRI - Functional Magnetic Resonance Imaging (en ang.)
fNIRS - Functional Near-Infrared Spectroscopy (en ang.)
GPIO - General-Purpose Input/Output (en ang.)
ICM - Interface Cerveau-Machine
ICO - Interface Cerveau-Ordinateur
IHM - Interfaec Homme-Machine
INRIA - Institut National de Recherche en Informatique et en Automatique
K+ - Potassium
v
LED - Light Emitted Diode (en ang.)
LIS - Locked-In Syndrome (en ang.)
MEG - Magnétoencéphalographie
MS - Microsoft
Na+ - Sodium
OS - Operating System (en ang.)
RAM - Random Access Memory (en ang.)
ROM - Read Only Memory (en ang.)
SE - Système d’Exploitation
SDK - Software Development Kit (en ang.)
SLA - Sclerose Latérale Amyotrophique
SNC - Système Nerveux Central
SMR - Sensory Motor Rhythm (en ang.)
SQUID - Superconducting Quantum Interference Device (en ang.)
USB - Universal Serial Bus (en ang.)
UDP - User Datagram Protocol
vi
Liste des Figures
2.1
Schéma général du fonctionnement d’une ICM . . . . . . . . . . . . . .
3
2.2
Le Cerveau humain . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
2.3
Système nerveux central . . . . . . . . . . . . . . . . . . . . . . . . . .
5
2.4
Un neurone . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
2.5
Potentiel d’Action . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
2.6
Les phases du potentiel d’action . . . . . . . . . . . . . . . . . . . . . .
8
2.7
Cortex cérébral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
2.8
Les Rythmes Cérébrals . . . . . . . . . . . . . . . . . . . . . . . . . . .
10
2.9
La Schema de la Chaîne des Intracorticaux Microélectrodes de UTAH . .
13
2.10 Placement des électrodes . . . . . . . . . . . . . . . . . . . . . . . . . .
16
2.11 Le système standard international 10-20 . . . . . . . . . . . . . . . . . .
17
3.1
Le Casque Emotiv . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
20
3.2
Les écrans des logiciels d’Emotiv . . . . . . . . . . . . . . . . . . . . . .
22
3.3
Kondo KHR-3hv . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
3.4
Carte wifi KCB-3WL . . . . . . . . . . . . . . . . . . . . . . . . . . . .
24
3.5
Un écran de Heart2Heart . . . . . . . . . . . . . . . . . . . . . . . . . .
25
3.6
Le schema qui montre l’entraînement du système . . . . . . . . . . . . .
26
3.7
Le schéma général du système . . . . . . . . . . . . . . . . . . . . . . .
28
Liste des Tableaux
2.1
Comparison des Méthodes d’Imagerie Cérébrale . . . . . . . . . . . . . .
13
Résumé
Les interfaces cerveau-machine (ICM) sont des appareils d’un type nouveau permettant la
communication directe entre le cerveau d’un utilisateur et une machine. Leurs objectif est
de fournir un moyen alternatif d’interaction sans la participation des voies musculaires. Ils
peuvent être réaliser grâce à la mesure non-invasive d’informations provenant du cortex
par électroencéphalographie (EEG). En jour à l’autre, EEG devient une technologie que
nous utilisons dans la vie quotidienne pour des jeu-vidéos et des raisons médicales au
moyen des produits abordables commercialisé par des différentes entreprisses.
Dans notre étude, nous allons actualiser une interface en utilisant une casque EEG à bas
prix et nous essaierons de contrôler un robot humanoïde par la pensée des sujets expérimentaux. Nous nous intéressons à voir la capacité et l’exactitude du contrôle des ICM’s
crées avec les systèmes EEG à bas prix. Nous voulons savoir s’il y a des possibilité de
créer ICM pour l’usage médicale à futur proche, spécifiquement la création des servanterobots contrôlé par le cerveau d’un patient paralysé.
ix
Özet
Beyin-bilgisayar arayüzleri (BBA), kullanıcısının beyni ve bir bilgisayar sistemi arasında
doğrudan iletişimi kurarak, herhangi bir kasın yardımı olmadan enformasyon aktarımını
sağlar. İnsan makina etkileşimine yeni bir boyut kazandıran bu sistemler, son zamanlarda oyun sektöründe ve tıbbi bilişim alanlarında günlük yaşamda karşımıza çıkmaya
başlamıştır. Bu çalışmada, düşük fiyatlı bir EEG aygıtı kullanılarak, insansı bir robotun
kontrol edilmesine olanak sağlayan, bir BBA gerçekleştirmek hedeflenmektedir. Çalışma
kapsamında, düşük maliyetli donanımlarla gerçekleştirilebilecek BBA’lerinin kapasitesi
ve hassasiyet derecesi araştırılmak istenmektedir.
Bu döküman kapsamında, tanıtım ardından gelen ilk bölümde, öncelikle BBA domeninde
karşımıza çıkan temel konseptler incelenmiş, ardından sinirbilimsel temel kavramlardan
konu ile ilişkili olanlar kısaca açıklanmış ve serebral görüntüleme teknikleri, BBA konseptinde önemli bir yer tutan elektroencefalografinin altı çizilerek konuyla ilgili temel
bilgiler aktarılmaya çalışılmıştır.
Sonraki bölümde ağırlıklı olarak kendi çalışmamızdan bahsedilmiştir. Hangi platformlarda çalışmayı seçtiğimiz ve bu seçimleri hangi kriterlere göre yaptığımız da bu bölümde
açıklanıyor. Bu platformları genel hatlarıyla tanıttıktan sonra gerçekleştirmek istediğimiz
BBA için kullanıdığımız metodlar, oluşturduğumuz konsept hakkında bilgiler vererek bu
bölümü sonlandırıyoruz.
Sonuç bölümünde ise yaptımız deneyler ve bunlardan elde ettiğimiz sonuçlardan bahsedilmektedir. Bu bölümde çalışmanın genel bir değerlendirilmesi yapılarak bir vargı elde
edilmeye çalışılmıştır.
Şuanda okumakta olduğunuz özet bölümünün ilerleyen kısımlarında, Fransızca olarak
kaleme alınan bu raporun genel içeriğinin, kısa bir Türkçe özeti sunulmaya çalışılacaktır.
x
Beyin-Bilgisayar Arayüzleri temel olarak ; İnsan beyninin elektriksel aktivitesini ölçümler, elde ettiği verileri bilgisayar yardımıyla işler, bu işlemlerden bir sonuç elde eder
ve son olarak duyusal yollardan geri bildirim yapılır. Bu dört temel aşama Şekil 2.1’de
(Figure 2.1) incelenebilir. Genel olarak herhangi bir BBA’nün işlem sürecini biraz daha
detaylandıralım.
İnsan beyni yaklaşık olarak 85 milyar nöron adı verilen sinir hücresine sahiptir. Bu sinir hücrelerinin 24 milyarı bir kaç milimetre kalınlığındaki, beynin en üst katmanı olan
serebral korteks içerisinde bulumaktadır. Bu katman farklı bölgeler için, bilişsel, motor,
duyumsal vb. bir çok farklı süreci yönetmektedir. BBA’lerinin ölçümünü yaptığı elektriksel aktivite, genllikle serebral kortekse aittir. Belirli bir bölgeden, tek ya da bir grup
nöronun aktivitesi, spesifik olarak ilgili süreçle ilişkilendirilebildiği gibi, genel aktivite
frekans-zaman aralığında incelerek, bilişsel durumlara dair çıkarımlar yapmak mümkündür.
Bu çalışma dahilinde bu konuların detaylarına girilmemiştir.
Serebral korteksin aktivetesini ölçmek için birçok farklı yöntem bulunuyor. Bunlardan
BBA domeninde en sık karşılatığımız elektroensefalografi (EEG) adı verilen, saç derisinin üzerine yerleştirilen elektrodlar vasıtasıyla potensiyel farklarını ölçmeye dayalı
noninvazif (ensizyon gerektirmeyen) bir metod. Noninvazif olması uygulamada pratiklik
sağladığından arayüz tasarımlarında en sık karşılaştığımız yöntem bu oluyor. Biz de bu
çalışmada, Emotiv firmasının sunduğu, medikal alanda kullanılanların aksine çok daha
ucuz bir çözüm olan "Emotiv EEG" başlığını kullanıyoruz.
EEG haricinde, invazif, yani uygulanması için neşterli operasyon gerektiren serebral görüntüleme teknikleri de BBA tasarımları için kullanılmaktadır. Kolaylıkla tahmin edilebileceği
gibi kortekse yaklaşıldıkça sinyalin kalitesi atarak, oluşturulan sistemleri daha kararlı kılmaktadır. Örneğin ; Elektrokortikografi (ECoG) adı verilen yöntem direk olarak serebral
kortex üzerine yerleştirilen electrotlar yardımıyla veri toplar. Dış gürültü azaldığından
sinyal kalitesi EEG’ye göre çok daha yüksektir, ancak uygulanması maliyetli ve deneyim
gerektirir. Benzer şekilde serebral korteksin içerisine, tek ya da elektrot dizisi olarak
yerleştirilen intrakortikal mikroelektrotlar yardımıyla toplanan veri de ECoG’a göre çok
daha temiz iken, maliyet ve deneyim gereklilikleri yine artmaktadır.
xi
Ana sürecimize geri dönecek olursak, kayıt yapacağımız metodu seçip korteksin elektirik
sinyallerini kaydettikten sonra, bu sinyalleri işleme aşamasına geliriz. BBA’lerinin sayısal
işaret işlemeye dayalı bu sürecini 3 alt aşamada inceleyebiliriz ;
Önişleme (Prétraitment) adımı elde edilen sinyalin gürültüden arındırılması adımıdır. Analog sinyal sayısallaştırılmadan önce çeşitli analog filtreler yardımıyla da bu işlemler gerçekleştirilebilir. Hatta gürültüyü kaynağına en yakın yerde temizlemek için, üzerlerinde
elektronik devreler bulunan aktif elektrotların işlemleri de bu süreç altında değerlendirilebilir.
Sinyal temizlendikten sonra Öznitelik Çıkarma (Feature Extraction) adımına gelinir. Bu
adımın amacı elimizdeki sinyal içerisindeki, her hangi bir mental süreci en iyi şekilde
represante eden verileri toplamaktır. Bu fazda ilgili mental süreci (task) betimleyen bir
karakteristik vektör de oluşturulur.
Bir sonraki adım sınıflandırma (Classification) adımıdır. Bu adımda bir önceki fazda elde
ettiğimiz karakteristik vektörler yardımıyla deneğin her mental sürecine denk düşen bir
sınıf oluşturulur. Diğer bir deyişle, ham sinyalimiz artık anlamlandırılmıştır.
Bu proje dahilinde, Emotiv SDK tarafından sağlanan sinyal işleme alt yapısını kullanmaktayız. Emotiv, kaynak kodu kapalı olan, bu üç işlemi gerçekleştirdiği bir kütüphane sunuyor. Bu kütüphane bize sadece önceden belirlenmiş görevler (task) için sınıflandırılmış
sonuçları döndürüyor. Bu yapı uygulama geliştirme sürecine çok büyük bir pratiklik katsa
da, projenin sinyal işleme kısmının özünü, Emotiv sunmuş olduğu yapıyla sınırladırıyor.
Buna karşın, Emotiv EEG başlığı ile sinyal işlenebilen platformlar da mevcut. Emotiv
şirketinden bağımsız, açık ya da kapalı kaynak kodlu çalışan bu uygulamalar, sayısal işaret işlemede hem kolaylık hem de esneklik sağlayan bir çok araç içeriyor. Çalışmamızın
bu aşamasını gereçekleştirmek için farklı araçları inceledik. Matlab üzerinde çalışan EEGLAB, g.BSanalyze gibi işlevsel uygulama platformları bulunuyor, ancak bunların bir
kısmı paralı ve çoğunluğu offline çalıştığı için projemizde kullanmayı uygun bulmadık.
Ayrıca bir Fransız ulusal araştırma kurumu olan INRIA (Türkiye’deki TUBİTAK’ın ben-
xii
zeri) tarafından geliştirilmiş "openvibe" adlı uygulamayı da çalışmamız dahilinde kullanmayı düşündük. Bu program hem Emotiv’in sağlayamadığı sınıflandırma, fitreleme algoritmalarının kullanımına olanak sağlıyor hem de modüler yapısı ve görselliğiyle Matlab
karşısında uygulama kolaylığı sunuyor. Openvibe ile gelen ve BBA senaryolarında iskelet
yapısı sıklıkla kullanılan, motor korteks üzerinden toplamda 10 adet elektrot ile veri
toplayarak ve deneğin sağ ya da sol elinin hareketinin hayal etmesini baz alarak çalışan
senaryoyu modifiye ederek kullanmayı düşündük. Ancak Emotiv EEG başlığında bulunan
14 eletrot, 10-20 standart elektrot yerleştirme sistemine göre sabit noktalarda bulunuyor
ve ilgili senaryo için gerekli olan C1, . . . ,C6 ve FC3, FC6, CP3, CP4 pozisyonlarının hiç
birinde elektrotu bulunmuyor. Sonuç olarak proje için zamanımız da kısıtlı olduğundan
Emotiv SDK ve birlikte gelen uygulamalar ile çalışmayı uygun bulduk.
Başta belirttiğimiz BBA tasarım sürecinin üçüncü adımına gelmiş bulunuyoruz. Bu noktada elimizde deneğin ilgili bilişsel süreci ile ilişkilendirilmiş, diğer bir deyişle klasifiye
edilmiş sinyalimizi bulunuyor. Artık bu bilgiyi uygulamanın doğasına göre bir herhangi
bir eyleme dönüştürebiliriz. Uygulama çeşitlerine örnek verecek olursak, ilk göze çarpan sanal klavye uygulamaları olur. Bu üçüncü adımı baz alarak konuştuğumuzda, sanal klavye uygulamalarında elimizde olan bilgi, bir kursorun direksiyon vektörlerinden
biri olabilir ya da ekranda görülen klavyede yazılmak istenen harfe tekabül eden bir
katar. Bu aşamada ne tarz bir bilgi elde edileceği ve bununla ne yapılacağı tamamen tasarımcının hayal gücüyle sınırlıdır. Örneğin bu uygulama felçli bir hastaya takılacak robot
kol olabileceği gibi, deneysel bir çalışma için bir sıçanın somatosensöriyel korteksinde bir
bıyığıyla (whisker) ilişkili alana da sinyal gönderen bir uygulama da olabilir. Yelpazedeki
uygulama çeşitliliği istenildiği kadar genişletilebilir.
Bu çalışmada Kondo KHR-3hv modelli, japon Kondo Kagaku firmasının ürettiği bir insansı robot kiti kullanılmıştır. Bu robot, üzerindeki 17 adet cervo motor sayesinde önceden
tanımlanmış hareketleri yapabildiği gibi, birlikte gelen Heart2Heart yazılımı sayesinde
yeni hareketler tasarlanarak seri port üzerinden robotun kontrol kartına (RCB-4hv) yüklenebilmektedir. Ayrıca robotun üzerinde 200 mhz arm işlemci ve bir kablosuz ağ kartı
bulunan gömülü bir sistem (KCB-3wl) bulunmaktadır. Bu kart üzerinde hafif bir Linux
işletim sistemi koşmaktadır.
xiii
Genel olarak, bir BBA tasarım sürecinin son aşaması, deneğe duyusal kanallardan geri bildirim yapılmasıdır. Böylelikle bir Beyin-Bilgisayar etkileşiminin döngüsü tamamlanmış
olur. Bir önceki aşamada olduğu gibi uygulamanın türüne göre bu uyaran değişir. Örneğin bir sanal klavye uygulamasında geri dönüş (feedback) bilgisayar ekranına denek
tarafından seçilmiş harfin bastırılarak gösterilmesi olurken, bir nöral protez olan "Cochlear Implant" için geri dönüş, kulak salyangozunda (cochlea) bulunan duyu hücrelerinin
uyarılması olabilir. İşitme yetisini kaybeden hastaların işitmelerini sağlayan bu protezler
BBA olarak sınıflandırılmasa da, bahsettiğim genel yapı kapsamında, etkileşimin yönü
hariç, diğer gerçekleşen süreçler oldukça benzerdir. (Nöral protezler sinir sistemiyle bir
arayüz sağlarken, BBA doğrudan beyinle sağlar.)
Şimdiye kadar olan kısımda, kendi çalışmamızdan da örnekler vererek bir Beyin-Bilgisayar
Arayüzü tasarımının kaba hatlarından bahsetmiş olduk. Projemizin konseptini tekrar genel olarak toparlayacak olursak ;
Öncelikle Emotiv EEG Başlığı kullanarak denek üzerinden topladığımız kafatasının elektriksel aktivitesini, Emotivin kendi araçları yardımıyla bilgisayara aktarıyoruz. İlk aşamada denek robota, ya da bilgisayar ekranına bakarak, robotun yerinde duruduğunu, ileri
ya da sola hareket ettiğini hayal ediyor. Bu işlem (training) süresince kaydettiğimiz sinyalleri "Emotiv Engine" sayesinde sınıflandırarak, her aksiyon için farklı bir sonuç cevabı
üretiyoruz. Daha sonra bu bir byte’lık cevabı, Java ile Eclipse’de yazdığımız istemci program vasıtasıyla kablosuz ağ üzerinden robota gönderiyoruz. Bu sırada, halihazırda boot
ettiğimiz robotun üzerinde C ile yazdığımız ve KCB-3wl gömülü sisteminin ARM işlemcisi için derlediğimiz sunucu programımız çalışmakta oluyor. İstemci program, sunucuya
UDP protokolüyle, gerçek zamanlı olarak deneğin düşündüğü aksiyonların sınıflarını iletiyor. Sunucu program ise aldığı bu komutları, RCB-4hv kontrol kartının anlayacağı 2
byte’lık özel bir veri yapısına dönüştürerek bu karta iletiyor. Son olarak da, kontrol kartı
deneğin zihninden o anda geçen hareketi gerçekleştirmek için ilgili servo motorlara güç
ve yön bilgilerini gönderiyor.
Bu çalışma kapsamında, Emotiv EEG Başlığını kullanarak Kondo KHR-3hv insansı robotunun kontrol edildiği bir Beyin-Bilgisayar Arayüzü gerçekleştirmiş olduk.
xiv
Robotun dökümantasyon dilinin genellikle japonca olması, konuyla ilgili yeteri kadar
kaynak bulunmaması, KCB-3wl’nin işlemcisinin sadece VMware üzerinde koşan Japonca
bir linux işletim sistemi üzerinde derlenebiliyor olması, insansı robota dair karşılaştımız
sorunların bir kısmıdır. Bu sorunlar haricinde robotun işlevselliği ile ilgili bir sorunla
karşılaşmadık. Japonca bilmeyen ve Kondo KHR-3hv ile çalışmak isteyenler için "google
translate" yeterli katkıyı sağlamaktadır.
Farklı deneklerle yaptımız testler sonucunda, Emotiv sisteminin, kullanan kişilere göre
değişkenlik gösterdiğini söyleyebiliriz. Sistemin hassasiyet derecesi hakkında yaptığımız
deneylerle tam bir sonuca varamadık. Buna karşın, deneğin hayal edeceği hareket sayısı
arttıkça, mental durumlar arasında ayırım yapmanın zorlaştığını söyleyebiliriz. Sadece
nötr, ileri ve sol komutlarıyla sistemi kullanan kişi, dördüncü durum (sağa hareket) sisteme eklendiğinde, mental durumlar arasındaki ayrımı yapmakta zorlanarak sistemi hassas bir biçimde kontrol edemedi.
Bu çalışma, felçi hastaların düşünceleriyle kullanabilecekleri servis robotu geliştirmek
için, Emotiv yazılım geliştirme araçlarının yeterli hassasiyete ve kullanıcıdan bağımsız
çalışma yetkinliğine sahip olmadıklarını göstermektedir.
xv
1
1 INTRODUCTION
1.1
OBJECTIVE ET MOTIVATION
L’objectif général de ce projet, c’est comprendre des approches et des concepts générales
sur les interfaces cerveau-machine et en un réaliser. Nous intéresserons plus précisément
aux systèmes qui utilisent une technique basée sur l’acquisition des signaux des potentiels
d’action qui sont produites par cortex cérébrale, s’appelle électroencéphalographie. La
compréhension des méthodes numériques et des approches de traitement des signaux
digitaux est une nécessité pour pourvoir réaliser ce projet, alors amélioration de ce type
de connaissance était une cible aussi.
Tout autour du monde, il y a beaucoup de patients paralysies souffrent de maladies comme
la sclerose latérale amyotrophique (SLA), le locked-in syndrome (LIS), les dystrophies
musculaires, les blessures de la moelle épinière etc. Ils ont perdu leur capacité à se
déplacer, certains entre eux, même si à communiquer avec le monde extérieur. Alors,
Il y a beaucoup d’efforts et de mains-d’oeuvre dépensés pour prendre soin de leur vie
quotidienne. D’un jour à l’autre, les nouvelles technologies sont découvertes par des
universités ou les centres de recherche individuels. Ceci déclenche la nécessité d’un
processus d’adaptation de cette nouvelles technologies à notre vie habituelle. La force qui
nous pousse, est la possibilité de faire une petite contribution à la domaine l’informatique
médicale.
1.2
CONTOUR DU RAPPORT
Vous pouvez voir la structure de ce rapport final ci-dessous ;
Après cet introduction, en Chapitre 2, Nous essaierons d’expliquer brièvement les concepts
2
de IHM, les bases neurologique et les techniques générales d’imagerie cérébrale en accentuant électroencéphalographie. On parlera aussi de quelques plate-formes logicielles
connues pour le traitment signaux.
Dans la chapitre suivant, On parlera plutôt de notre étude. Nous présenterons des plateformes sur lesquelles on avait travaillé en critiquant les causes de choix. On expliquera la
conception que nous avons désigné pour réaliser notre IHM.
Finalement, nous raconterons des expériences conçues, annoncerons leurs résultats et
nous conclurons de notre travail en critiquant les résultats obtenus dans les expériences.
3
2 INTERFACES CERVEAU-MACHINE
Une interface cerveau-machine désigne (ICM) un système de liaison directe entre un cerveau et un ordinateur, permettant à un individu de communiquer avec son environnement
sans passer par l’action des nerfs périphériques et des muscles. Ces systèmes ciblent
en premier lieu le domaine médical et principalement pour les patients handicapé. Le
domaine de l’ICM est en liason avec les axes de recherche comme le traitement de signal,
l’informatique, les neurosciences, la robotique etc.
Vous pouvez voir le schéma général du fonctionnement d’une ICM ci-dessous.(Trad,
2012) (cf.figure 2.1)
F IGURE 2.1 – Schéma général du fonctionnement d’une ICM
Si nous voulons éxpliquer brièvement ces phases ;
• Mesure de l’activité cérébrale : Il existe plusieurs techniques pour mesurer des activités
électrique de cérébral cortex. Dans la cadre de notre travail on utilisera EEG.
• Prétraitement des données : les signaux EEG étant réputés pour leurs bruits, l’étape de
prétraitement est donc essentiel pour nettoyer les signaux de tout parasite.
• Extraction de caractéristiques : Le but de cette étape est de garder les informations les
plus appropriés qui représentent une tâche mentale dans un signal. Cette phase permet
de construire un vecteur caractéristique représentatif de cette tâche.
4
• Classification : La classification des signaux est réalisée sur les vecteurs caractéristiques déjà définis à l’étape précédente. Cette étape consiste à allouer une classe à
chaque tâche mentale du sujet.
• Traduction en commande : Quand nous classifions les signaux, il faut la traduire en une
commande bas niveau afin de contrôler un système comme par exemple contrôler une
prothèse ou déplacer dans un environnement virtuel. Dans la cadre de notre projet, ça
sera un robot humanoïde.
• Feedback : Cette dernière phase consiste à renvoyer au sujet un retour soit par une
information visuelle ou sonore sur la tâche mentale effectuée.
2.1
CERVEAU HUMAIN
Le cerveau est le principal organe du système nerveux des animaux. Chez les vertébrés, il
est situe dans la tête, protégé par le crâne, et son volume diversifie d’une espèce à l’autre.
Le cerveau humain a la même structure générale que le cerveau des autres mammifères
et il est responsable de réguler les autres systèmes d’organes du corps, en agissant sur les
muscles ou les glandes, et d’effectuer des fonctions cognitives.
F IGURE 2.2 – Le Cerveau humain
Le cerveau humain est peut-être un des plus complexe structure dans la nature d’homme
qu’on a pas pu arriver de résoudre son mystère. Il a environ 85milliard de neurones et
24milliard de ce montant se trouve dans le cortex cérébral (Carter, 2009). On sait qu’un
neurone a environ 10 mille synapse pour pourvoir connecter avec des autres, ça veut dire
5
un homme adulte a environ 10 14 synapse alors le nombre des connexions possibles entre
des neurones dans le cerveau humain incroyeblement énorme.
Comme il est impossible et aussi inutile de parler tous les sous-systèmes de cerveau
humain dans le cadre de notre projet, nous essayons de vous expliquer quelques notions
nécessites de base de cerveau humain ci-dessous.
2.1.1
Système Nerveux Central
Le système nerveux central (SNC) est formé de milliards de neurones connectés entre eux
et d’un tissu de soutien interstitiel. Il est constitué de l’encéphale (cerveau, cervelet, tronc
cérébral) protégé par le crâne, et de la moelle spinale, long cordon blanchâtre d’environ
40 à 45 centimètres logé dans la colonne vertébrale.(voir la figure 2.2).
F IGURE 2.3 – Système nerveux central
SNC est responsable de la transmission de l’information dans le corps et de la coordination des mouvements. Cette conjoncture nécessite un espace pour des application des
IHM’s. Quand il n’y avait pas une possibilité de guérir un maladie adéquat au système nerveux, on a besoin les remplacements qui peuvent mimer le système original. Quelqu’un
qui a perdu sa ouïe peut commencer à entendre avec l’aide des implants cochléaires. Dans
6
un future proche, même les personnes paralysés peuvent avoir de la chance d’utiliser les
bras robotique (Hochberg et al., 2012) ou des avatars virtuels.
2.1.2
Neurones
Le neurone est l’unité fonctionnelle et fondamentale du système nerveux. Sa configuration
cellulaire spécifique le rend capable de générer, de transmettre et de recevoir des informations sous forme de signaux électriques. Le neurone est constitué de quatre grandes
régions : le corps cellulaire, ou soma, les dendrites, les axones et les terminaisons présynaptiques (cf. figure 2.3). Chacune de ces différentes régions joue un rôle bien défini dans
l’initiation et le transport de l’information (Carter, 2009).
F IGURE 2.4 – Un neurone
Au point de vu fonctionnel, il faut considérer le neurone comme une entité polarisée,
c’est-à-dire que l’information ne se transmet que dans un seul sens : des dendrites vers
l’axone. Le neurone va donc recevoir des informations, venant d’autres neurones, grâce
à ses dendrites. Il va ensuite y avoir sommation, au niveau du corps cellulaire, de toutes
ces informations et via un potentiel d’action (un signal électrique) le résultat de l’analyse
7
va transiter le long de l’axone jusqu’aux terminaisons synaptiques. A cet endroit, lors
de l’arrivée du signal, des vésicules synaptiques vont venir fusionner avec la membrane
cellulaire, ce qui va permettre la libération des neurotransmetteurs (médiateurs chimiques)
dans la fente synaptique. Le signal électrique ne pouvant pas passer la synapse (dans
la cas d’une synapse chimique), les neurotransmetteurs permettent donc le passage des
informations, d’un neurone à un autre.
F IGURE 2.5 – Potentiel d’Action
On peut dire aussi que le potentiel d’action est une brusque modification du potentiel
de repos. C’est un phénomène électrique qui naît suite à une stimulation électrique de
la cellule. Ce phénomène nous aide de construire les ICM’s en enregistrant les potentiel
d’action des groupes des neurones. Vous pouvez voir son quatre phases ci-dessous ;(cf.
figure 2.5)
• la Dépolarisation - La stimulation provoque l’ouverture des canaux à sodium. Les ions
Na+ traversent de façon passive ces canaux, et pénètrent dans la cellule.La face externe
de la membrane devient alors électronégative, et la face interne devient électropositive.
• le Repolarisation - Les canaux à sodium se ferment, donc le sodium ne rentre plus. Les
canaux à potassium s’ouvrent : les ions K+ sortent pour compenser l’entrée de Na+. La
face externe de la membrane redevient alors électropositive, et la face interne redevient
électronégative : la membrane est à nouveau polarisée.
• l’Hyperpolarisation - Les canaux à potassium restent ouverts. Les ions K+ continuent
8
(a) Dépolarisation
(b) Repolarisation
(c) Hyperpolarisation
(d) Retour de repos
F IGURE 2.6 – Les phases du potentiel d’action
à sortir de la cellule. La face externe de la membrane devient alors hyperpositive, et la
face interne devient hypernégative.
• le Retour au potentiel de repos - Le rétablissement de l’état initial est actif.
2.1.3
Cortex Cérébral
Le cortex correspond à la partie recouvrant certains organes. Le cortex cérébral est un
tissu organique aussi appelée substance grise, recouvrant les deux hémisphères du cerveau
sur une épaisseur de quelques millimètres. Le cortex cérébral est composé de différentes
couches, plus ou moins nombreuses selon la région de l’hémisphère recouverte. Le cortex
cérébral règne sur ce qu’on nomme les « fonctions nerveuses élaborées » et est regroupé
en aires ayant des fonctions différentes notamment sensorielles, motrices et d’association.
Le cortex cérébral participe à de nombreuses fonctions cognitives notamment entre autres,
certains sens, le langage, les actions volontaires de la motricité et la mémoire.(cf. figure
2.6)
F IGURE 2.7 – Cortex cérébral
9
2.1.3.1
Rythme Cérébral
Un rythme cérébral désigne une oscillation électromagnétique dans une bande de fréquences donnée résultant de l’activité électrique cohérente d’un grand nombre de neurones du cerveau telle qu’on peut l’observer en électroencéphalographie (EEG). Ces ondes
sont de très faible amplitude, elles sont de l’ordre du microVolt (chez l’être humain) et ne
suivent pas toujours une sinusoïde régulière.
Les caractéristiques des rythmes cérébraux dépendent de l’état psychologique et, le cas
échéant, pathologique de la personne chez qui on les enregistre. Ainsi, l’enregistrement de
l’activité rythmique cérébrale permet d’étudier les phases du sommeil ou de caractériser
des maladies neurologiques, telles que l’épilepsie.
Les activités électriques cérébrales rythmiques sont classées selon leur fréquence cidesous ; (cf. figure 2.7)
• Alpha : fréquences comprises entre 8.5 et 12 Hz. Elles caractérisent un état de conscience
apaisé, et sont principalement émises lorsque le sujet a les yeux fermés.
• Beta : correspond aux fréquences supérieures à 12 Hz (et généralement inférieures à 45
Hz). Elle apparaissent en période d’activité intense, de concentration ou d’anxiété.
• Gamma : les fréquences supérieures à 24 Hz, généralement d’environ 40 Hz. Elles ont
été récemment impliquées dans les processus de liage perceptif.
• Delta : fréquences jusqu’à 4 Hz, normales chez le très jeune enfant, elles peuvent
ensuite caractériser certaines lésions cérébrales.
• Thêta : fréquences entre 4.5 et 8 Hz. On les observe principalement chez l’enfant, l’adolescent et le jeune adulte. Elles caractérisent également certains états de somnolence ou
d’hypnose, ainsi que lors de la mémorisation d’information.
• Fuseaux : trains d’ondes comprises entre 12 et 16 Hz, caractéristiques de la phase de
sommeil léger. Également reliés aux ondes SMR (Sensory Motor Rhythm).
10
(a) Ondes alpha
(b) Ondes beta
(c) Ondes gamma
(d) Ondes delta
(e) Ondes theta
(f) Ondes fuseaux
F IGURE 2.8 – Les Rythmes Cérébrals
2.1.3.2
Potentiel évoqué
Un potentiel évoqué (EP) désigne la modification du potentiel électrique produite par le
système nerveux en réponse à une stimulation externe, notamment sensorielle (un son,
une image, etc.) mais aussi à un événement interne, notamment une activité cognitive
(attention, préparation motrice, etc.).
Les potentiels évoqués peuvent enregistrés par EEG ou MEG et ils sont utilisés en neurophysiologie humaine et animale pour comprendre l’organisation fonctionnelle du système
nerveux dans la recherche en neurosciences. Ils sont aussi utilisable pour des IHM’s
(Fazel-Rezai and Ahmad, 2011). Ces signaux électriques étant en général très faibles
(de l’ordre du micro-Volt), il est souvent nécessaire de répéter l’enregistrement un grand
nombre de fois de façon à moyenner toutes ces mesures pour augmenter le rapport signal
sur bruit et obtenir une caractérisation fiable du potentiel évoqué. Le potentiel peut alors
être décrit par différents paramètres comme son amplitude, sa latence, etc.
le plus connu potentiel évoqué utilisé dans la domaine IHM s’appelle P300. Ici, le lettre
"P" signifie que c’est une onde d’amplitude positive, et "300" sous-entend qu’elle apparait
300 ms après le début d’une stimulation. Dans la plupart des cas, cet EP est acquis par
EEG. La procédure à partir de laquelle l’onde P300 est la plus souvent étudiée est le
paradigme oddball. On présente au sujet au moins 2 stimuli différents, l’un est l’item
11
non-cible (qui apparait fréquemment), l’autre constitue l’item cible (son apparition est
plus rare et demande une réaction de la part du sujet), mais il peut également y avoir un
item distracteur (qui est peu fréquent et qui interfère avec l’item cible). Le fait que l’item
cible soit rare et qu’il implique une réponse de P300. Ce paradigme utilisé à réaliser des
claviers virtuels pour des personnes paralysés dans le cadre de ICM.(Sellers and Donchin,
2006)
2.2
IMAGERIE CEREBRALE
L’imagerie cérébrale (dite aussi neuro-imagerie) désigne l’ensemble des techniques issues
de l’imagerie médicale qui permettent d’observer le cerveau, en particulier lorsqu’un
individu exécute une tâche cognitive. Il existe de nombreuses techniques pour mesurer
l’activité cérébrale. Les techniques plutôt intéressantes dans le contexte des IHM sont
la magnétoencéphalographie (MEG), l’électroencéphalographie (EEG), l’électrocorticographie (EcoG) et le mésurement d’activité par une chaîne des intracorticaux microélectrodes(ou une seule microélectrode) (Çağlayan, 2014) .
• EEG - C’est la mesure de l’activité électrique du cerveau par des électrodes placées sur
le cuir chevelu. Vous pouvez voir les détailles de ce technique en 2.2
• EcoG - C’est une technique similaire à EEG qui mesure l’activité électrique avec des
électrodes implantées cet fois sous la surface du crâne, directement au niveau du cortex
cérébral. C’est une technique partiellement invasive qui fournit une meilleure résolution
spatiale et un meilleur rapport signal sur bruit (en ang. SNR) que l’EEG.
• MEG - Cette technique est utilisée pour mesurer des champs magnétiques induits par
l’activité électrique du cerveau par l’intermédiaire des appareils extrêmement sensibles
comme le Superconducting Quantum Interference Device (SQUID). MEG fournit une
bonne résolution spatio-temporelle mais nécessite l’utilisation d’une chambre à blindage magnétique.
• Intracortical Microélectrode - Le but principal de ces électrodes est d’enregistrer un
signal très précis, en s’appuyant sur l’activité de quelques neurones uniquement (en
ang, single-unit activity). Ce type d’électrode est très peu utilisé, car il nécessite une
12
opération chirurgicale lourde afin d’implanter l’électrode dans une des régions du cortex. Vous pouvez voir une des plus connu chaine des intracorticaus microélectrodes
utilisé pour IHM s’appelle UTAH ci-dessous (cf. figure 2.11). Récemment, ces microélectrodes ont été utilisé pour réaliser une IHM qui permet à contrôler un bras robotique
par une patient paralysée. (Hochberg et al., 2012)
• fNIRS - Il y’a aussi des travaux sur IHM avec une méthode s’appelle fNIRS qui est
l’application à l’imagerie cérébrale de la spectroscopie proche infrarouge. Cette technique consiste à mesurer de l’oxygénation d’une zone du cerveau afin d’en déduire son
activité (Zimmermann et al., 2013).
F IGURE 2.9 – La Schema de la Chaîne des Intracorticaux Microélectrodes de UTAH
Bien que chacune des méthodes d’imagerie mentionnés avant peut être utilisé pour un
système IHM, EEG surpasse les autres méthodes grâce à sa haute résolution temporelle,
la portabilité, non-invasif et peu coûteux. Le reste de ce travail sera uniquement axé sur
les systèmes IHM non-invasif basés EEG. Vous pouvez voir la comparaison les méthodes
sur le tableau ci-dessous(cf. table 2.1).
2.3
ELECTROENCEPHALOGRAPHIE
L’électroencéphalographie (EEG) est une méthode d’exploration cérébrale qui mesure
l’activité électrique du cortex cérébral par des électrodes placées sur le crâne. En 1875,
Richard Caton a découvert activité électrique de cerveau dans les animaux, mais l’histoire d’électroencéphalographie des humains est commencé à se dessiner à la fin des
13
TABLE 2.1 – Comparison des Méthodes d’Imagerie Cérébrale (Nicolas-Alonso and
Gomez-Gil, 2012)
Methode
Temporal
Resolution Temporelle
Technique
Activité
Portabilité
Resolution
EEG
~0.05s
~10mm
Non-invasive
Electrique
Portable
MEG
~0.05s
~5mm
Non-invasive
Magnetique
Unportable
ECoG
~0.003s
~1mm
Invasive
Electrique
Portable
Intracortical
~0.003s
~0.05mm - 0.5mm
Invasive
Electrique
Portable
fMRI
~1s
~1mm
Non-invasive
Hemodynamique
Unportable
fNIRS
~1s
~5mm
Non-invasive
Hemodynamique
Portable
années 1920’s, quand les premiers enregistrement de EEG du crâne humain est acquis
par le psychiatre Allemand Hans Berger (Wozniak-Kwasniewska, 2013). Dans les années
1950’s, son technique a commencé à utiliser dans neurochirurgie, neurologie et sciences
cognitives.
Le principe de fonctionnement de EEG est base sur des différences potentiels sur les
différents régions du cortex cérébral. nous mesurons ces différences potentiels en disposant sur l’ensemble du cuir chevelu de 10 à 20 électrodes, petites plaques métalliques
reliées par des fils à l’appareil d’enregistrement. Celui-ci mesure le potentiel électrique
détecté par chaque électrode et compare les électrodes deux à deux, chaque comparaison
se traduisant par un tracé appelé dérivation. La réactivité électroencéphalographique est
évaluée au moyen d’épreuves simples : ouverture des yeux, hyperpnée (respiration ample
et lente), stimulation lumineuse intermittente obtenue grâce à des éclairs lumineux brefs
et intenses dont la fréquence est progressivement croissante.
Dans nos jours, la technique EEG est utilisé souvent pour des applications d’ICM car
elle n’a pas besoin la chirurgie et même si les solutions professionnelles sont déjà cher, il
existe aussi des systèmes EEG commercialisés ne sont pas trop cher.(Çağlayan, 2014)
Dans les parties suivantes, on parlera des types des électrodes, puis de la localisation des
électrodes et finalement les plate-forme logicielles pour le traitement signaux acquis par
14
EEG.
2.3.1
Les Electrodes
En EEG, les capteurs sont des électrodes de quelques millimètres de rayon qui enregistrent
les variations de potentiels électriques.
2.3.1.1
Types des électrodes
Il existe essentiellement deux types d’électrodes utilisées pour l’enregistrement EEG :
électrodes passives et actives des électrodes.
Électrodes passives sont de petits disques métalliques généralement en étain, d’or, d’argent ou de chlorure d’argent (Ag / AgCl) reliée à un amplificateur par l’intermédiaire
de fils électriques. Le signal acquis est ensuite amplifié dans le circuit d’amplification
externe. Comme les signaux du cerveau acquis par le cuir chevelu ont des amplitudes
comprises entre 10-100uV, sources de bruit d’amplitude plus élevés, comme les mouvements de tête, les facteurs environnementaux et le bruit de ligne électrique (Un signal
fréquence 50 ou 60 Hz en fonction du pays) ont le risque de brouiller les signaux comme
leurs amplitudes deviennent encore plus après amplification. Pour éviter ce problème,
autant que possibles, les câbles d’électrodes doivent être courts, blindé et fixe.
Électrodes actives utilisent un petit circuit intégré pour amplifier les signaux avant la
transmission a lieu . Les signaux du cerveau préamplifiés sont donc plus robuste contre
les sources de bruit externes mentionnés ci-dessus étant donné que les bruits additifs ne
sont pas préamplifiés.
2.3.1.2
Localisation des électrodes
Les électrodes peuvent être insérées dans un
bonnet élastique ou bien ils peuvent fixe sur un casque. (cf. figure 2.9) Le tissu et les
électrodes forment un bonnet qui est disposé sur la tête du sujet. Ces électrodes sont en
argent chloruré et un gel conducteur est ajouté pour assurer une bonne conduction entre
15
(a) Un bonnet élastique EEG
(b) Un casque EEG
F IGURE 2.10 – Placement des électrodes
l’électrode et le scalp. Elles sont disposées selon le système standard international 10-20
de placement des électrodes (cf. figure 2.10)
2.3.2
Plate-formes Logicielles
Il y a plusieurs plate-formes sur laquelle il est possible d’étudier avec des données brutes
collectés en temps réel ou hors ligne par des système EEG. On essaye d’expliquer brièvement quelques logiciels connus dans la domaine d’interface machine-humaine en accentuant des côtés pour et des côtés contre ci-dessous ;
• BioSig
BioSig est une bibliothèque logiciel de code source ouvert pour le traitement de signaux biomédical, caractérisé pour les analyses de bio-signaux comme par exemple
électroencéphalogramme (EEG), électrocorticogramme (ECog), électrocardiogramme
(ECG), électrooculogramme (EOG), électromyogramme (EMG).
– (pour) il est utilisable sur matlab comme un toolbox et il donne beaucoup des facilités pour traitment de signaux avec ses algorithmes de ’feature extraction’ et ses
méthodes de classification.
– (contre) il n’est pas utilisable en temps réel.
• BCI2000
BCI2000 est une système à l’usage générale pour la recherche IHM. Il peut aussi
16
F IGURE 2.11 – Le système standard international 10-20
utiliser pour l’acquisition des donnes, la présentation de stimulus et des application
de surveillance du cerveau.
– (pour) il est un logiciel de code source ouvert.
– (pour) il appuie la langue c++
– (contre) la partie du traitement de signaux n’est pas très forte, il manque des algorithmes de traitement de signaux et d’apprentissage machine.
• OpenVibe
OpenViBE est le premier projet français multipartenaires sur les interfaces cerveauordinateur financé par l’Agence Nationale de la Recherche. Il permet de concevoir,
tester et utiliser facilement des interfaces cerveau-ordinateur. Il offre un outil simple
d’accès et d’utilisation, qui s’adresse aussi bien à un public de chercheurs que de
cliniciens ou encore de développeurs de jeux vidéo.
– (pour) il est un logiciel de code source ouvert.
17
– (pour) il est facile à utiliser à cause de son modularité et son visualité.
– (contre) il est difficile d’étendre ce qu’il était déjà fait dans ces modules, il est crée
plutôt pour les non-programmeurs.
• g.BSanalyze
g.BSanalyze est un environnement interactif pour les traitements et les analyses des
donnes de multimodale biosignal dans le domaine de la recherche clinique et du science
de la vie.Il est un third-party product qui marche sur matlab.
– (pour) il a un paquet extensive pour biosignal analyses avec les outils très modulaire.
– (contre) il est commercial.
– (contre) il ne marche que offline.
• EEGLAB
EEGLAB est une matlab toolbox très connue pour le traitement des signaux.
– (pour) Sa documentation est très bonne et large.
– (pour) il est un logiciel de code source ouvert.
– (contre) il faut être trop bien en codage sur matlab pour un usage compétent.
18
3 REALISATION DE NOTRE INTERFACE
Dans ce troisième chapitre, nous parlerons de notre projet en expliquant les matériaux que
nous avons utilisé et la conception. Tout d’abord, nous raconterons les spécifications de
matériaux utilisés en citant les points importants de les choisir. Finalement, nous conceptualiserons de notre projet en utilisant les méthodes d’IHM racontées dans la deuxième
partie et les matériaux racontés dans la partie actuelle.
3.1
MATERIAUX
Dans cette partie, nous allons raconter les matériaux utilisés pour réaliser notre projet.
Premièrement, nous expliquerons le système EEG que nous utilisons en parlants de son
matériel et son logiciels. Deuxièmement, nous parlerons des notre robot humanoïde,
et finalement, nous raconterons les autres matériels additionnels nécessites pour notre
système.
3.1.1
Emotiv EEG
Nous avons décidé de travailler avec le casque Emotiv EEG. D’abord, c’était un des
casques qu’on a déjà dans notre laboratoire et puis il est très connue dans la société de
ICH. C’est pour ça qu’il y avait beaucoup de documentation et des projets ce qu’on peut
examiner. Il acquise les signaux par ses électrodes secs avec lesquels nous ne devons pas
utiliser les gels spéciaux produit pour conductivité, alors leurs utilisation devient plus vite
que les anciens type d’électrodes. C’était un des plus décisif raison pour nous. (cf. figure
3.1 )
Le casque EEG de Emotiv mesure un électroencéphalogramme multi-canal pour la recherche, ce qui permet une large gamme d’applications en-dehors de la domaine ICM
19
F IGURE 3.1 – Le Casque Emotiv
aussi, comme la neurologie, le biofeedback etc. Ce casque se connecte sans fil à un PC.
Les 14 noms de canaux EEG basés sur les 10-20 emplacements internationaux sont les
suivants : AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4.
Si nous listons les caractéristiques du casque ;
• Conception d’édition limitée
• 14 canaux EEG offrent par leur positionnement optimal une résolution spatiale précise
• Le gyroscope génère des informations de position optimale pour le curseur et la caméra
de contrôle
• Haute-performance sans fil pour une autonomie totale de mouvement
• Le dongle ou récepteur est compatible USB et ne nécessite pas de pilotes personnalisés
• La batterie au lithium fournit 12 heures d’utilisation continue
Les signaux détectés par le casque EEG de Emotiv est apparues en 3 catégories subdivisées ;
• L’expression - Les signaux mesurés par le casque permettent de surveiller les expressions faciales des joueurs en temps réel. Quand un utilisateur sourit, leur avatar peut
imiter l’expression avant même qu’ils soient conscients de leurs propres sentiments.
• L’affection - Le casque surveille les états émotionnels des utilisateurs en temps réel.
Nous accédons ainsi à l’état d’esprit de l’utilisateur, sur la façon dont les gens réagissent
20
et ce qu’ils pensent du matériau ou stimuli qui leur est présenté. Il obtien la rétroaction
en temps réel sur le plaisir de l’utilisateur et son niveau d’engagement, de fatigue ou de
concentration.
• Le cognitif - le casque lit et interprète les pensées et les intentions conscientes de l’utilisateur. Les utilisateurs peuvent manipuler des objets virtuels en utilisant seulement la
puissance de leur pensée.
3.1.1.1
Emotiv SDK
C’est un kit de développement commercialisé par Emotiv. General propose de ce kit est
d’aider à des développeurs qui vont créer des applications jeux-video controllé par le
casque EEG et distribué par le magasin en ligne de Emotiv. Il existe aussi une édition
de recherche pour des chercheurs et des scientifiques qui veulent travailler avec le même
casque, Emotiv Epoc EEG.
Il existe des logiciels viennent avec Emotiv Systems, Nous avons testé Emotiv Control
Panel, EmoKey et EmoComposer.(cf. figure 3.2) En les utilisant, nous avons réussi à
renvoyer des chaînes de caractères spéciales par chaques différents états du cerveau du
sujet d’exprimant qui sont déjà entraînés avant l’expériences avec le logiciel Control
Panel. Vous pouvez voir l’écran adéquat à l’entraînement du cerveau pour des tâches
particuliers comme les mouvements sur un direction. Avec cet entraînement, on crée une
liaison pour chaque état cognitif du cerveau avec une tâche particulier.
Le logiciel EmoKey est permet de renvoyer des chaînes de caractères lié avec un état
cognitif déjà entraîné. Ceci nous donne une grosse facilité pour réaliser la partie du
traitement de signaux de notre projet. Cependant, comme nous seront des ingénieurs
d’informatique, il faut mieux utiliser le bibliothèque (EDK.dll) dans notre interface à lieu
des données fourni à travers sur EmoKey.
21
(a) EmoKey
(b) Control Panel
F IGURE 3.2 – Les écrans des logiciels d’Emotiv
3.1.2
Kondo KHR-3hv
Nous avons utilisé le kit de robot humanoïde autonome KHR -3hv fabriqué par l’entreprise japonais, Kondo Kagaku. Nous n’avons pas perdu beaucoup de temps pour la
décision du robot humanoïde. Comme nous avons déjà un kit de Kondo KHR-3HV dans
notre laboratoire et comme il n’y a pas une grande différence entre les autres robots
humanoïdes dans le cadre de notre projet, alors nous y avions déjà décidé même avant
commencer à étudier sur le projet.
Ce kit comprend toutes les pièces à assembler et un logiciel pour programmer leurs
mouvements, s’appelle Heart2Heart.Il mesure 40 cm de haut pour un poids de 1,5 Kg.
Il dispose d’un port USB et d’une batterie au nickel de 10,8 V pour 800 mAh. Il fonctionne avec 17 servos digitaux avec des roulements pignons métalliques. Les servos sont
connectés en séries ce qui évite les câbles partout. C’est un kit avec une combinaison des
pièces en plastique composite avec des pièces en aluminium. Il ne s’agit pas d’un robot
télécommandé, il faut le programmer avec le logiciel afin qu’il réalise les actions prévues.
(cf. figure 3.3)
Il est équipé d’un micro-contrôleur plus puissant, le RCB-4HV qui contrôle jusqu’à 35
servomoteurs en série compatible avec le protocole servomoteur CS3.0 (en série) et un
large gamma d’éléments optionnels. Cette carte comprend également plusieurs ports d’extension (10x A/D et 10x PIO) qui permettent l’utilisation d’un large choix de capteurs et
22
(a) le Kit
(b) Intégré
F IGURE 3.3 – Kondo KHR-3hv
d’options d’extensions.
3.1.2.1
Carte wifi KCB-3WL
Nous avons utilisé un micro contrôleur s’appelle KCB-3WL pour communiquer avec la
carte contrôle (RCB-4HV) de robot humanoïde (cf. figure 3.4). Ce micro contrôleur viens
avec une microprocesseur basé sur ARM. Ce carte est distribué par le même entreprise,
Kondo Kogaku, c’est pour ça que nous avons pas rencontre avec une problème basé sur
matériel. Cependant nous avions des difficulté quand on avons essayé de compiler un
programme pour lui contrôler. C’est micro contrôleur de wifi viens avec un linux image
pour VMware sur lequel il existe un compilateur pour son ARM CPU. Néanmoins, cet
image est japonais comme tous ses autres documents aussi. C’est vraiment trop difficile
de trouver la documentation en anglais ou français pour des produits de Kondo Kogagu.
Vous pouvez voir quelque spécification de KCB-3WL ci-dessous ;
• Taille : 49.2 x 52 x 12 mm
• CPU : SAMSUNG ARMbase32bit CPU 200MHz
• Memoire : RAM 16MByte, Flash ROM 8MByte
• Interface de WiFi : IEEE802.11a/b/g(54Mbps/11Mbps)
23
F IGURE 3.4 – Carte wifi KCB-3WL
• Port USB : USB1.1 x1, Full Speed (12Mbps), 500mA de port USB
• Port GPIO : x 12
• LED de Statut : x 3
• Source de courant : 16 V ( for HV), au-dedans 5 V et 3.3 V, 240 mA 1A.
• SE : Linux OS
3.1.2.2
Heart2Heart
Le kit de Kondo viens avec un logiciel, s’appelle Heart2Heart. Ce logiciel marche seulement sur Windows et il donne les possibilités de programmer le humanoïde robot. Nous
avons des difficultés à cause de son langue japonais mais nous avons arrivé à programmer
les moteurs cervo. Nous avons aussi réussi de modifier les mouvements prédéfinis et de
mettre sur la mémoire de la carte RCB-4HV. Il n’est possible que de connecter sur les
ports séries avec Heart2Heart. Le logiciel permet de créer des nouveaux mouvements en
changeant la force et la direction de la force qui enverra à les cervos. Plusieurs mouvements prédéfinis sont venus avec le logiciel aussi. Vous pouvez voir un exemple son écran
ci-dessous. (cf. figure 3.5)
24
F IGURE 3.5 – Un écran de Heart2Heart
3.1.3
l’Autres Matériels Additionnels
Nous avons travaillé sur Windows 7 64-bit car Heart2Heart marche seulement sur cette
plate-forme et nous ne voulons pas aussi avoir des problèmes comptabilité avec les programmes de Emotiv SDK. On l’avez utilisé sur bootcamp dans un portable MacBook
Pro.
On avez des problèmes de connecter à la carte wifi KCB-3wl à cause des régulations
de sécurité du réseau de l’université. Donc nous avons décidé d’utiliser un routeur wifi
ADSL de D-Link.
3.2
CONCEPTION
Notre méthode de création du IHM commencé par l’acquisition des signaux en avec l’aide
de Emotiv SDK, continué par l’interprétation de ces signaux avec l’interface et finalisé
par la transmission les ordres au robot pour qu’il les actionne. Nous pouvons essayer
d’expliquer le système un peu plus précisément avec les schéma ci- dessous (voir les
figures 3.6 et 3.7). Premièrement, on commence avec un entraînement du système en
utilisant une espace crée spécifiquement pour cette raison (voir la figure 4.6). Ici, on acquis
les signaux potentiels d’action crée par le cerveau d’un/une sujet en utilisant le casque
25
Emotiv EEG pour trainer notre système. Tandis que nous demandons le sujet qu’il pense
à une action comme "tourner à gauche" ou "marche arrière" etc. en regardent le robot
humanoïde qui est situé au milieu de l’espace d’entraînement, le système va classifier ces
potentiels d’action avec des algorithmes contenus dans Emotiv API.
F IGURE 3.6 – Le schema qui montre l’entraînement du système
Vous pouvez comprendre comment le système marchera en regardant le schéma général
(voir la figure 3.7). Ici, on voit le même processus qu’on a déjà vu dans l’étape d’entraînement du système sauf que maintenant on utilise les signaux classifiés pour contrôler le
robot humanoïde Kondo KHR-3hv. Si nous détaillons ces étapes de notre concept ;
1 Ce premier étape consiste à l’acquisition de signaux et leurs transmission à travers du
casque EEG à Emotiv API. Emotiv SDK est totalement responsable de fournir des
nécessites de cet étape.
2 Une fois la connexion établie, alors on peut avoir les donnés à travers une structure s’appelle "EMO ENGINE". Dans notre travaux on a utilisé deux programmes, "EmoKey"
26
et "Control Panel" pour pourvoir classifier les signaux et avoir les données signicatives
qui seront utilisables en notre interface in Eclipse environnement.
3 Nous avons crée notre interface en Eclipse environnement en utilisant Java. Nous avions
des difficultés d’utiliser les méthodes dans SDK avec "Java Wrapper", comme nous
avons mentionné étape précèdent , on avait choisi de utilisé les programmes fournis par
Emotiv. Cependant cet projet peut améliorer en immigrant C++ et MS Visual Studio.
Quand nous avions une donnée à notre interface, nous créons une chaîne d’un octet
adéquat à la pensée courante. Puis nous ouvrons des sockets pour le protocole d’UDP
et nous envoyons cet octet à KCB-3wl sans fil.
4 Nous avons programmé un serveur en langue C qui marche sur KCB-3wl. Une fois
le paquet envoyer sans fil en troisième étape, alors notre server reçoit cet octet, il le
convertit à une chaîne de 16 bits pour que la carte contrôle (RCB-4HV) de humanoïde
robot peut comprendre son signification. Quand elle le sais, il reste à adresser les forces
lesquelles nous avions défini avant avec le logicielle Heart2Heart, à des moteurs cervos
adéquats.
Finalement, notre sujet voit que le robot humanoïde fait le mouvement qu’il avait
pensée.
27
F IGURE 3.7 – Le schéma général du système
28
4 CONCLUSION
Dans le contexte de ce projet, nous sommes arrivé à réaliser un Interface Homme-Machine
pour contrôler le robot humanoïde, Kondo KHR-3hv, en utilisant le casque EEG de Emotiv.
La langue de documentation du robot a réduit notre vitesse. la compilateur pour le CPU
de sa carte wifi est plate-forme dépendent, on peut compiler juste sur un image SE de
Linux en Japonais sur VMware. En dehors de japonais, les codes principales viens avec
sa carte wifi est difficile de déboguer, il existe des erreurs alors il faut faire attention à
des versions, à des structures des bits dans les octets des messages. Si vous ne parlez pas
japonais, "google translate" est trop utile. Une fois vous comprenez son mécanisme, le
robot marche sans problème.
En faisant des test avec différentes sujet, nous avons vu que le système Emotiv trop
dépendent à personne. Nous ne pouvons pas conclure un résultat juste à propos de la
précision d’utilisation. Néanmoins, nous pouvons dire que quand on augmente le nombre
de possibilité pu capturer par le casque, autrement dire, le nombre des directions que
les sujets peuvent penser, la possibilité de faire distinction entre les pensées des actions
devient plus difficiles. Nous avons vu qu’un sujet contrôle le robot pour trois possibilité
action ("état neutre", "tournée à gauche", "marche en avant") très précisément, cependant,
quand nous avons ajouté l’action "tournée à droit", le même sujet était pas capable de
contrôler le robot.
Ce travail nous montre que aujourd’hui c’est difficile de créer une IHM avec la précision
pour un robot de service pour des patients paralysés en utilisant les outils de développement d’Emotiv.
Références
Carter, R. (2009). The Human Brain Book. Dorling Kindersley.
Fazel-Rezai, R. and Ahmad, W. (2011). P300-based brain-computer interface paradigm
design. Master’s thesis, University of North Dakota.
Hochberg, L. R., Bacher, D., Jarosiewicz, B., Masse, N. Y., Simeral, J. D., Vogel, J.,
Haddadin, S., Liu, J., Cash, S. S., van der Smagt, P., and Donoghue, J. P. (2012). Reach
and grasp by people with tetraplegia using a neurally controlled robotic arm. Nature
485(7398) :372-5. doi : 10.1038/nature11076.
Nicolas-Alonso, L. F. and Gomez-Gil, J. (2012). Brain computer interfaces, a review.
Sensors, 12(2) :1211–1279.
Sellers, E. W. and Donchin, E. (2006). A p300-based brain–computer interface : Initial
tests by {ALS} patients. Clinical Neurophysiology, 117(3) :538 – 548.
Trad, D. (2012). Interface Cerveau-Machine, Application au handicap moteur. PhD
thesis, Université de Versailles Saint-Quentin en Yveline.
Wozniak-Kwasniewska, A. (2013). Evaluation de l’excitabilité corticale par électroencéphalographie pour l’optimisation de la stimulation magnétique transcrânienne répétée
chez les patients souffrant de troubles de l’humeur.
PhD thesis, L’Université de
Grenoble.
Zimmermann, R., Marchal-Crespo, L., Edelmann, J., Lambercy, O., Fluet, M.-C., Riener,
R., Wolf, M., and Gassert, R. (2013). Detection of motor execution using a hybrid fnirsbiosignal bci : a feasibility study. Journal of NeuroEngineering and Rehabilitation.
Çağlayan, O. (2014). A portable and embedded ssvep bci system : embci. Master’s thesis,
Galatasaray University.