www.i-treasures.eu

KONSORSIYUM
METODOLOJİ
Somut olmayan kültürel mirası sürdürenler
sanatlarını icra ederken çok modlu duyargalar (sensör) aracılığıyla
kaydedilir. Görüntü/sinyal işleme ve örüntü tanıma teknikleri kullanılarak
kaydedilen sinyallerdeki düşük (örn. hareket izleme) ve orta seviye (örn.
duruşlar, hareketler, ses tempoları) özellikler ortaya çıkarılır. Bu işlemi
takiben, önerilen yöntem iki konuyu hedefler: a) farklı modalitelerden bilgi
elde etmek için veri füzyonu analizi uygulama, b) olasılıklı çıkarım kullanarak
düşük veya orta seviye multimedya özelliklerini yüksek seviye kavramlarla
eşleştirmek için içerik ve bağlamı birleştirme (örn. elde edilen veriyi insanlar
tarafından anlaşılabilir hale dönüştürme). Dijital miras kaynaklarının, sanat
eserlerinin dijitalleştirilmiş hallerini içerdiği gerçeğinden yola çıkarak,
multimedya içeriğin anlamsal analizinin gerekli olduğu sonucuna varılabilir.
Çünkü bu tip sanat eserlerinin otomatik açıklayıcı notları olması onların dijital
koleksiyonlara hızlıca entegre edilmesini mümkün kılar ve çeşitli araştırma
ve eğitimle ilgili işleri kolaylaştırır. Bu kapsamda ortaya çıkacak özgün yeni
bilgi diğer kültürel kaynaklarla birleştirilerek i-Treasures platformu
üzerinden erişilebilir olacaktır. Bu sayede farklı miras türlerinden farklı
türlerde içeriğe erişim imkanı sağlanacaktır. Buna ek olarak, web-tabanlı
oyun motorlarındaki gelişmelerin avantajını kullanarak 3B bir öğrenme
ortamı geliştirilecektir. Bu ortam kendi başına bir uygulama olabileceği gibi,
platform içine gömülü bir uygulama da olabilecektir. Bu oyun benzeri
uygulama, duyu-motor öğrenmeyle, öğrenen kişinin eğitiminin ve
performans değerlendirmesinin gelişmesine katkıda bulunacaktır.
Şarkı
Ses İzleme
Müzik
Hareket ve Duygu
Dans
Metin'den
Şarkı'ya
Somut Olmayan
Enstrüman
Kareografi
Université Pierre et Marie Curie (UPMC)
http://www.upmc.fr
http://www.espci.fr
Centre National de la Recherche Scientifique (CNRS)
http://www.cnrs.fr/
University of Mons (UMONS)
http://portail.umons.ac.be
Istituto Tecnologie Didattiche
Consiglio Nazionale delle Ricerche (ITD-CNR)
http://www.itd.cnr.it/
The Centre for Museums, Heritage and Material
Culture Studies at University College London (UCL)
http://www.mhm.ucl.ac.uk
Turk Telekomunikasyon A.S. (TT)
http://www.turktelekom.com.tr
University System of Maryland (USM)
http://www.usmd.edu
El Sanatları
Vücut Duruşu
Şarkı söyleme
Hassas
eklemleri Günlük hareketler Hareketler
Centre for Research and Technology Hellas Information Technologies Institute (CERTH-ITI)
http://www.certh.gr
http://www.iti.gr
Kaydetme
ark-çevirme
Modelleme
Özgün hareketler
Yerel Eğitim Öğrenme
Kurumları
İletim
Aristotle University of Thessaloniki (AUTH)
http://www.auth.gr
http://psyche.ee.auth.gr
ACAPELA Group Babel Technologies SA
http://www.acapela-group.com
University of Macedonia (UOM)
http://www.uom.gr
http://www.multimedia.uom.gr
Association pour la Recherche et le Développement
des Méthodes et Processus Industriels (ARMINES) /
Ecole Nationale Supérieure des Mines
de Paris (ENSMP)
http://www.armines.net
http://www.mines-paristech.fr
Contact:
Dr Nikos Grammalidis (Coordinator)
Centre for Research and Technology Hellas (CERTH) - Information Technologies Institute (ITI)
1st Km Thermi-Panorama Road, 57001 (PO Box 60361), Thermi-Thessaloniki, Greece
Tel: +30-2310 -464160 (int. 112)
Email: [email protected]
SOMUT OLMAYAN HAZİNELER
Somut Olmayan Kültürel Mirası yakalama ve Yaşayan
İnsan Hazinelerden zor bulunan bilgi birikimini öğrenme
www.i-treasures.eu
European Commission
Directorate General for Communications Networks, Content and Technology (DG CONNECT)
Unit G2 'Creativity', Euroforum building, 10, rue Robert Stumper, L-2557, Luxembourg
Email: [email protected]
MOTiVASYON
Kültürel ifade sadece mimari, heykel veya eser
koleksiyonlarıyla sınırlı degildir. Müzik, dans, şarkı söyleme, zanaatkarlık gibi bilgi
ve yetenekleri içeren manevi canlı ifadeleri de kapsar. İnsan zekasının ve
yaratıcılığının bu görünümleri bizim Somut Olmayan Kültürel Miras (SOKM)’ımızı
oluşturur. Bu tip kültürel miras aynı anda hem geleneksel hem çağdaş hem de
canlıdır, çünkü sadece miras kalan bilgiler değil çağdaş kültürel ifadelerin
yenilenmesi anlamına da gelir. Geçmişe, şimdiye ve kesinlikle geleceğe değinir
ve insanlığın kültürel çeşitliliğinin kaynağıdır. Somut olmayan kültürel miras
oluşumu sözlü olarak veya hareketle aktarılır ve zaman içerisinde değişime
uğrar. Bu yüzden, iyi korunmadıkları takdirde Somut olmayan kültürel mirasın
bazı elemanlarının yok olma ve nesillerinin tükenme riski vardır.
Bilgi ve haberleşme teknolojileri somut olmayan kültürel mirasın korunmasına
destek verebilir, sunumları için yeni yollar yaratabilir, toplum farkındalığını
artırabilir, kültürel kaynaklara kesintisiz ve evrensel ulaşım sağlayabilir,
araştırma ve eğitim servislerini destekleyebilir ve gizli kalmış manevi mirasları
gün ışığına çıkarabilir. Özellikle son ifade somut olmayan kültürel mirasın
korunmasında en zorlu problemi oluşturur ve a)somut olmayan kültürel mirasın
daha iyi anlaşılmasını sağlar, b) farklı zaman dilimlerinde veya coğrafi bölgelerde
yaşamış toplumlar arasındaki bağlantıyı ortaya çıkarır ve c) bilgi transferi ve
eğitimi konusunda yeni bir zemin hazırlar.
AMA
i-Treasures projesinin genel amacı SOKM kaynaklarına
ulaşım sağlayan açık ve genişletilebilir bir platform geliştirmek, araştırmacılar
arasında bilgi alış verişini sağlamak ve nadir bulunan bilgi birikiminin yaşayan
kültürel miras ustalarından çıraklara aktarılmasına destek olmaktır. Bu amaçla,
proje sadece kültürel içeriğin dijitalleştirilmesinden fazlasını hedeflemektedir.
Asıl katkı sağladığı nokta, yeni bir bilgi birikimi oluşturmak amacıyla SOKM’nin
analizi ve modellemesi için yeni yöntemler ve yeni teknolojik paradigmalar öne
sürerek şimdiye kadar incelenmemiş ve üzerinde çalışılmamış kaynaklar (“saklı
manevi hazineler”) ortaya çıkarmaktır. İ-Treasures projesinin özünde farklı SOKM
şekillerinden saklı gizli hazineleri ortaya çıkarabilmek için çoklu algılama
teknolojisi(2B/3B optik sensörler, sesötesi sensörler, microfonlar, EEC vb.)
kullanarak belirli motifleri(duruş, jestler, ses motifleri, hareketler vb.) saptamak
yatmaktadır. İ-Treasures projesi çerçevesinde dört farklı SOKM bileşeni detaylo
olarak incelenmektedir; a) nadir bulunan geleneksel şarkılar, b) nadir bulunan
dans etkileşimleri, c) geleneksel el zanaatkarlığı ve d) çağdaş müzik besteleme.
ESAS HEDEFLER
• Zor bulunan bilgi birikimini ve kullanıcı ihtiyaçlarını belirlemek
• SOKM’nin korunması ve aktarılması ve saklı somut olmayan kültürel
mirasın tanımlanması için yeni teknolojiler sunmak
• Var olan kültürel içeriğin ötesinde daha önce hiç analiz edilmemiş kültürel
içeriğin oluşturulması için çoklu sensör teknolojilerini kullanmak
• SOKM verileri üzerinde Semantik Medya Yorumlaması yapmak
• SOKM araştırması ve eğitimi için bir web platformu geliştirmek ve
değerlendirme yapmak
• Kültürel ifade için yeni yöntemler yaratmak
• SOKM’nin korunması için insanlar arasındaki farkındalığı artırmak
• Prototip Bölgesel Okullar konsepti aracılığıyla nadir bununan bilginin
korunması, yenilenmesi ve gelecek nesillere aktarılması için sistematik bir
yöntemin geliştirilmesine destek vermek
ÖRNEK SENARYOLAR
• Çalışma 1: Nadir Bulunan Şarkı Söyleme Bilgisi
• Çalışma 3: Geleneksel Zanaatkarlık
Bu çalışmanın amacı en son teknoloji
sensörleri ve veri füzyonu tekniklerini
kullanarak çok modlu ses ve jest analizi
için yenilikçi yöntemler geliştirmektir.
Şarkı söylerken insan sesinin kapasitesini araştırmak amacıyla üzerinde
ultrason güç çevirici, optik kamera,
piezoelektrik güç çevirici ve/veya burun
akustik mikrofonu bulunan bir mobil
“süper başlık” geliştirmek projenin ana hedeflerinden biridir. Şarkı söyleme
üzerine yapılan çalışma UNESCO’nun Manevi Kültürel Miras Envanterindeki acil
koruma altına alınması gereken bir takım geleneksel Avrupa’ya özgü şarkı
söyleme teknikleriyle ilgilenmektedir. Seçilen şarkılar; Korsika(Fransa)’dan
“cantu in paghjella”, Sardinya(İtalya)’dan “canto a tenore” pastoral şarkıları ve
Athos Dağı(Yunanistan)’ndan Bizans ilahileridir. Çalışma ayrıca yeni gelişen
modern bir şarkı söyleme şekli olan, vokalistin vurmalı çalgıların seslerini taklit
ettiği “beat box”ı da kapsar.
Geleneksel el becerisi üzerine
yapılan
çalışma,
çömlekçilik
üzerinden
giderek
zanaatkarla
yarattığı
materyal
arasındaki
etkileşimin analizi, modellemesi,
tanınması ve anlamsal analizini
yapmayı hedeflemektedir. El becerisi
etkileşiminden kastedilen materyalin
elle kontrol edilmesi ve ona bir şekil
verilmesidir. Sistem zanaatkarla
materyal arasında daha önceden
tanımlanmış ve kaydedilmiş en önemli etkileşimlere göre sürekli olarak
zanaatkarın el hareketinlerini tanır. Kısaca bu çalışma zor bulunan el becerisi
bilgisine sahip olan insanlardan en önemli hareketlerini ve yöntemleri
öğrenmeyi hedefler. i-Treasures projesi çerçevesinde, 2B/3B ve/veya
gömülü sensörlerin kullanımına dayalı bir melez hareket tanıma yöntemi
kullanılarak, çömlekçilik el sanatı hakkında bilgi birikimi elde edilecektir.
• Çalışma 2: Nadir Bulunan Dans Bilgisi
• Çalışma 4: Çağdaş Müzik Besteleme
Dans, dans edenin vücudunu içinde
barındırmakla beraber özünde soyut bir
sanattır. Dans, anlık duruma göre farklı
mesajlar taşıyabilir, estetik ve artistik
yönlere (modern dans, bale), kültürel ve
sosyal yönlere (halk dansları, geleneksel
danslar), hikaye anlatmaya ( sembolik
danslar)
ve
ruhsal
anlamlara(semazenler) odaklanabilir.
Dansın türüne göre, hareketin keskinliği
ve yapılış şekli(“hareket kalitesi”) en
önemli unsur olabilir (modern dans)
ancak geleneksel danslar gibi sadece
işlevin önemli olduğu durumlarda bu
önem azalır. Dans çalışması, modern dans ve geleneksel dans olmak üzere iki
konu üzerinde odaklanmaktadır. Bu çalışmada, hareket keskinliği ve
kısıtlamalara (bazı danslarda dansın bir parçası olarak çeşitli aksesuarlar
kullanılabilir, bunlar da vücudun hareketini etkiler) bağlı olarak farklı tiplerde
sensörler (derinlik kameraları, eylemsizlik sensörleri ve optik mocap sistemleri)
kullanılacaktır.
Gösteri sanatları insanların
hem iletişimsel (ifadeler,
duygular vb.) hem de
kontrol(aksiyonları tetikleri,
sürekli değişen parametreleri
kontrol
etme)
yönlerini birleştirir. Sanatçı
algıyı, hareketi ve bilgiyi
birleştiren bir tetikleyici ve
aktarıcıdır. Bu çalışmanın
asıl amacı yeni bir somut
olmayan
müzik
aleti
geliştirmektir. Örneğin, müzik bestelemek için yeni bir Çok Modlu
İnsan-Makine Arayüzü geliştirilecektir. Bu alette gerçekte yapılan doğal
hareketler müzik/ses segmentleriyle eşleştirilir ve bu işlem yapılırken
sanatçının duygusal durumu da göz önüne alınır. Hareket veri alımı ve 2B/3B
ve/veya gömülü sistemlere dayalı analiz için melez bir yaklaşım kullanılır.
Sanatçının duygusal durumu da EEG ile ve yüz ifadesi analiziyle çözümlenir.
Bütün bu hareketler, ifadeler, duygular ve sesler geliştirilen alete entegre
edilerek farklı profillerdeki (besteciler, sanatçılar, müzisyen olmayanlar vb.)
kullanıcılara daha karışık vücut/müzik etkileşimini keşfetme olanağı tanır.