Çalışma Grubu Raporu - TBD Kamu-BİB Kamu Bilişim Platformu-18

TÜRKİYE BİLİŞİM DERNEĞİ
Kamu Bilişim Merkezleri Yöneticileri Birliği
Kamu Bilişim Platformu
BÜYÜK VERİ UYGULAMALARI
Çalışma Grubu 4
RAPORU
Sürüm 1.0
http://www.tbd.org.tr
11 Mayıs 2016
TBD Kamu-BİB
Kamu Bilişim Platformu XVIII
Hedef Kitle
Bu raporun hedef kitlesi, tüm kamu kurum ve kuruluşları, sivil toplum
kuruluşları, özel sektör ve uluslar arası kuruluşlardır.
Belge No
:
TBD/Kamu-BİB/2016-BG4
Tarihi
:
11 Mayıs 2016
Durumu
:
Taslak Rapor – sürüm 1.0
i
Yayını Hazırlayanlar
Başkan
Prof. Dr. Erdoğan Doğdu
TOBB Ekonomi ve Teknoloji Üniversitesi
Başkan Yardımcısı
Yrd.Doç.Dr. Ziya Karakaya Atılım Üniversitesi
Kamu-BİB YK Temsilcileri
Mesut KÜÇÜKİBA
TCDD
Sadettin KAYA
T.C. Başbakanlık
Grup Üyeleri
A. Esad Berktaş
Sağlık Bakanlığı
Ayşe Gül İbrişim
TSE
Barış Tamer Akyılmaz
İŞKUR
İrem Soya
İŞKUR
Lütfi Özbilen
Fokus Akademi
Özlem Gürel
Sağlık Bakanlığı
Refia Karaca
İDE Danışmanlık
Semih ÇELİK
Adalet Bakanlığı
Serhan Kars
Başbakanlık
Umut Elmas
Sağlık Bakanlığı
Veysel Uğur Kızmaz
İŞKUR
ii
TEŞEKKÜR
Bu kılavuzu hazırlanmasında yorumlarıyla ve önerileriyle yardımlarını
esirgemeyen Onsekizinci Dönem TBD Kamu-BİB Yönetim Kurulu üyelerine
teşekkürlerimizi sunarız.
iii
İÇİNDEKİLER
TEŞEKKÜR .................................................................................................. iii
İÇİNDEKİLER ............................................................................................... iv
TANIMLAR VE KISALTMALAR ..................................................................viii
ŞEKİLLER .................................................................................................... ix
TABLOLAR .................................................................................................. ix
ÖNSÖZ .......................................................................................................... x
BÖLÜM 1 ....................................................................................................... 1
Büyük Veri .................................................................................................... 1
1.1 Tanım.......................................................................................................................... 1
1.2 Araçlar ........................................................................................................................ 2
MapReduce................................................................................................................... 2
Hadoop .......................................................................................................................... 3
Spark ............................................................................................................................. 4
Storm ............................................................................................................................. 5
FLink.............................................................................................................................. 6
Apache Ranger ............................................................................................................. 7
Knox Gateway .............................................................................................................. 7
Kafka ............................................................................................................................. 7
R .................................................................................................................................... 8
Cascading ..................................................................................................................... 8
Elasticsearch ................................................................................................................ 8
HBase ............................................................................................................................ 9
Hive ............................................................................................................................... 9
Pig................................................................................................................................ 10
Cassandra ................................................................................................................... 10
iv
MongoDB .................................................................................................................... 10
Dağıtık Dosya Depolama Sistemleri ......................................................................... 11
BÖLÜM 2 ..................................................................................................... 12
Kamuda Büyük Veri ................................................................................... 12
2.1 Kamuda büyük veri kullanım alanları ................................................................. 12
Sağlık .......................................................................................................................... 13
Eğitim .......................................................................................................................... 13
Enerji ........................................................................................................................... 13
Vergi toplama, bütçe ve harcamalar ......................................................................... 13
Güvenlik ...................................................................................................................... 13
2.2 Veri güvenliği, veri mahremiyeti ve gizliliği....................................................... 14
2.3 Açık veri (Open Data)............................................................................................. 15
2.4 Sosyal medya, IoT, Endüstri 4.0, Akıllı şehirler ................................................ 15
BÖLÜM 3 ..................................................................................................... 17
Türkiye’de Kamuda Büyük Veri ................................................................ 17
3.1 Türkiye’de Kamuda Veri İşlemenin Geçmişi ..................................................... 17
3.1.2 Türkiye’de Kamuda Bilişimin Gelişimi ............................................................. 17
3.2 Türkiye’de Kamuda Büyük Veri İçerikli Projeler ............................................... 19
3.2.1 Sosyal Güvenlik Kurumu (SGK) Projeleri........................................................ 20
3.2.2 Milli Eğitim Bakanlığı (MEB) Projeleri .............................................................. 21
3.2.3 Sağlık Bakanlığı Projeleri ................................................................................. 22
3.3 Kamu Kurumlarının Büyük Veri Uygulamaları .................................................. 23
3.3.1 Kamu Kurumlarında Gerçekleştirilen Uygulamalar ........................................ 23
3.3.2 Kamu Kurumlarında Gerçekleştirilebilecek Projeler ....................................... 24
3.4 Mevzuat ve Strateji ................................................................................................. 30
Açık Veri ve Veri Güvenliği ........................................................................................ 30
Kişisel verilerin kullanımı yasasına büyük veri süreçlerinin dâhil edilmesi............. 31
Yasal Dayanaklar ve Strateji ..................................................................................... 32
3.5 Kamu Kurumlarında Büyük Veri Kullanımı ve Büyük Veri Algısı .................. 33
v
Soru 1. Kurumunuzun çalışma alanı nedir? ............................................................. 34
Soru 2. Verilerinizi nerede tutuyorsunuz?................................................................. 34
Soru 3. Kurum olarak “büyük veri” konusuna ilginiz var mı?................................... 34
Soru 4. Kurum olarak “büyük veri” stratejiniz var mı?.............................................. 35
Soru 5. Kurumunuzdaki verinin büyüklüğü nedir? ................................................... 36
Soru 6. Kurumunuzda yapısal ve yapısal olmayan veri büyüklüğü oranları nedir?
.................................................................................................................................................. 36
Soru 7. Kurumunuzda veri işlemede aşağıdaki hangi yaklaşımı uyguluyorsunuz?
.................................................................................................................................................. 37
Soru 8. Büyük ölçekli veri işlemede hangi yöntemleri kullanıyorsunuz? ................ 38
Soru 9. Büyük veri konusunda kurumunuzda hangi yatırımlar yapıldı? ................. 38
Soru 10. Büyük veri yatırımlarınızın yaklaşık değeri nedir? .................................... 39
Soru 10. Büyük veri projeniz var mı? ........................................................................ 39
Soru 11. Büyük veri projeniz yoksa kurumun büyük veri konusunda gelecek
planları nelerdir? ...................................................................................................................... 40
Soru 12. Büyük veri projelerinde çalışan sayınız kaçtır?......................................... 41
Soru 13. Büyük veri işlemede hangi teknolojileri kullanıyorsunuz ya da
inceliyorsunuz? ........................................................................................................................ 41
Soru 14. Kurumunuzda “Büyük Veri Analitiği” konusunda aşağıdaki konularda
yetkin çalışan sayısını belirtiniz. ............................................................................................. 41
BÖLÜM 4 ..................................................................................................... 43
Dünya’da Kamuda Büyük Veri Uygulamaları........................................... 43
4.1 ABD’de Kamuda Büyük Veri ................................................................................ 43
4.2 AB’de Kamuda Büyük Veri ................................................................................... 45
4.3 Asya Ülkelerinde Kamuda Büyük Veri................................................................ 46
Güney Kore ................................................................................................................. 46
Singapur ...................................................................................................................... 47
Japonya ....................................................................................................................... 47
Çin Halk Cumhuriyeti ................................................................................................. 48
4.4 Avustralya'da Kamuda Büyük Veri ..................................................................... 48
BÖLÜM 5 ..................................................................................................... 49
vi
Kamu için öneriler ...................................................................................... 49
5.1 Ulusal öncelikler ..................................................................................................... 49
Savunma ve güvenlik ................................................................................................. 49
Ekomomi, Üretim, Büyüme, ve İstihdam .................................................................. 50
Eğitim ve Sağlık .......................................................................................................... 50
Şeffaflık ....................................................................................................................... 51
5.2 Analitik kurumu ...................................................................................................... 51
5.3 Gerçek-zamanlı analiz ........................................................................................... 51
5.4 Küresel işbirliği ...................................................................................................... 52
5.5 Özel sektör işbirliği ................................................................................................ 52
KAYNAKÇA ................................................................................................ 53
vii
TANIMLAR VE KISALTMALAR
MapReduce
Büyük veri uygulamalarında kullanılan temel
algoritma, Google tarafında önerilmiştir
Hadoop
MapReduce algoritmasını açık yazılım olarak
gerçekleştiren çerçeve yazılım, ilk defa Yahoo
tarafından geliştirildi, şimdi Apache tarafından
geliştiriliyor
Spark
Hadoop’a alternatif olarak Berkeley Üniversitesi’nde
geliştirildi, şimdi Apache tarafından açık yazılım
olarak geliştiriliyor. Bellek tabanlı veri yönetimi ile çok
daha hızlı.
Büyük Veri
Geleneksel veri işleme yöntemlerinin yetersiz kaldığı,
çok büyük ve karmaşık, yapılı ve yapısız veriler.
Açık Veri
Erişimi herkese açık, genelde Web üzerinden
paylaşılan veriler.
IoT
Internet of Things, veya Nesnelerin İnterneti. Veri
toplayan, İnternet’e ve birbirlerine bağlı, haberleşen
cihazlar, araçlar, telefonlar, binalar, taşıtlar, vb.
Endüstri 4.0
Endüstriyel üretimde yeni dönem. Akıllı sistemler,
otomasyon, IoT ve algılayıcıların kullanılması ile
üretim süreçlerinin daha akıllı ve etkin bir şekilde
yapılması.
Akıllı
Smart cities. Yerel yönetimlerin ve belediyelerin
Şehirler
şehir hayatını kolaylaştıracak akıllı sistemlerle, IoT
ve verilerle, şehri yönetmesi, güvenlik ve refahı
artırması.
viii
ŞEKİLLER
Şekil 1. Hadoop 2.0 Ekosistemi ....................................................................4
Şekil 2. Spark genel modülleri ......................................................................5
Şekil 3. Flink ekosistemi ...............................................................................6
Şekil 4. Kafka’nın çalışma biçimi ...................................................................8
Şekil 5. ElasticSearch ile Hadoop yapılanmasının entegrasyonu ..................9
TABLOLAR
Tablo 1. Türkiye'de kamuda önemli bilişim gelişmeleri.................................17
ix
ÖNSÖZ
İnternet ve Web’in hayatımıza girmesi, her alanda sayısallaşma, veri saklama
teknolojilerinde ucuzlama ve kapasite artışı gibi gelişmelerle birlikte çok büyük veri
kaynakları oluşmuş bulunmaktadır. Büyük veri şu üç temel nitelikle klasik veriden
ayrılmaktadır: veri hacmi (volume), veri hızı (velocity), veri çeşitliliği (variety). Veriler
büyüdükçe bu verileri geleneksel yöntemlerle işlemek zorlaşmış ve “büyük veri”
işleme yöntem ve teknolojileri ortaya çıkmıştır. Son yıllarda tüm dünyada ve
ülkemizde “büyük veri”ye ilgi artmaktadır. “Büyük veri” işleme yöntemleri kullanılarak
sanayi, ticaret, bilim, sağlık, eğitim, kamu ve sosyal bilimler gibi hemen her alanda
toplanan büyük verilerden bilgi üretilebilmekte ve bu bilgi kullanılarak karar destek
sistemleri daha etkin çalışmakta ve sonuçta insan hayatı daha kolay yaşanır hale
gelmektedir.
Çalışma grubunun odak noktası kamu alanında büyük veri uygulamalarıdır. Kamu
kurumları, büyük veri konusunda en önemli veri kaynağı ve uygulama alanlarından
birisidir. Kamu kurumları hemen her alanda (büyük) veri toplamaktadır. Bu büyük
verilere dayalı yürütülecek çalışmalarla toplumu ve ülkeyi etkileyecek önemli
kararların alınması ve uygulamaya konması mümkün olabilmektedir.
Bu çalışma çerçevesinde, Türkiye’de kamu kurumlarındaki “büyük veri resminin
çekilmesi,
kurumlarda
mevcut
ve
potansiyel
“büyük
veri”
uygulamalarının
incelenmesi ve nihai olarak kamu kurumlarına “büyük veri” konusunda bir strateji yol
haritasının sunulması hedeflenmiştir.
x
BÖLÜM 1
Büyük Ver
1.1 Tanım
Büyük verinin farklı tanımlarına geçmeden önce tüm tanımlar için geçerli olan
ve Büyük Veri kavramını diğerlerinden ayrıştırmamızda yardımcı olacak önemli ve
kısa bir cümle ile başlayalım: “ilişkisel veritabanı, veri ambarı, veri siloları ve bu
ortamlar için hazırlanmış olan geleneksel yöntem ve arçlarlar ile işlenemeyen veriler
(boyut, hız, kompleksite, çeşitlilik, vb. unsurlar nedeniyle) büyük veri olarak
algılanabilir”.
En temel ve basit anlatımı ile; büyük hacimli (volume), yüksek hızlı (velocity),
çok çeşitlikte (variety) veri kaynakları “büyük veri” olarak tanımlanır. Bu tanıma 3V
kuralı da
denilir.
Günümüzde
bu
V’lerin
sayısı artırılarak zenginleştirilen
tanımlamalara sıkça rastlanabilmektedir. Örneğin, veracity (doğruluk), value
(değerli), validity (geçerlilik), visible (görülebilir) gibi özellikler de büyük verinin
tanımına eklenebilmektedir.
Teknolojinin gelişimi ile veri üretim hızının artması ve toplanan verilerin
işlenebilmesi gittikçe güçleşmiştir. Günümüzde veri üretmeyen ürünün kalmadığı bir
çağa doğru ilerlerken RFID, akıllı sensörler, akıllı evler, akıllı şehirler, akıllı arabalar
ve akıllı telefonların ürettiği verilerin dahi geleneksel yöntemlerle işlenemeyeceği
gerçeği ile yüzleşilmesi sonucunda Büyük Veri kavramı ortaya çıkmış ve her geçen
gün popüleritesi daha da artmaktadır. Özellikle internet’in yaygınlaşması, sosyal
medya kavramlarının ortaya çıkışı ile toplanan veri miktarlarında ve çeşitliliğinde
büyük oranda artışlar gerçekleşmiştir. Bu verilerin anlamlı bir şekilde kullanılması
yönünde Google’in attığı adımlar önemli yer tutmaktadır. Buna ilaveten FacebookTM,
TwitterTM
gibi
sosyal
medya
şirketlerinin
yanısıra,
AmazonTM,
büyük
telekomunikasyon şirketleri, sağlık kuruluşları ve bankaların verileri hızlı bir şekilde
işleyerek kişisel bazda anlamsal bilgiler üretme çalışmaları bu teknolojinin hızlı bir
şekilde gelişmesini sağlamıştır. Günümüzde artık alışveriş sitelerinden, sağlık
sigorta kuruluşlarına kadar her yerde büyük veriden bahsetmek mümkün
olabilmektedir.
1
Yukarıda anlatılan boyut ve çeşitlilikte verilerin bir arada gerçek zamanlı
yada gerçek zamana yakın bir hızda toplanması, depolanması, işlenebilmesi ve
anlamlı bilgiler üretilmesinin en önemli gereksinimleri büyük oranda veri depolama
olanağı ve yüksek hızlarda işlem gücüdür. Bu iki teknoloji aslında büyük veriyi var
eden anahtar teknolojiler olarak görülmektedir. Son yıllara kadar veri depolama ve
yüksek başarımlı hesaplama gücü çözümleri çok pahalı ve büyük teknolojileri
gerektirmekte iken, dağıtık ve paralel hesaplama tekniklerinin gelişiminin yanı sıra,
dağıtık depolama ünitelerinin oluşturulabileceği dosya sistemlerinin gelişmesi ile
sıradan bilgisayarlar ile büyük veri işleyebilecek yapıların düşük maliyetlerle
oluşturulabilmesi mümkün hale gelmiştir.
1.2 Araçlar
Büyük veriyi alıp işleyecek olan programlama tekniklerinin ve yazılım
çözümlerinin üretilmesi ihtiyacı ortadadır. Bu yönde en önemli ivmeyi kazandıran
gelişme Google
TM
tarafından üretilmiş olan GFS dosya sistemi ve MapReduce
programlama tekniği olmuştur. Aşağıda bu araçlarla ilgili özet bilgilere yer
verilmektedir.
MapReduce
MapReduce programlama metodu Google tarafından geliştirilen ve çok
sayıda sıradan bilgisayardan oluşan küme üzerinde dağıtık/eş zamanlı olarak işlem
yapmak için kullanılan bir tekniktir. Google bu metodu kamuoyu ile paylaştıktan
sonra çok sayıda MapReduce metodu kullanan yazılım çözümleri üretilmeye
başlandı ve büyük veri üzerinde kullanımı ile yaygınlaşmaya başladı. Bu tekniğin en
önemli özelliği iki farklı işlem türü kullanarak sonuca ulaşmasıdır. MapReduce
işleminin nasıl çalıştığını anlamak için bir örnek üzerinden açıklamakta fayda var.
Diyelim ki elinizde çok büyük boyutlarda (örneğin Petabyte boyutlarında) düz
metin yazıları bulunmakta ve siz bu yazılarının tamamı üzerinde kullanılan tüm
kelimelerin her birinin toplam sayısına ihtiyaç duymaktasınız. Bu işlem için tek bir
bilgisayar üzerinde çalışan bir tarama çözümü üretebilirsiniz ancak çok uzun
sürelerde bu işlemin sonuçlarını alabilirsiniz. Bu durumda yapılacak olan çözümün
eş zamanlı (paralel) programlama tekniğini kullanması akıllıca olabilir. Şu halde
algoritmanızın eş zamanlı çalışır hale getirilmesi gerekecektir. Elinizdeki en büyük
bilgisayarın 32 adet işlemci çekirdeği olduğunu varsayarsak, bu durumda gerçek
2
anlamda eş zamanlı çalışacak olan iş sayısı bu kadarla sınırlı olacaktır. Verileriniz
de tek bir depolama ünitesinde tutuluyor olduğuna göre her bir eş zamanlı çalışan iş
sürecinin veri erişim hızı paylaşımlı olduğundan yine istenilen sonucu almak zor
olacaktır. Bir adım daha ileriye gidelim ve diyelim ki siz dağıtık programlama
yöntemini de biliyorsunuz ve bu yöntemi uygulayacaksınız. Bu durumda işlerin
dağıtılması işlemini, bunların herhangi birisinde hata çıkması durumunda (fault)
bunu algılayıp hemen gerekli tedbirleri almak zorundasınız, tüm verileri doğru
şekilde iş yapan bilgisayarlara gönderebilmeniz gerekir. Peki ya bu eş zamanlı
işlerden hangisine, verilerinizin hangi bölümünü gönderdiniz? Onlarda herhangi bir
sorun olması durumunda aynı verileri tekrar vermeniz ve yeniden hesap yaptırmanız
gerekir. Hadi bunları da yaptığınızı düşünelim, iyi ama verileriniz tek bir disk
üzerinde duruyor ise bu verileri o kadar sayıdaki eş zamanlı iş parçacıklarına hızla
nasıl aktarabileceksiniz?
Gördüğünüz gibi çok sayıda sorun ile baş etmek zorundayız. İşte bu kadar
çok sorunla boğuşmamak için gelin MapReduce tekniğini eş zamanlı dosya
sistemleri ile birleştirerek kullanmayı düşünelim. Google’ın bu işi nasıl çözerdi? Tabii
ki öncelikle kullandığı GFS (Google File System) tekniği ile verileri çok sayıdaki
bilgisayara küçük bloklar halinde dağıtarak tutmayı, sonra o veri’ler üzerinde iş
yapacak kod parçalarını da aynı bilgisayarlar üzerinde çalıştırmak sureti ile yukarıda
bahsettiğimiz sorunların bir çoğunu bertaraf edecektir. Bunu yaparken elbette ki hata
yakalama ve gerekli düzenlemeleri yapma yeteneği de yine MapReduce kod
kütüphanesi içerisinde bulunacaktır.
Şu halde tek yapmamız gereken önce MAP fonksiyonu ile her bir bilgisayar
kendisinde mevcut olan küçük bloklar üzerinde tarama işlemi çok hızlı bir şekilde
tamamlayabilir, daha sonra da REDUCE işlemi ile bu sonuçlar bir merkezde
toplanabilir. İşte MapReduce programlama metodu bu şekilde çalışmaktadır.
Google’in geliştirdiği GFS yerine genellikle açık kaynak kodlu olan Apache HDFS
(Apache Hadoop Distributed File System) kullanılmaktadır.
MapReduce hakkında : https://en.wikipedia.org/wiki/MapReduce
Hadoop
Yukarıdaki anlatımımızda MapReduce programlama metodunun sonunda
HDFS’den bahsettik. Ve öncesinde de bu yapılanma için birçok kütüphaneden
oluşan bir ekosistemin var olması gerekliliğini ortaya koymuş olduk. Bu noktada
3
yardımımıza
Hadoop
koşmaktadır.
Hadoop bir
ekosistemdir
ve
içerisinde
MapReduce gibi programlama metodlarını kolaylıkla gerçekleştirebileceğimiz
bileşenler bulunmaktadır. Temel yapı taşlarını ise iş parçacığı yönetimi, dağıtık
dosya sistemi ve MapReduce kütüphanesi oluşturmaktadır. Elbette ki bu
ekosistemin iyi bir biçimde çalışabilmesi için gerekli olan diğer bileşenler de
bulunmaktadır. Aşağıda Hadoop 2.0 ekosistemini gösteren şekil bulunmaktadır
(Şekil 1).
Hadoop Web Sayfası : http://hadoop.apache.org/
Şekil 1. Hadoop 2.0 Ekosistemi 1
Spark
Hadoop’un MapReduce motoruna alternatif olarak geliştirilmiş olan genel
amaçlı bir işlem motorunu hadoop’un diğer ekosistemi ile birleştirmek sureti ile,
işlemleri hafızada yapmak sureti ile çok daha hızlı sonuçlar elde edilmesini sağlayan
bir kümeleme yapısıdır. Spark’ın en önemli avantajı hafıza-içi (in-memory)
çalışmasıdır. Böylelikle bazı uygulamalarda Hadoop Mapreduce’a göre 100 katı
1
Apache Hadoop web sayfasından alınmıştır
4
daha hızlı çalışabildiği gösterilmiştir. Bu noktada dikkat edilmesi gereken unsur
çözüm için büyük miktarda hafızaya ihtiyaç olmasıdır. Spark’ın bir diğer önemli
özelliği ise akan veri (streaming data) üzerinde çalışabilmesidir ve çok güçlü bir
Makine Öğrenmesi desteğidir. Bünyesinde barındırdığı Spark SQL kütüphanesi ile
kullanıcıya hem temel SQL işlemleri konusunda destek vermekte, hem de Hadoop
Ekosisteminde bulunan HiveQL gibi özelliklerle entegre çalışabilmektedir. Spark’ın 4
önemli modülü (Hata! Başvuru kaynağı bulunamadı.) şunlardır;
●
●
●
●
MLlib Makine Öğrenmesi kütüphanesi,
Spark SQL kütüphanesi
GraphX kütüphanesi
Spark Streaming kütüphanesi
Spark Web Sayfası : https://spark.apache.org/
Şekil 2. Spark genel modülleri 2
Storm
Twitter tarafından açık kaynak olarak sunulan Apache Storm akan veri
işleme konusunda dağıtık hesaplama mantığını kullanan önemli bir framework
olarak karşımıza çıkmaktadır. Özellikle farklı kaynaklardan gelen verilerin entegre
edilmesi, bunlar üzerinde filitreler çalıştırılması gibi bir işlem bandı mantığının
uygulandığı Storm içerisinde uygulamalar kendi deyimleri ile “topoloji” mantığında ve
üretim bandı tekniği ile çalışması sağlanmaktadır. Spark’da bu işlem DAG (Directed
Asyclic Graph) mantığı ile yapılarak gerektiğinde döngüsel iş akışlarının yaratılması
sağlanırken Storm daha basit bir mantık kullanmıştır. Her ikisinin de akan veri
2
Apache Spark web sayfalarından alınmıştır
5
üzerinde Makine Öğrenmesi, event processing gibi işlemleri kolaylaştırdığını
söyleyebiliriz.
Storm Web Sayfası : https://storm.apache.org/
FLink
FLink de Spark ve Storm gibi akan veri üzerinde işlem yaparken aynı
zamanda tasarımı gereği Hadoop gibi yığın veriler üzerinde de dağıtık küme işleme
tekniğini kullanabilmektedir. Dolayısı ile FLink hem yığın veriler üzerinde hem de
akan veriler üzerinde işlem yapabilmek için geliştirilmiş bir platformdur. Öte yandan
yerel olarak çalışabildiği gibi, YARN, Amazon EC2 yada Google Cloud gibi
ortamlara da rahatlıkla entegre olabilecek şekilde tasarlanmıştır. Diğer platformlarda
olduğu gibi, burada da Makine Öğrenmesi, Graph İşleme, İlişkisel yapılar üzerinde
çalışabilme ve olay işleme (event processing) gibi yetenekleri de barındırmaktadır.
Aşağıda temel yapı taşlarını gösteren bir resim bulunmaktadır (Şekil 3).
FLink Web Sayfası : https://flink.apache.org/
Şekil 3. Flink ekosistemi 3
3
Flink web sayfasından alınmıştır
6
Apache Ranger
Hadoop platformu için merkezi bir güvenlik mekanizması oluşturan bir
framework olan Ranger, özellikle birden çok kişinin (multi-tenant) veri erişimi
yapması gereken yerlerde Hadoop Ekosistemi’nin boydan boya güvenli erişim, yetki
kontrolü gibi işlemlerini üstlenebilmektedir. Hadoop’un son yapılanmasında bulunan
YARN desteği ile daha geniş kapsamlı özellikleri barındırabilmektedir. Proje kuluçka
(incubator) aşamasında olduğundan dikkatle izlenmesi ve çok sık güncelleme ve
düzeltmelerin var olduğunun bilinmesinde fayda var.
Ranger Web Sayfası : http://ranger.incubator.apache.org/
Knox Gateway
REST servislerinin tek noktadan ve güvenli bir şekilde verilmesini sağlayan
bir yapılanma sağlamaktadır. Özellikle Hadoop ortamlarının güvenli şekilde
yönetimini sağlamak üzere bu araç kullanılabilir. Bu proje de henüz kuluçka
aşamasında bulunmaktadır.
Knox Web Sayfası : https://knox.apache.org/
Kafka
LinkedIn tarafından geliştirilen ve bir Apache projesi olarak açık kaynaklı
olarak kullanıma sunulan Kafka akan verinin toplanması ve akan veri işleme
yazılımlarına gönderilmesi için kullanılan hata-toleranslı (fault-tolerant) publishsuscribe (yayınla-abone) modelinde çalışan bir mesaj taşıyıcı aracıdır. En büyük
özelliği Spark, Storm, FLink ve benzeri yapılarla entegre olabilmesi ve çok hızlı
şekilde verileri aktarabilmesidir. Aşağıdaki resimde (Hata! Başvuru kaynağı
bulunamadı.) görüldüğü gibi çok sayıda veri üreticisinin bir merkeze bu verileri
göndermesi, ve aynı verileri çok sayıda tüketici (işlem yapacak olan küme
elemanları) o merkezden verileri çekerek üzerinde yapacakları gerekli işlemleri
yapmalarını sağlayan bir mekanizmadır. Örneğin bir tır filosundan devamlı olarak
coğrafi bilgilerin ve aynı zamanda bu araçta bulunan birçok sensör tarafından
üretilen verilerin tek merkezde toplanmasını, ve bu merkezi noktada toplanan
verilerin gerçek zamanlı olarak yüzlerce bilgisayardan oluşan bir küme tarafından
büyük veri analizine tabi tutulmasını istiyorsanız Kafka tam aradığınız araçtır.
Kafka Web Sayfası : https://kafka.apache.org/
7
Şekil 4. Kafka’nın çalışma biçimi 4
R
R dili açık kaynak olarak geliştirilmiş olan ve özellikle istatistiksel
hesaplamaya yönelik tasarlanmış bir dildir. Bu dilin Büyük Veri ortamında kullanımı
gittikçe yaygınlaşmakta ve yukarıda anlatılmış olan platformların çoğu tarafından
kullanımı desteklenmektedir. Bu dil ile verilerin görsel hale getirilmesi de kolaylıkla
yapılabilmektedir.
R Web Sayfası : https://www.r-project.org/
Cascading
Hadoop ve Spark ortamlarının desteklendiği bir yazılım geliştirme platformu
olarak geliştirilmiş olan Cascading ve diğer destek yazılımları ile çok kolaylıkla ve
güçlü yapılarda veri işleme yazılımı geliştirmek mümkündür. Büyük veri için çözüm
geliştirecek olan kişilerin mutlaka incelemesi gereken bir uygulama platformudur.
Özellikle verilerin alınması, işlenmesi ve yüklenmesi (ETL) işlemlerini çok kolaylıkla
yapmamızı sağlayacak bu platform aynı zamanda diğer veri analizi tekniklerinin
kullanımı da kolaylaştırırken, hızlı çözüm üretebilmeyi sağlamaktadır. Java yada
Scala ile çözüm üretenlerin mutlaka bu projeyi takip etmesi gerektiğine inanıyoruz.
Cascading Web Sayfası : http://www.cascading.org/
Elasticsearch
REST
tabanlı
çalışan
Arama
motoru
sunucusu
olarak
geliştirilen
Elasticsearch, büyük veri çözümleri ile kolaylıkla entegre olabilmektedir. Örneğin
4
Apache Kafta web sayfasından alınmıştır
8
hadoop ortamı ile entegre olmasını sağlayan es-hadoop yapısı sayesinde
elasticsearch uygulamasının YARN ve HDFS özelliklerini kullanarak entegre olması
sağlanabilmektedir. Hadoop’a gerçek zamanlı arama yapma yeteneği konusunda
oldukça büyük katkılar sağlayan bu çözümün de kurumlarımızda ihtiyaç olması
halinde kullanımı mümkündür.
Elasticsearch Web Sayfası : https://www.elastic.co/
Şekil 5. ElasticSearch ile Hadoop yapılanmasının entegrasyonu 5
HBase
Google’nin BigTable yapısını örnekleyen ve açık kaynak olarak Java ile
geliştirilmiş, colon bazlı, HDFS üzerinde dağıtık depolama yapabilen bir veri tabanı
yönetim sistemi olan HBase, Şekil 1’de Hadoop ekosisteminde gösterildiği üzere bu
ekosistemin bir parçası olarak çalışmaktadır. Son yıllarda yaygınlaşan ve özellikle
büyük veri uygulamalarında kullanılmakta olan NoSQL veri tabanı sistemlerinden bir
tanesi olan HBase, yüksek hızla çalışan ve ilişkisel olmayan verileri depolama ve
işlemede önemli avantajlar sağlamaktadır. Facebook bu veritabanı sistemini
kendisinin mesaj bölümünü oluşturmak üzere kullanıma başlamıştır.
HBase Web Sayfası : http://hbase.apache.org/
Hive
Hadoop ekosisteminin diğer üyelerinden birisi olan Hive, kendisini veriambarı
yazılımı olarak nitelendirmektedir. Kullanıcısına sağladığı fonksinoletiler aracılığı ile
5
Kaynak: ElasticSearch web sayfas
9
veriambarı işlemlerini saypmasın ve ETL gibi işlemleri kolaylıkla Büyük Veri
uygulamalarına entegre edebilmeyi sağlamaktadır. Hadoop ekosistemi içerisinde
verilere SQL cümleleri ile erişim konusunda büyük kolaylıklar sağlamaktadır. Bu
veriler dosya bazlı olarak HDFS üzerinde duruyor da olabilir, HBase gibi bir
veritabanı yapısında barındırılıyor da olabilir. Hive’in en önemli özelliklerinden birisi
ise kullanıcı tarafından genişletilebilir bir yapıya sahip olmasıdır. Temel SQL
cümlelerinin neredeyse tamamını kapsamaktadır ve bu dile Hive SQL adı
verilmektedir.
Hive Web sayfası : http://hive.apache.org/
Pig
Pig, Hadoop ekosistem ile bütünleşik olarak kullanılabilecek dağıtık
hesaplama yapmayı kolaylaştıran bir programlama dilidir. Bu dilin tam adı Pig Latin
dilidir. Özellikle MapReduce yapısında derlenmiş kod üretme yeteneği olan bu dil
kullanılarak Hadoop ile kod geliştirmeyi ve bu kodların sağlıklı bir şekilde
MapReduce yapısında çalıştırılması sağlanabilmektedir.
Pig Web Sayfası : http://pig.apache.org/
Cassandra
Facebook tarafından geliştirilmiş ve gelen kutusu mesajlarında kullanılmakta
olan bir NoSQL veritabanı yapısı iken 2010 yılında HBase ile yer değiştirilmiş olan
bir veritabanı sistemidir. Her ne kadar Facebook bu sistemin kullanımını bırakıp
yerine HBase kullanmaya başlamışsada sistemin gelişimi devam ettirilmiş ve bugün
Büyük Veri yapılanmalarında kullanım alanı bulmaya devam etmektedir.
Casandra Web Sayfası : http://cassandra.apache.org/
MongoDB
DoubleClick firması tarafından geliştirilmiş ve günümüzde kullanılan en
popüler NoSQL Veri Tabanı yönetim sistemlerinin başlarında gelmektedir. Yapısal
verileri JSON dökümanı tarzında ve dinamik bir şema yapısı olan BSON (Binary
JSON) ile tutmaktadır. Günümüzde bu sistemi kullanmakta olan çok büyük ölçekli
şirketler bulunmaktadır. Bunların en başında MTV Networks, Disney Interatvie
Media Group ve The New York Times gazetesi bulunmaktadır. Açık kaynak kodlu ve
10
ücretsiz sürümünün yanı sıra, ücretli olan sürümü de bulunan bu veritabanı sistemi
kurumlarımızın bu alandaki birçok ihtiyacı giderebilecek nitelik ve gelişmişliktedir.
MongoDB Web Sayfası : https://www.mongodb.com/
Dağıtık Dosya Depolama Sistemleri
Büyük
Veri
işleminde
kullanılabilecek
olan
dağıtık
dosya
yönetimi
sistemlerinin en başında HDFS (Hadoop Distributed File System) gelmektedir. Buna
ek olarak kurumlarımızın bilmesinde ve kullanımında faydalı olabilecek sistemlere
örnek olarak IBM tarafından geliştirilmiş olan Lustre File System ve açık kaynak
kodlu olarak alınıp kurulabilecek olan Ceph Depolama Küme sistemi verilebilir.
Özellikle Ceph Küme sistemi yalnızca Büyük Veri konusunda değil, aynı zamanda
kurumlarımızın dağıtık, güçlü ve büyük çaplı Depolama Alanı oluşturmasını
sağlayabilecek olan bir Depolama Küme Sistemi olarak karşımıza çıkmaktadır.
Sistemin kurulumu konusunda Türkçe kaynaklara Internet üzerinden ulaşmak
mümkündür.
Web Sayfaları:
http://ceph.com/ceph-storage/file-system/
http://lustre.org/
https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
11
BÖLÜM 2
Kamuda Büyük Ver
Büyük veri kullanımı her alanda olduğu gibi kamuda ve devletlerin
yönetiminde önemli avantajlar sunmaktadır. Bu sebeple son yıllarda tüm dünyada
devletler ve kamu kurumları büyük veri kullanımına yönelmişlerdir. Bu alanda hızlı
ilerleyen ülkeler bu avantajları daha kısa sürede kullanıyor olacak ve diğer ülkelerle
yarışta arayı açacaklardır. Kamuda ve devlette büyük veri kullanımı ile devletin
sunduğu tüm hizmetlerde (sağlık, eğitim, güvenlik, savunma, ulaşım, haberleşme,
enerji, refah, istihdam, vb.) iyileştirme yapılabilir ve hizmetler çok daha iyi sunulabilir.
Buna bağlı olarak kamu harcamalarında iyileştirmeler sağlanabilir, böylece ülkenin
ve bireylerin refahı ve mutluluğu artırılabilir. Bu iyileştirmeler doğrudan devletin
sunduğu hizmetlerde olduğu gibi, kamunun denetleme ve düzenleme yaptığı
alanlarda da “büyük veri” ile değişiklikler ve iyileştirmeler yapılabilir (enerji piyasası,
finans, vb.). Bu bölümde kamuda ve devlette “büyük veri” kullanımına genel bir
bakış yapılacaktır. Tüm alanlara girilmeyecektir, sadece önemli görülen bir kaç
alanda “büyük veri” kullanımına örnekler verilecektir.
2.1 Kamuda büyük veri kullanım alanları
Devletler ve devletin kamu kurumları “büyük veri”yi hemen her alanda
kullanabilir. Çünkü devlet kurumları hemen her alanda “büyük veri”ye sahiptir.
Sağlık, eğitim, savunma, istihdam, ekonomi, enerji, ulaştırma, sosyal güvenlik, vergi,
bütçe gibi her alan devletin ilgi alanındadır. Kamu kurumları doğrudan bu alanlarda
hizmet sundukları gibi, bazen de bu alanlarda düzenlemeler yaparak kanuni ve
hukuki çerçeveyi çizerler (yasama yolu ile) ve çoğu zaman denetlerler ve gerek
duyulduğunda düzenlemeleri güncellerler veya yeni düzenlemeler yaparlar.
Dolayısıyla bu alanlarda veri toplamak da devletin ve kamu kurumlarının görev
alanında yer alır. Toplanan veriler genelde büyük veri olup, bu veri ile yapılacak
analizlerle hizmetlerde ve düzenlemelerde iyileştirmeler yapılabilir. Bunların bir kısmı
aşağıdaki örneklendirilmiştir.
12
Sağlık
Sunulan sağlık hizmetleri toplanan büyük veriler incelenerek ve analiz
edilerek iyileştirilebilir. Örneğin kanser hastalıkları verileri incelenerek kansere sebep
olan etkenler ortaya çıkarılabilir, veya kanser tedavisinde uygulanan yöntemlerin
etkinliği ölçülebilir ve bu sonuçlara göre politika değişikliklerine gidilebilir. Böylece
elde edilen iyileştirmelerle sağlık harcamaları düşürülebilir, toplumun ve bireylerin
sağlığı korunabilir.
Eğitim
Eğitim verileri analiz edilerek eğitim politikalarının etkinliği ölçülebilir ve
iyileştirmeler yapılabilir. Örneğin merkezi sınav sonuçları incelenerek hangi
konularda öğrencilerin eksik oldukları tespit edilip, buna sebep olan nedenler
araştırılabilir ve politika değişiklikleri geliştirilebilir.
Enerji
Enerji ülke harcamalarında en büyük paya sahip kalemlerden birisidir. Enerji
verileri ile yapılacak araştırmalarla örneğin elektrik şebekelerinin daha etkin
çalışması, dengeli kullanımın sağlanması ve sonuç olarak enerji israfının ve
harcamaların azaltılması ve bütçelerin iyileştirilmesi mümkün olabilir.
Vergi toplama, bütçe ve harcamalar
Devlet harcamalarını topladığı vergilerle yapar. Vergi toplamada adaletli
olmak, vergi kaçaklarını önlemek devletin görevidir. Bu alanda toplanan veriler
üzerinden yapılacak analizlerle pekçok iyileştirme yapılabilir. Devlet harcamaları da
aynı şekilde yıllara göre incelenip, bu harcamaların ortaya çıkardığı sonuçlarla ilgili
verilerle korelasyon yapılarak bütçe iyileştirmeleri sağlanabilir.
Güvenlik
Devletin en görevlerinden birisi ülke ve bireylerin güvenliğini sağlamaktır. Bu
ise iç ve dış tehditler konusunda bilgi toplamak, önlem almak, ve savunma
geliştirmektir. Toplanan veriler yapısal bilgiler olabildiği gibi (örneğin telefon arama
kayıtları), yapısız veriler de olabilir (sosyal medya paylaşımları gibi). Günümüzde en
önemli güvenlik tehditlerinden birisi de siber saldırılardır. Bu tür saldırılar doğrudan
ülkelerin ekonomisini, ticaretini, ulaştırmasını, enerji dağıtımını ve günlük hayatını
13
tehdit etmektedir. Bu tehditler “büyük veri” ile önceden tahmin edilebilir, tespit
edilebilir ve önlenebilir. Bu alanda hemen her ülke yeni stratejiler geliştirmektedir,
“büyük veri” analizi de bu stratejilerin bir parçası olmak zorundadır.
Bu örnekler daha da çoğaltılabilir. Yukarıda da belirttiğimiz gibi günlük
hayatın hemen alanında büyük veri vardır ve bu verileri toplamak ve analiz etmek
kamu kurumlarının da görev alanına girmektedir. Şu anda yoğun olarak olmasa da
kamu kurumları eninde sonunda “büyük veri” ile bir şekilde muhatap olmak
durumunda
kalacaklardır
ve
en
uygun
şekilde
bu
veriden
faydalanmak
zorundadırlar. Bu verinin kullanımı ve paylaşımı bazı hukuki sorunları da
beraberinde getirmektedir. Bunlara da aşağıda değinilmiştir.
2.2 Veri güvenliği, veri mahremiyeti ve gizliliği
Kamu kurumları kişisel verileri toplamaktadır ve bu giderek artarak devam
edecektir. Bugün hemen her alanda bireylerin verileri toplanmakta, analiz edilmekte
ve gerektiğinde paylaşılmaktadır. Örneğin gittiğimiz yerleri cep telefonlarımız ve
telefon operatörleri sürekli izlemekte ve kaydetmektedir, girip çıktığımız yerler
kameralar tarafından kaydedilmektedir, okul/hastane/çalışma/alışveriş bilgileri vb.
sürekli kayıt altına alınmaktadır. Bu verilerin gizliliği ve mahremiyeti bireyler
açısından önemlidir. Kişisel verilerin korunması, özellikle tüm dünyada sayısallaşma
ile birlikte, günümüzdeki çok önem kazanan bir konu olmuştur. Verilerin kullanımı,
paylaşılması sırasında anonimleştirilmesi, bireysel verilerin korunması çok önemlidir.
Bu alan ortaya çıkan anlaşmazlıklar sebebiyle hukukun da gündemine girmiştir ve
tüm ülkeler bireysel verilerin korunması ve gizliliğinin sağlanması için kanuni
düzenlemelere gitmektedirler. Türkiye’de bu tür düzenlemelere gidilmektedir, ve 3.4
bölümünde bunlara değinilecektir.
Kamu kurumları topladıkları bireysel verileri gizlemek yanında, korumak da
zorundadırlar. Toplanan verilere erişim kısıtlı ve yine kayıt altında olmak zorundadır.
Yakın zamanda Türkiye’deki milyonlarca seçmenin kişisel verileri (adres, nüfuz
cüzdani bilgileri gibi) çalınmış ve internette yayınlanmıştır. Kamu kurumları verileri
toplamak ve gizlemek yanında güvenliğini de sağlamak zorundadırlar. Çünkü veri
artık en kıymetli metalardan birisi haline gelmiştir, kötü niyetli kişiler bu verileri
kullanarak pek çok zarara ve kötülüğe sebep olmaktadırlar.
14
2.3 Açık veri (Open Data)
Verilerin açık olarak yayınlanması (açık veri) kamu kurumlarının yine
öncelikleri arasında yer almaktadır. Toplanan kamu verilerinin (hatta büyük verilerin)
vatandaşlara, şirketlere, girişimcilere açık olarak erişime açılması ile pek çok
faydalar elde edileceği görülmektedir. Bunun demokrasiyi geliştireceği, ekonomik
fırsatları artıracağı, ve sonuç olarak vatandaşların refahını geliştirdiği görülmektedir.
Öncelikle Amerika’da Obama başkanlığında 2009’da başlayan bu hareket şu anda
tüm dünyada ülkelerin ve kamunun öncelikleri arasına girmiş bulunmaktadır.
Amerika’da data.gov sitesinde federal hükümete ait pek çok veri açık olarak ve
giderek büyüyerek yayınlanmaktadır. Bu verilere, indirilerek kullanılabileceği gibi,
servisler aracılığı ile yazılımlar kullanılarak gerçek-zamanlı da erişilebilmektedir.
2.4 Sosyal medya, IoT, Endüstri 4.0, Akıllı şehirler
Bu bölümde kamu ve toplumu yakından ilgilendiren, son yıllarda ortaya
çıkmış önemli gelişmelere de değinmek istiyoruz. İnternetin hızlı bir şekilde
gelişmesi ile birlikte günümüzde tüm dünyada internet kullanan nüfus sürekli
artmaktadır. Günümüzde dünya nüfusunun %40’ı civarında kısmı internete
erişmektedir6 ve mobil cihazlardan internete erişim sayısı bilgisayarlardan internete
erişim sayısını 2014’te geçmiştir7 ve bu eğilim artarak devam etmektedir. Artık
hemen hemen tüm internet kullanıcıları, sosyal medya uygulamalarını kullanarak
internet ve Web’e katkı vermektedir. FacebookTM kullanıcı sayısı 1.5 milyarı,
WhatsappTM kullanıcıları 1 milyarı, ve TwitterTM kullancıları 320 milyonu aşmış
bulunmaktadır8. Bu sebeple sosyal web’deki veriler sürekli ve katlanarak
artmaktadır. Bu verilerin anlaşılması ile toplumun nabzını tutmak ve anlamak
mümkün olabilir. Kamu kurumları bu konuda aktif olarak sosyal medyayı anlamak
için çaba göstermektedirler ve bu eğilim artarak devam edecektir.
Başka bir paralel gelişme ise tüm dünyada sensörlerin hızlı bir iekilde
artmasıdır. Kullandığımız cep telefonlarında yer alan GPS yer algılayıcılardan,
evlerimizdeki akıllı elektrik sayaçlarına, arabalarımızdaki yer ve araç sensörlerine,
sokaklardaki trafik ve mobese kameralarına kadar algılayıcılar (sensörler) sürekli
veri toplamakta ve bu veriler sunucularda toplanmaktadır. Bu veriler hem özel sektör
6
http://www.internetlivestats.com/internet-users/
7
http://www.smartinsights.com/mobile-marketing/mobile-marketing-analytics/mobile-marketing-statistics/
8
http://www.statista.com/statistics/272014/global-social-networks-ranked-by-number-of-users/
15
hem
kamu
kurumları
dönüştürülmeye
tarafından
çalışılmaktadır.
kullanılmakta
Bu
ve
algılayıcılar
toplum
artık
için
internet
faydaya
ortamında
haberleşmekte ve kendi aralarında da birbirlerine bağlanabilmektedirler. Buna genel
olarak “Nesnelerin Interneti” ve “Internet of Things” (IoT) denmektedir. Gelecekte
tüm insan hayatı, üretim, tüketim ve tüm faaliyetler bu cihazlarla etkileşim içinde
olacak ve farklı bir düzlemde hayat devam edecektir. Farklı araştırmalar, IoT’deki
cihaz sayısını günümüzde 20 milyarlar civarında tahmin etmektedir ve 2020’lerde
sayının 50 milyarlara varacağı öngörülmektedir9. Kamu kurumlarının bu konuda hem
IoT’nin insan ve toplum hayatına olumlu etki etmesini sağlayacak gelişmeleri
desteklemesi, tetiklemesi, geliştirmesi, hem de ortaya çıkacak problemleri (veri
güvenliği gibi) önlemek için gerekli hukuki ve idari düzenlemeleri yapması
gerekmektedir.
IoT, büyük veri, akıllı sistemlerle birlikte ortaya çıkan bir başka önemli
gelişme de üretim alanında Endüstri 4.0 kavramıdır. Bu ilk defa Almanya tarafından
ortaya çıkarılmış bir kavramdır. Günümüzde artık üretim süreçleri sürekli veri ve bilgi
teknolojileri ile iç içe yapılmaktadır. Üretim sistemleri ve endüstriler tüm üretim
süreçlerinde (sensörler kullanarak) veri toplamakta ve üretim süreçlerini mümkün
olduğunca
otomatik,
hatasız,
ve
maliyet/süre
etkin
bir
şekilde
yapmaya
çalışmaktadırlar. Endüstri 4.0 bu endüstriyel geçişi ve yeni dönemi ifade etmektedir.
Kamu kurumlarının bu alanda da aktif bir şekilde bu geçişi kolaylaştıracak,
geliştirecek, teşvik edecek düzenlemeleri yapması gerekmektedir.
Yukarıdaki gelişmelere bağlı olarak son yıllarda “akıllı şehirler” kavramı
ortaya konmuştur. Burada amaçlanan yerel yönetimlerin ve belediyelerin şehirleri,
IoT, akıllı sistemler ve büyük veri kullanarak daha yaşanır hale getirmeleridir. Bu
hedefe ulaşmak için, yerel yönetimlerin şehirle ilgili hemen her alanda veri
toplaması, bu verileri büyük veri teknolojileri ve akıllı sistemler kullanarak
değerlendirmeleri
ve
şehirde
insan
hayatını
kolaylaştırarak
yapmalarını ve sürekli iyileştirme yapmalarını gerektirmektedir.
9
http://www.statista.com/statistics/471264/iot-number-of-connected-devices-worldwide/
16
düzenlemeleri
BÖLÜM 3
Türk ye’de Kamuda Büyük Ver
3.1 Türkiye’de Kamuda Veri İşlemenin Geçmişi
Türkiye’de bilişimin ve veri işlemenin geçmişi, esas itibariyle ilk bilgisayarın
girdiği 1960 yılına kadar dayanmaktadır. Dünya’daki gelişmelere paralel olarak
ülkemiz kamusal alanında bilgi işlem altyapısı veriye dayalı otomasyon projeleri ile
birlikte son 20 yılda büyük bir hız kazanmıştır. İnternet çağına giriş ile birlikte
ilerleme hızı yeni bir boyuta da sahip olmuştur. Dağıtık verinin yaygınlaşmasıyla da
beraber veriyi işleme süreci iki alanda gelişmeye başlamıştır. Bunlardan ilki çok
boyutlu yapısal veri temelli İş Zekası ve Karar-Destek sistemleri olup, ikincisi ise
henüz yeni gelişmekte olan Büyük Veri sistemlerdir.
3.1.2 Türkiye’de Kamuda Bilişimin Gelişimi
Dünya’da bilişimin, elektronik bilgi işlem delikli kart makineleri adı verilen
yığın verileri ayrık işlemlerle işlemeyi insana oranla yüz kat daha hızlı işleyen "unit
record" birim kayıt makineleri ile başlandığı görüşü yaygındır. Buna göre de
ülkemizdeki bilişimsel gelişmenin kısa tarihini aşağıdaki gibi zaman dizinsel
(kronoloji) olarak verebiliriz.
Tablo 1. Türkiye'de kamuda önemli bilişim gelişmeleri
Yıl
1890
ABD İstatistik Bürosunda H. Hollerith, nüfus sayımı işlemlerini hızlandırma amacı
ile sayma, sıralama, ayırma, listeleme, hesaplama makineleri geliştirdi. Bu
makineler 1970’lere kadar istatistik,
muhasebe, bankacılık, sigortacılık
alanlarında yaygın olarak kullanıldı.
1923
Hollerith Muhasebe Makineleri Türkiye’de Tekel İdaresi’nde kullanılmaya
başlandı.
1960
30 Ekim 1960 tarihi ülkemizin bilgi işlem tarihinde önemli bir başlangıç noktası
17
olmuştur. Türkiye’ye bilgisayar ilk olarak Karayolları Genel Müdürlüğü’ne, yolköprü muhasebe, stok denetimi süreçlerini yönetmek için getirtilmiş olan IBM-650
sistemidir.
1963
Türkiye’deki ikinci bilgisayar IBM-1620 sistemi İstanbul Teknik Üniversitesi’nde
kurulmuştur. Yine aynı yıl bankacılık ve finans sektöründeki ilk bilgisayar IBM1401 sistemi Başak Sigorta'da hizmete girmiştir.
1966
Orta Doğu Teknik Üniversitesi’nde ilk bilgisayar hizmete girmiştir.
1967
Devlet Su İşleri Genel Müdürlüğü ve Türkiye İş Bankası’nda kurumsal
bilgisayarlar ilk defa kullanılmaya başlanmıştır.
1969
Bu yıldan itibaren kurumsal tip mainframe (anaçatı) tip bilgisayar sistemleri Türk
Ticaret Bankası ve sonra başta Hacettepe Üniversitesi olmak üzere diğer kamu
ve endüstri kesiminde şirket ve kuruluşlara yayılmaya başlamıştır.
1971
Türkiye kamu genelinde kurumsal bilgisayar sayısı 76’ya ulaşmıştır. Ayrıca bu yıl
içerisinde ülkemizde örgütsel anlamda çok önemli bir adım atılmış ve 22 Nisan
1971 yılında Türkiye Bilişim Derneği (TBD) kurulmuştur. Kuruluş dilekçesinin
altında imzası bulunan bilişimciler Aydın Köksal, Önal Örs, Tamer Uykal, Bülent
Dikman, Ersay Gürsoy, Coşkun Arslan, Atalay Yunusoğlu ve Ünal Yarımağan’dır.
1973
Türkiye kamu genelinde kurumsal bilgisayar sayısı 82 olmuştur. Ayrıca ülkenin
hava savunmasını NATO savunma sistemi içinde sağlamak üzere kullanılmakta
olan 12 büyük bilgisayarla bu sayı 94’tür. 1973 yılında kurulan bilgisayarlarla bu
sayı 100’ü aşmıştır.
1974
PTT Genel Müdürlüğü otomasyona geçme kararı doğrultusunda UNIVAC-9030
sisteminin kuruluş ve ön hazırlık çalışmalarına başlamıştır.
1980
Bu yıllardan itibaren tüm dünyada olduğu gibi ülkemizde de kişisel bilgisayarlar
(PC) hızlı bir biçimde hayatın her alanına girmeye başlamış ve bilgisayar eğitimi
veren dershaneler kurulmuştur. Bilgisayarların daha küçülerek ofislere girmesiyle
gelişmeler hızlandı ve her sektöre yönelik yazılımlar geliştirilmeye başlandı.
Böylelikle yazılım sektörünün temelleri bu yıllarda atılmış oldu.
1986
Türkiye, Geniş Alan Ağları (WAN) ile tanıştı ve bu bağlamda Ege Denizi-İtalya
hattı ile EARN/BITNET sistemine entegre olmuştur.
1991
ODTÜ-TÜBİTAK’tan bir ekip ile bir DPT projesi olan TR-NET projesine
başlanılmış oldu.
1993
12 Nisan 1993 tarihinde ise Ankara-Washington 64K’lık bağlantısı ile Türkiye,
İnternet’le tanıştı.
1994
Kamu ve üniversitelerde büyüme/tanışma yılı olmuş, halka yönelik internet ile
tanıtıcı toplantılar yapılmış ve Dialup ve X.25 üzerinden TR-NET’e bağlantı
oluşturulmuştur.
18
3.2 Türkiye’de Kamuda Büyük Veri İçerikli Projeler
Kamu sektörü büyük veri konusunda araştırmalara başlamıştır. Öncü bir
kısım bakanlık ve kamu kurumları şu anda büyük verinin sağladığı imkânlar ile neler
yapılabileceğini görmeye çalışmaktadır. Şu an için aktif olarak büyük veri üzerine
kurgulanmış bir kamu projesi bulunmamaktadır. Ancak Kalkınma Bakanlığı 20142018 Onuncu Kalkınma Planı 412. maddesinde “Açık kaynak kodlu yazılımlar,
büyük veri, bulut bilişim, yeşil bilişim, mobil platform, nesnelerin interneti gibi ürün,
hizmet ve yönelimler değerlendirilerek kamu için uygun olabilecek çözümler hayata
geçirilecektir.” hedefi yazılmıştır.
Aynı hedefe yönelik olarak B3LAB adı altında Tubitak-Bilgem tarafından
yürütülmekte olan aktif bir proje bulunmaktadır ve bu projenin tanımı şu şekilde
yapılmıştır :
“Bulut Bilişim alanında dünyadaki gelişmeler ışığında ve ülkemizin ihtiyaçları
doğrultusunda 2013 yılında TÜBİTAK BİLGEM Bilişim Teknolojileri enstitüsü
öncülüğünde ve T.C. Kalkınma Bakanlığı Yatırım Programı desteğiyle yürütülen
"Bulut Bilişim ve Büyük Veri Araştırma Laboratuvarı"10 (B3LAB) projesi ile Bulut
Bilişim ve Büyük Veri konularında altyapıların kurulacağı bir araştırma laboratuvarı
oluşturulmaktadır. Bulut Bilişim ve Büyük Veri teknolojileri giderek yaygınlaşan
çevrim içi hizmetlerin merkezileştirilerek iş gücü ve maliyet verimliliğini sağlamakta,
çoklu kaynaklardan üretilen ve devasa boyutlara ulaşan veri miktarlarının üstesinden
gelmektedir.
Bu laboratuvar kapsamında Bulut Bilişim ve Büyük Veri alanında ileri
düzeyde araştırmaların yapılması, ihtiyaç duyulan ürünlerin yerli kaynaklarla
geliştirilmesine öncülük edilmesi, bu alanda çalışacak paydaşlar için araştırma
yapma ve danışmanlık alma olanaklarının sağlanması hedeflenmektedir. Kamu
ihtiyaçlarına yönelik olarak; elde edilen bilgi birikimi, kurulan altyapılar ve kamu
kurumlarına verilen danışmanlık hizmetleri ile Kamu Bulutu’na geçiş için bir model
oluşturulması ve kurumsal büyük veri analizlerinin yapılması planlanlanmaktadır. Ek
olarak, Mahremiyet ve Güvenlik gibi kritik alanlarda milli çözümlerin oluşturulması,
yetişmiş insan gücünün artması, akademik yayınların artması, ekosistemin ve
potansiyel pazarların genişlemesi hedeflenmektedir.”
10
B3LAB: www.b3lab.org
19
Ayrıca Kalkınma Bakanlığı 2014-2018 Bilgi Toplumu Stratejisi ve Eylem
Planı Taslağı 50. Eylemi “Kamuda Büyük Veri Pilot Uygulaması Gerçekleştirilmesi”
2014-2016 yıllarında tamamlanması planlanmıştır. Bu eylem ile büyük verinin
ekonomik değere dönüşmesi sağlanması ve sosyal güvenlik, sağlık, vergi, güvenlik
gibi alanlar başta olmak üzere kamuda büyük veri uygulamalarının geliştirilmesi
hedeflenmiştir. Ayrıca bu eylemin hayata geçirilmesiyle kamu kurum ve kuruluşları
tarafından büyük veri alanında pilot uygulamalar hayata geçirilecek ve kamu verisi
kullanılarak sosyal güvenlik alanında büyük veri pilot uygulamasının geliştirilmesi ve
başarı örneklerinin oluşturulması bu teknolojilerin Türkiye’de yaygınlaştırılmasına
öncülük edecektir. Sosyal Güvenlik Kurumu (SGK) sorumlu kurum olarak tespit
edilmiş olup TUBİTAK ve TÜRKSAT işbirliği yapılacak kuruluşlar olarak yazılmıştır.
SGK, toplamış olduğu büyük miktardaki yapılandırılmış ve yapılandırılmamış veriler
üzerinde çeşitli analizler yaparak verimliliği artırmak, kayıp-kaçak oranlarını
düşürmek ve hizmet kalitesini yükseltmek için büyük veri konusunda çalışmalara
başlamıştır. 50. Eylemin uygulama adımları aşağıdaki şekilde belirlenmiştir:
- Sosyal güvenlik alanında büyük veri uygulamaları belirlenecektir.
- Büyük veri uygulama alanları ile ilgili fayda ve maliyet analizleri yapılacaktır.
- Fayda ve maliyet analizine göre öncelikli alanlar ve gereksinimler
belirlenecektir.
Büyük verinin kamudaki kullanım alanları hakkında ilgili kamu
çalışanlarının eğitilmesi ve büyük veri alanındaki bilinç artırılacaktır.
Ülkemizde, büyük veri çalışmalarına girdi sağlayabilecek belli başlı kamu
kurum projeleri bulunmaktadır. Bunlar şöyle sıralanabilir:
3.2.1 Sosyal Güvenlik Kurumu (SGK) Projeleri
Hizmet Sunumu Genel Müdürlüğü bünyesinde yürütülmekte olan projeler
aşağıdaki başlıklarda sıralanmaktadır.
e-Bildirge Sistemi
Tüm sigorta prim tahsillerinin
ve işyeri tescil kayıtlarının
takibinin
gerçekleştirildiği en büyük sosyal güvenlik projesidir.
MEDULA
Vatandaşlarımıza
ait
tüm
sağlık
ödemelerinin
belirlenen
çerçevesinde yürütülmesine yönelik olarak uygulamaya alınmış bir projedir.
20
kurallar
Aylık Tahsis ve Diğer Uygulamalar
Emeklilere yönelik Aylık Tahsis Uygulaması başta olmak üzere 1500 adet
olgunlaşmış eski (legacy) uygulamadan oluşan bir uygulama grubu bulunmaktadır.
ALO 170 Projesi
Çalışma ve Sosyal Güvenlik İletişim Merkezi, 15 Kasım 2010 tarihinde
hizmete girdi. İletişim merkezi, Çalışma ve Sosyal Güvenlik Bakanlığı ile Sosyal
Güvenlik Kurumu ve Türkiye İş Kurumu Genel Müdürlüğü tarafından sunulan tüm
hizmetlerle ilgili olarak bilgilendirme yapmakta ve çözüm üretmektedir.
Veri Ambarı Projesi
Sağlık, Sigortalama, Tahsis (Emeklilik) rapor grupları ile ortalama 500
standart rapordan on binlerce farklı tertipte (kombinasyonda) sorgu yapılarak rapor
üretilebilen bir veri ambarı oluşturulmuştur. Tüm Türkiye genelinde hizmet veren
500’e yakın uygulamaya ait verileri raporlayabilmek ve analiz etmek için kurulan veri
ambarı 150 TB büyüklüğe ulaşmıştır.
3.2.2 Milli Eğitim Bakanlığı (MEB) Projeleri
Bakanlığın çeşitli zamanlarda başlatmış olduğu büyük kapsamlı projeler
şunlardır.
MEBBİS
Milli Eğitim Bakanlığı Bilişim Sistemleri (MEBBİS) Milli Eğitim Bakanlığı'na
bağlı olan Bilgi İşlem Grup Başkanlığı bünyesinde faaliyet gösteren bir modüller
bütünüdür. Bu modüllere öğretmenler, okul yöneticileri vb. Milli Eğitim Bakanlığı'na
bağlı olarak görev yapan kullanıcı grupları giriş yapabilmektedir.
e-Okul
e-Okul, Milli Eğitim Bakanlığı tarafından Milli Eğitim Bakanlığı Bilişim
Sistemleri (MEBBİS) projesi kapsamında 2007 yılının Ocak ayında kullanıma
açılmış olan bir okul yönetim bilgi sistemi web yazılımıdır. Bir öğrencinin okula
kaydından başlayıp, mezuniyetine kadar olan tüm süreci içeren bir sistemdir. Bilgi
İşlem Dairesi Başkanlığı tarafından geliştirilmektedir.
FATİH Projesi
FATİH (Fırsatları Arttırma ve Teknolojiyi İyileştirme Hareketi) Projesi, Milli
Eğitim Bakanlığı ve Ulaştırma, Denizcilik ve Haberleşme Bakanlığı işbirliği ile
21
Türkiye'deki tüm dersliklere birer adet dizüstü bilgisayar, projeksiyon cihazı ve akıllı
tahta koymaktır. Projenin ön kısımlarında her öğrenciye tablet bilgisayar verilmesi
öngörülmektedir. Projenin amacı, bilgi toplumu yaratmak ve eğitimde teknolojiyi
yararlı kılmaktır.
e-YAYGIN
e-YAYGIN Otomasyon Sistemi; Milli Eğitim Bakanlığı, Hayat Boyu Öğrenme
Genel Müdürlüğüne bağlı yaygın eğitim kurumları (halk eğitimi merkezi, mesleki
eğitim merkezi, olgunlaşma enstitüsü ve turizm eğitim merkezi) tarafından
sürdürülen seminer, faaliyet ve kurslara ilişkin tüm iş ve işlemlerin internet ortamında
yürütüldüğü otomasyon sistemidir.
ALO 147 Projesi
1 Mart 2012 tarihinde Van-Erciş’te hizmete giren ve MEB İletişim Merkezi
kapsamında sürdürülen bir proje olup, Bakanlığın görev ve sorumluluklarıyla ilgili her
türlü talep, şikayet, görüş ve öneri, ihbar, bilgi edinme soruları ile bakanlığın vermiş
olduğu tüm hizmetler hakkında bilgiyi etkin ve hızlı bir biçimde sunabilmek ve
sorunların çözüme kavuşturulabilmesi amacıyla kurulmuştur.
3.2.3 Sağlık Bakanlığı Projeleri
Sağlık Bakanlığı, son yıllarda gerçekleştirmiş olduğu, birbiri ile bütünleşik
çalışan büyük kapsamlı veri merkezli uygulamaları kamu hayatına kazandırmıştır.
e-Nabız Projesi
e-Nabız Projesi muayene, tetkik ve tedavi bilgileri başta olmak üzere tüm
sağlık verilerinin yönetebildiği, tıbbi özgeçmişe tek bir yerden ulaşabilen bir kişisel
sağlık kaydı sistemidir.
UBYS Projesi (Sağlık.NET)
USBS, (Ulusal Sağlık Bilgi Sistemi) tüm vatandaşları kapsayan, her bireyin
kendi bilgilerine erişebildiği, bireyin doğumundan önce başlayıp tüm yaşamı
boyunca sağlığıyla ilgili verilerden oluşan işlevsel bir veri tabanının, yüksek bant
genişlikli ve tüm ülkeyi kapsayan bir iletişim omurgasında paylaşılması ve tele-tıp
uygulamalarına varan teknolojilerin mesleki pratikte kullanılmasını temel alan
elektronik kayıt sistemidir. Bu sistem ayrıca sağlık hizmeti sunan tüm kurum ve
kuruluşların insan gücü, taşınır, taşınmaz, idari ve mali verilerini de kayıt altına
alacak şekilde tasarlanmıştır.
22
MHRS Projesi
Merkezi Hekim Randevu Sistemi; vatandaşların Sağlık Bakanlığı'na bağlı 2.
ve 3. basamak hastaneler ile ağız ve diş sağlığı merkezleri için Alo182 hattından
Merkezi Hekim Randevu Sistemi'ni arayarak canlı operatörlerden veya web
üzerinden kendilerine istedikleri hastane ve hekimden randevu alabilecekleri bir
uygulamadır.
Aşı Takip Sistemi
Tüm ülke genelindeki aşıların stok kontrolünden, taşımasının yapıldığı ve
barındırıldığı her noktadaki ısı maruziyetine, uygulanan kişi ve yerine kadar her türlü
bilgi bu sistem içerisinde tutulmakta ve bu sistem aynı zamanda tüm AHBS (Aile
Hekimleri Bilgi Sistemi) ve HBYS (Hastane Bilgi Yönetim Sistemi) sistemlerinden
bilgi alabilmekte ve Sağlık Bakanlığının diğer veri merkezlerine bu bilgileri
aktarabilmektedir. Bu sistem ile Türkiye’nin 10 bin noktasındaki aşı barındırma
dolaplarının anlık ısı bilgileri merkezde tutulmakta ve gerçek zamanlı takip sistemi
olarak çalışmaktadır.
3.3 Kamu Kurumlarının Büyük Veri Uygulamaları
3.3.1 Kamu Kurumlarında Gerçekleştirilen Uygulamalar
Kamu kurumlarına uygulanan anket sonucunda kurumlarda geliştirilen veya
geliştirilmesi planlanan Büyük Veri uygulamaları bu bölümde anlatılmaktadır.
Elektronik Kamu Bilgi Yönetim Sistemi (KAYSİS)
Elektronik Kamu Bilgi Yönetim Sistemi (KAYSİS), T.C. Başbakanlık İdareyi
Geliştirme Başkanlığı tarafından hazırlanan, kamu kurumlarının teşkilat yapısından,
sunulan hizmetlere, hizmetlerde kullanılan belgelerden, belgelerde bulunan bilgilere
kadar kamu yönetiminde yer alan unsurların mevzuat dayanaklarıyla birlikte tespit
edilerek elektronik ortamda tanımlandığı, geliştirilen e-Devlet uygulamalarının
birbirine tek merkezden entegre edilerek a-Devlete (Akıllı Devlet) geçilmesini
sağlayacak temel bir bilgi sistemidir.
KAYSİS projesi kapsamında şu an veri işçiliği yürütülmektedir. Proje
kapsamında kamu yönetimindeki tüm unsurlar (devlet teşkilatı, sunulan hizmetler,
kullanılan/üretilen belgeler, kullanılan üretilen verilere ilişkin metaveriler vb.)
tanımlanmaktadır. Yapılan tanımlamalar üzerinden Ulusal Süreç Haritaları ve Kamu
23
Veri Akış Şemaları oluşturulmaktadır. Harita ve şemaların tamamlanmasıyla tüm
kamusal uygulamaların merkezi olarak entegrasyonunun sağlanacağı Ulusal Veri
Santrali hayata geçirilecektir. Ulusal Veri Santrali, yapay zekâya dayalı olarak tüm
kamusal verilerin işleneceği ve transferinin sağlanacağı bir yapıda olacaktır.
Enerji Tahmin Projesi
Türkiye kıyıları için rüzgar ve dalga enerji tahmininin yapılabilmesi için bir
Türkiye Rüzgar ve Dalga Atlası projesi geliştirilmiştir.
Bu proje ile bağımsız olarak T.C. Enerji ve Tabii Kaynaklar Bakanlığı
Yenilenebilir Enerji Genel Müdürlüğü tarafından 2014 Aralık ayında “Türkiye Ulusal
Yenilenebilir
Enerji
Eylem
Planı”
yayınlanmıştır
(http://www.eie.gov.tr/duyurular_haberler/document/Turkiye_Ulusal_Yenilenebilir_E
nerji_Eylem_Plani.PDF). Bu eylem planında 2023 hedefleri kapsamında yenilenebilir
enerji için yapılması planlanan yurtiçi ve yurtdışı projeler, teşvik planları anlatılmıştır.
3.3.2 Kamu Kurumlarında Gerçekleştirilebilecek Projeler
Ülkemizde
kamu
kurumlarında
gerçekleştirilen
ve
gerçekleştirilmesi
planlanan Büyük Veri projeleri ile birlikte gerçekleştirilebilecek uygulamalar da
olacaktır. Tüm kamu kurumlarının kendi iş süreçleri kapsamında elde ettikleri verileri
kullanarak planlayacakları projelere örnek olması açısından birkaç örnek proje
uygulaması bu başlık altında belirtilmiştir.
Çalışma ve Sosyal Güvenlik Bakanlığı – Türkiye İş Kurumu
Çalışma ve Sosyal Güvenlik Bakanlığı Türkiye İş Kurumu (İŞKUR)’da
yapılabilecek Büyük Veri uygulamaları ile kişilerin eğitim seviyesi, yaş aralığı,
cinsiyet gibi kıstasları göz önüne alınarak iş arayanlar için birçok proje geliştirilebilir.
İŞKUR için Büyük Veri projeleri, İŞKUR, SGK ve sosyal medya verilerinin işlenmesi
sonucu elde edilecek veriler ile İş Veri Bankası oluşturularak hayata geçirilebilir.
Bu kapsamda “Sosyal Medya Aracılığı ile İş Öneri Sistemi” ve “Sosyal Medya
Aracılığı ile Profil Yapılandırma Sistemi” projeleri örnek projeler olarak düşünülebilir.
Projelerle ilgili bilgiler alt başlıklar halinde rapora eklenmiştir.
Sosyal Medya Aracılığı ile İş Öneri Sistemi
Sosyal medya üzerinden işsizlik ile ilgili paylaşımda bulunanlara SMS – Eposta ile ilgi alanlarına uygun iş imkânı sunulabilir. İş arayanın İŞKUR hesabına
sosyal medya hesaplarını (Facebook, Twitter, Instagram vb.) ilişkilendirmesi ile
24
sosyal medyada yaptığı paylaşımlardan ve profilinden kişinin iş arama durumunda
değişiklik var ise SGK hizmet dökümünden bu durum teyit edilebilir ve kişinin iş
arama profiline, sosyal medyadaki ilgi alanlarına ve sosyal medyada paylaştığı iş
ilanlarına uygun ilanlar İŞKUR tarafından iş arayana önerilebilir.
Sosyal Medya Aracılığı ile Profil Yapılandırma Sistemi
Kişilerin sosyal medya hareketlerinin (profil, paylaşımlar, beğeniler vb.)
kişilerin izni ile takibe alınabilir. Kişi mesai saatlerinde ortalama paylaşım adedinden
fazla paylaşım yapmaya başladıysa veya farklı kontroller yapılarak kişinin işten
ayrılma sürecine girmiş olabileceği anlaşıldı ise kişinin profiline ve paylaşımlarına
uygun işler kişiye önerilebilir. Bu projede kişinin işten ayrılmadan iş arama sürecine
girdiğinin tespiti ve kişi işten ayrıldıktan sonra daha kısa sürede yeni bir işe
başvurmasının sağlanmasıdır.
Paylaşımlarına uygun işler: Kişinin sosyal medyada paylaştığı resimleri,
videoları, yazılı metinleri analiz ederek kişinin ilgi alanına uygun işler bulunabilir.
Örnek olarak bir kişi Kimya bölümünden mezundur ama sürekli bilişim konularında
paylaşım yapıyor, o konuda sayfaları ve grupları beğeniyor ve profilinde çalışma
bilgilerinde bilişim sektöründe çalıştığını belirtiyor ise o kişiye Kimya ile ilgili işlerin
değil, bilişim sektöründe çalıştığı pozisyonlara benzer pozisyonlarda iş önerileri
sunulabilir. Bu bilgiler hem iş önerilerinde hem de profilindeki “bana uygun işler”
bölümüne çalışacak bir sistem olarak tasarlanabilir.
Sağlık Bakanlığı
Teknolojik ilerlemelerin ivme kazanması ile birlikte veri üreten ve paylaşan
nesne sayısında ciddi bir artış yaşanmaktadır. Bununla birlikte internetin hızlanması
ve herkes tarafından erişilebilir hale gelmesi sonucunda çok büyük miktarda veri
üretilmektedir. Devletler ve şirketler büyük veriyi gerçek zamanlı analiz ederek anlık,
uzun vadeli ve anlamlı bilgilere ulaşmayı hedeflemektedir. Ancak bu büyüklükteki
veriler geleneksel yöntemler ve
bu
yöntemlere
uygun üretilmiş araçlarla
yönetilememekte; bu nedenle araştırmacılar daha verimli model ve algoritmalar
kullanarak uygun araçlar geliştirmektedir.
Teknolojik imkânların gelişmesi ve artan yaşam kalitesine bağlı olarak uzun
dönemde sağlıkta sürekli daha iyiye giden bir eğilim beklenmektedir. Bu durumda
büyük veri kavramı, mevcut durumda var olan ve büyüyen sağlık verisi kullanılarak
elde edilecek faydalar açısından büyük önem taşımaktadır. Yapılandırılmış ve
25
yapılandırılmamış sağlık verilerinin toplanarak analiz edilmesi ile hastalıkların tanı ve
tedavi süreçleri geliştirilebilmekte ve kronik hastalıklar gibi ciddi sağlık sorunlarına
sahip risk altında olan bireyler tespit edilebilmektedir.
Sağlık hizmetlerinin sunumunda parçalanmış ve kayıt edilmeyen bilgi, hem
maliyeti yükseltir hem de sağlık bakım kalitesini olumsuz etkiler. Bu bağlamda hasta
odaklı, bilgisayara dayalı, gerek duyulduğunda kolaylıkla ulaşılabilecek ve bakımın
devamlılığının sağlanması için ilişkilendirilebilecek kayıtlar olarak tanımlanan
Elektronik Sağlık Kayıtları halk sağlığına yönelik raporlamaların yerini alarak uzak
hasta takibine olanak sağlaması açısından sağlık alanında büyük veri kullanımına
bir örnek oluşturmaktadır.
Google Grip Trendleri ve Google Dang Humması Trendleri sağlık alanında
büyük veri uygulamalarına örnek oluşturan diğer uygulamalardır. Bu uygulamalar ile
Google arama sorgusuna dayanarak grip ve dang humması hakkında yapılan arama
faaliyetleri sonucunda oluşan veriler bölgeler arasında karşılaştırılabilir ve analiz
edilebilir
hale
gelmektedir.
belirlenebilmektedir.
Bunlara
Böylece
ek
hangi
olarak
bölgelerde
Stanford
salgın
Üniversitesinde
olduğu
tıp
ve
biyomühendislik alanlarında profesör olan Dr. Russ Altman ve ekibi çok büyük veri
setleri içinden istatistik, analiz ve veri madenciliği tekniklerini kullanarak Paxil ve
Pravachol ilaçlarının birlikte kullanıldıkları zaman hastalar üzerinde ürkütücü bir yan
etki meydana getirdiğini ortaya çıkarmışlardır. Analizler, karşıt vaka raporlama
sistemi (AERS) ve Amerika Gıda ve İlaç Yönetimi Kuruluşu FDA tarafından klinikler,
hastalar ve ilaç şirketlerinin 30 yıldan fazla bir süredir bilgilerinin toplandığı
veritabanı kullanılarak yapılmıştır.
Başka bir araştırmada da Kanada merkezli bir şirket olan Kaiser Permanente
ve FDA’nın gerçekleştirdiği bir araştırma sonucunda COX-2 inhibitörü Vioxx isimli
ilacı yüksek dozlarda kullanan kardiyovasküler rahatsızlıkları olan hastalarda yüksek
risk faktörü olduğunu ortaya koymuştur. Bunun üzerine ilaç piyasadan geri
çekilmiştir.
Türkiye’de sağlık alanında yapılan büyük veri çalışmalarına bakıldığında
Sağlık Bakanlığı’nın özellikle Sağlık.NET Online ve e-Nabız uygulamaları dikkat
çekmektedir. Sağlık Bakanlığı büyük veri çalışmalarını altyapı, kurumsal uygulama
ve vatandaş boyutu olarak ele almaktadır.
Çalışmaların sağlam temeller üzerine oturtulması için en önemli ayak olan
altyapı boyutu, sağlık kurumlarında elektronik ortamda üretilen verileri, doğrudan
üretildikleri yerden, standartlara uygun şekilde toplamayı, toplanan verilerden tüm
26
paydaşlar için uygun bilgiler üreterek birinci, ikinci ve üçüncü basamak sağlık
hizmetlerinde verim ve kaliteyi arttırmayı hedefleyen, entegre, güvenli, hızlı ve
genişleyebilen
bir bilgi ve
iletişim platformu
olan
Sağlık.NET Online
ile
geliştirilmektedir. Sağlık Yönetim Sistemi (Karar Destek Sistemleri, Coğrafi Bilgi
Sistemleri) kullanılarak Sağlık.NET Online ile toplanan veriler anlamlı bilgiye
dönüştürülerek hizmet sunumuna ve projelere entegre edilmekte ve yöneticilere
sağlık politikaları için karar desteği sunulmaktadır. Büyük veri çalışmalarının
vatandaş boyutu olan e-Nabız Sistemi ile büyük veri, toplum sağlığını korumaya
yönelik olarak vatandaşların hizmetine ve yönetimine sunulmakta ve böylece
vatandaşlara tüm sağlık geçmişlerine her platformdan erişme ve sağlığını yönetme
imkanı tanınmaktadır.
Sağlık.Net Online, sağlık hizmeti sunan tüm tesislerden çevrimiçi (online)
olarak alınan ve anonimleştirilerek korunan sağlık verilerini kullanarak karar destek
uygulamaları ve büyük veri analizleri sonucunda elde edilen bilgilerle sağlık
politikaları oluşturulması ve sağlık hizmet kalitesinin, alınan raporlar doğrultusunda
artırılması amacıyla geliştirilmiş bir sistemdir. Sağlık.Net Online ile ortak bir veri
tabanı üzerinde, kimlik bilgilerinden arındırılmış olarak toplanan veriler ile hazırlanan
Karar Destek Sistemi (KDS) raporları, Sağlık Bakanlığı’nın sağlık politikaları
oluşturmasında önemli bir rol oynamakla birlikte, hastane, hekim ve hizmet bazlı
değerlendirme yapılmasına imkan sağlamaktadır. Sağlık.NET Online sağlık
sektöründe sorunların ve önceliklerin belirlenmesinde, önlemlerin alınmasında,
sektör kaynaklarının, çalışma ve yatırımların planlanmasında, sunulan sağlık
hizmetlerinin kalitesinin değerlendirilmesinde aldığı rolün yanı sıra bilimsel araştırma
ve çalışmalarda kullanılmak üzere yeterli düzeyde veri toplayacak ve işleyecek bir
fonksiyon üstlenmiştir. Ayrıca, e-Nabız uygulamasının alt yapısını oluşturan sistem
sayesinde vatandaşa kendi sağlık verilerine ulaşabilme imkânı sağlanmıştır.
Büyük veriyi vatandaşın hizmetine ve yönetimine sunan e-Nabız Kişisel
Sağlık Sistemi sağlığı kişiselleştirmek, kişilerin kendi sağlıklarının yönetimini bizzat
kendilerine teslim etmek ve zaman/mekandan bağımsız olarak sağlık verilerine
erişimlerini sağlamak için hayata geçirilmiştir. Dünyada trend haline gelen kişisel
sağlık kaydı sistemlerinden biri olan e-Nabız ile tüm vatandaşlar laboratuvar
tahlilleri, radyolojik görüntüleri, kullandığı reçete ve ilaç bilgileri, acil durum bilgileri,
konulmuş teşhis, verilmiş her türlü rapor, kısaca muayenelerine ait her tür detay
bilgileri
içeren
sağlık
kayıtlarına
cep
telefonlarından,
tabletlerinden,
bilgisayarlarından 7 gün 24 saat erişebilmekte, dilerse belirlediği kurallar
çerçevesinde tümünü ya da bir kısmını istediği süre kadar hekimleri ya da
27
yakınlarıyla paylaşabilmektedir. Vatandaşın sağlığını kesintisiz olarak kontrol altında
tutmasını sağlayan, ilacını içme zamanı geldiğinde ilacını hatırlatan e-Nabız,
kapsamının genişliği itibariyle dünyadaki en gelişmiş kişisel sağlık kaydı
uygulamalarından bir tanesidir. e-Nabız bu özellikleri ile tüm dünyadaki en iyi mobil
sağlık uygulamalarının seçildiği yarışmada (Global Mobile Awards 2016) finale
kalarak başarısını uluslararası alanda göstermiştir. Ayrıca TÜSİAD tarafından e-TR
ödülleri kapsamında, “Kamudan Vatandaşa En iyi Uygulama” seçilmiş ve Sağlık
Bakanlığına “En İyi Dijitalleşen Kurum” ödülünü getirmiştir.
Sağlık Bakanlığı 2016-2017 planları içerisinde de büyük veri uygulamaları ile
ilgili çalışmalar bulunmaktadır. Öncelikle kullanıcı sayısı 3 milyon 480 bini bulan eNabız’a her geçen gün yeni özellikler eklenmekte ve sistem geliştirilmektedir.
Sporcu Sağlığı Bilgi Sistemi ile sporcuların ilaç-gıda etkileşimleri ve doping etkisine
yol açacak çapraz etkileşim bilgilerine erişmeleri sağlanarak bilinçsiz ilaç kullanımı
ve doping vakalarının öngörülmesi sağlanacaktır. Diyanet İşleri Başkanlığına bağlı
sağlık ekipleri hac ve umreye giden vatandaşların sağlık bilgilerine kullanıcıların izni
ile erişebilecek ve orada yapılan işlemler e-Nabız’a gönderilebilecektir. Milli Eğitim
Bakanlığı ile koordinasyon sağlanarak bulaşıcı hastalığa yakalanmış öğrenciler
tespit edilebilecektir. Bunların yanında, Milli Savunma Bakanlığı ile birlikte askeri
raporların elektronik ortamda gönderilmesini,
askerlik hizmeti öncesi kişilerin e-
Devlet üzerinden girdikleri bilgilerin aile hekimleri tarafından görülmesini ve kişilerin
Askerlik Olur Raporlarının ASAL ile paylaşılmasını sağlayan Asker Alma Sistemi ile
ASAL Sağlık Entegrasyonu kurulacaktır. Ayrıca, e-Nabız ile gebelik takibi, hekim
randevuları, aşı takip bilgileri ve büyüme eğrilerine ilişkin bilgilendirme mesajları gibi
özelliklerin geliştirilmesi planlanmaktadır.
e-Nabız ile geliştirilmesi planlanan özelliklerin yanı sıra evrensel olarak artış
gösteren kronik hastalıkların mobil ortamda takibine yönelik Kronik Hasta Yönetim
Sistemi ve doktor-hasta sürecini takip edebilecek yapay zeka tabanlı RoboDoktor
sistemlerinin geliştirilmesi planlanmaktadır. Avrupa Birliği’nin önem verdiği konuların
başında gelen kronik hastalıklara ilişkin etkin yönetim araçlarının araştırılması
konusunda geliştirilmesi planlanan Kronik Hasta Yönetim Sistemi ile kronik
hastalıklara sahip bireylerin hastane ziyaretleri minimize edilecek, gereksiz hastane
ziyaretlerine ilişkin doğrudan ve dolaylı maliyetlerin önüne geçilecek, sistemin
kullanıcılara
göndereceği
okuryazarlığının
günlük
geliştirilmesine
ve
bilgilendirme
kronik
mesajları
hastalıklara
sayesinde
yönelik
sağlık
izleme
ve
değerlendirme çalışmalarının daha hızlı ve efektif bir şekilde yapılmasına katkı
sağlanacaktır.
28
Adalet Bakanlığı
Adalet Bakanlığı için gündemde olan ve çalışmalarına başlanan Büyük Veri
uygulamaları veri ambarı ve veri madenciliği çalışmaları, Adli Veri Bankası
oluşturularak hayata geçirilebilir. Adli Veri Bankası’nı kullanacak akıllı sistemler
sayesinde birçok hastalığın tespiti kolaylaşacak, tedavi süreci hızlanabilecektir.
Suç Takip Sistemi
Adli Veri Bankası projesinin hayata geçirilmesi sayesinde adli davalarda elde
edilen sonuçların analizi ile aynı dava türleri için farklı cezaların verilmesi
engellenecektir. Ayrıca suçların yaş grubu ve bölgesel olarak analizi ile suçlar daha
işlenmeden alınacak tedbirleri hakkında gerek bölgesel gerek de bireysel olarak
çalışmalar değerlendirilebilecektir. Ayrıca bu bilgilerin analizi sonucu Türk ceza
kanununda yapılacak değişikliklerde bu analizler incelenerek cezalardaki caydırıcılık
oranları belirlenebilecektir.
İçişleri Bakanlığı
İçişleri Bakanlığı, bünyesinde bulunan müdürlükler ile beraber çok büyük
miktarda işlenebilir veriye sahiptir. Bu verilerin işlenerek oluşturulacak projeler,
özellikle güvenlik ve göç idaresi konularında ülkemize çok büyük katkı sağlayacaktır.
Aranan-Şüpheli Araç ve Kişi Tespit Sistemi
Emniyet Genel Müdürlüğü (EGM) tarafından gerçekleştirilebilecek Şüpheli
Araç ve Kişi Takip Sistemi, trafikteki tüm araçların aktif paydaş olacağı bir projedir.
Projenin amacı, araç içi kameralar ile plaka sorgulama ve anlık olarak emniyet
birimlerine iletmek, böylelikle aranan araçların bulunmasını kolaylaştırmaktır.
Otoyollara yerleştirilecek sürekli EGM kablosuz ağları ile uyumlu çalışan araç
içi kameraların kullanımının zorunlu hale getirilmesi ile aranan araçların bulunması
büyük ölçüde kolaylaştırılabilir. Kameralarda kaydedilen görüntülerin kameranın
EGM kablosuz ağına bağlandığı andan itibaren sürekli olarak alınması, işlenmesi ve
kameranın çektiği yollardaki araçların plakalarının tespiti yapılabilir. Araçların hangi
saatte hangi yönde ilerlediğinin anlık olarak bulunabileceği bu sistem sayesinde
kayıp ve farklı suçlara karışmış / karışabilecek araçlar kolaylıkla yakalanabilir. Bu
projedeki görüntü işleme sisteminin sonraki aşamaları:
1. Trafikte tehlikeli araç kullanan kişilerin anlık olarak EGM’ye şikayeti ve
kamera kayıtlarının şikayetle ilişkili senkron aktarımı (Büyük Veri değil ama bu
sisteme entegre çalışabilecek bir otomasyon sistemi),
29
2. Trafik cezalarının kameralardan tespit edilerek otomatik olarak kesilmesi,
3. Suçlu / aranan kişilerin kameralardan yüz tanıma sistemi ile otomatik
olarak tespiti ve yerinin bulunması işlemleri gerçekleştirilebilir.
Gıda Tarım ve Hayvancılık Bakanlığı
Gıda Tarım ve Hayvancılık Bakanlığı bünyesinde oluşturulacak Büyük Veri
işleme süreçleri kullanılarak elde edilecek veriler sayesinde gıda ve tarım
sektörlerinde üretim ve kalitenin artması sağlanabilecektir. Üretim ve kalitenin
artması dolaylı yoldan insan sağlığını da olumlu etkileyecek bir sonuç ortaya
çıkartacaktır.
Yetiştiricilik ve Ürün Denetim Sistemi
Gıda Tarım ve Hayvancılık Bakanlığı bünyesinde oluşturulacak Büyük Veri
işleme süreçleri sonucunda elde edilecek veriler sayesinde; gıda sektöründeki
ürünlerin içeriklerinin kıyaslanması sonucu ürünlerin hem kalite hem de sağlık
açısından uygunluklarının denetlenmesi sağlanabilecekken, tarım sektöründe
Türkiye’nin günümüzdeki en önemli sorunlarının başında gelen genetiği ile
oynanmış ürünlerin sayısında azalma yaşanacağı gibi bu üretim sektöründe çalışan
çiftçilerin ürün yetiştirme döneminde faydalanacakları metot ve yan ürünler
sayesinde hem sağlıklı hem kaliteli ürünleri üreterek piyasaya sunmalarına zemin
hazırlayacaktır. Hayvancılık sektöründe ise ilaçlı tarımın azaltılması, genetiği ile
oynanmış tohumların
kullanımının
engellenmesi gibi çalışmalar sonucunda
hayvanlara verilen besin kalitesinin artması ile birlikte yapılacak bölgesel ve
zamansal analizler sonucu hayvanların sağlığı ve onlardan elde edilen ürünlerde de
kalite artmış olacaktır.
3.4 Mevzuat ve Strateji
Açık Veri ve Veri Güvenliği
Açık veri konusunda mevzuat değişiklikleri ile verilerin güvenliği ve bu
verilerin kullanımının daha güvenilir hale getirilmesi ile ilgili mevzuat değişiklikleri
Bilgi teknolojilerinin yaygınlaşması ile beraber bilgi üretimi de ciddi
boyutlarda artış göstermiştir. Bilgi teknolojileri yaygınlaşmadan önce, bilginin büyük
bir çoğunluğu basılı dokümanlarda iken, günümüzde bilgi teknolojileri tarafından
işlenir duruma gelmiştir. Bu nedenle günümüzde bilgiye erişme imkânları geçmiş ile
karşılaştırılamayacak seviyede artmıştır. Bu durum, birçok dezavantajı beraberinde
30
getirmektedir. Bilgi teknolojileri üzerinde bilinçli veya bilinçsiz yapılan hataların çok
ciddi sonuçlar doğurması olasıdır. Bilgi teknolojilerindeki açıklıklar ve dikkatsiz
yapılandırmalar bilgiye yetkisiz erişime yol açabilir. Geçmişte sadece fiziksel
güvenliğin tesis edilmesi ile sağlanan bilgi güvenliği, günümüzde kurumların en çok
zorlandıkları ihtiyaçların başında gelmektedir.
Birçok akademik kaynakta, bilgi güvenliğinin teknik ve teknolojik bir kavram
olmadığı vurgulanmakta, bilgi güvenliğinin sağlanması için kurum kültürünün
değiştirilmesi, kurum üst yöneticilerinin bilgi güvenliği ile ilgili süreçlerde rol alması
gibi sosyal çalışmalara değinilmektedir.
5651 sayılı Internet ortamında yapılan yayınların düzenlenmesi ve bu
yayınlar yoluyla işlenen suçlarla mücadele edilmesi hakkında kanun ile içerik
sağlayıcı, yer sağlayıcı, erişim sağlayıcı ve toplu kullanım sağlayıcıların yükümlülük
ve sorumlulukları ile internet ortamında işlenen belirli suçlarla içerik, yer ve erişim
sağlayıcıları üzerinden mücadeleye ilişkin esas ve usulleri düzenlenmiştir.
Ülkemizde,
daha
önce
düzenleyici
mevzuat
konusunda
çalışmalar
yapılmaktaydı ancak genel kapsamlı bir çalışma olmamakla beraber kurumların
kendi bünyesinde uyguladıkları yönetmelikler düzeyindeydi. Kullanılan genel
mevzuat ise 5651 sayılı Internet ortamında yapılan yayınların düzenlenmesi ve bu
yayınlar yoluyla işlenen suçlarla mücadele edilmesi hakkında kanundu ancak bu
kanun işlenen verilerden ziyade internet ortamındaki içerik sağlayıcı, yer sağlayıcı,
erişim sağlayıcı ve toplu kullanım sağlayıcıların yükümlülük ve sorumlulukları ile
internet ortamında işlenen belirli suçlarla içerik, yer ve erişim sağlayıcıları üzerinden
mücadeleye ilişkin esas ve usulleri düzenlenmiştir. Ancak 24.03.2016 tarihinde
yasalaşan ve 07.04.2016 tarihinde resmi gazetede yayımlanan kişisel verilerin
korunması kanunu ile işlenen verilerin ne gibi şartlarda işlenebileceği ve kimlerle
hangi şartlarda paylaşılacağı konularını genel olarak ele almaktadır.
Kişisel verilerin kullanımı yasasına büyük veri süreçlerinin dâhil
edilmesi
Kişisel verilerin kullanımı yasasında özellikle büyük verilere ve büyük veri
tabanlarına sahip olan firma ya da kurumların bu verileri işlerken uyulması gereken
esaslardan bahsedildiği için bu yasa kapsamında büyük veri süreçlerinden
bahsedilmemektedir. Bu süreçlerin yasaya dâhil edilmemesinin sebebi bilgi
miktarının büyüklüğü ya da küçüklüğünden ziyade bilgilerin kişisel veri kapsamına
girip girmemesidir.
31
Kişisel verilerin işlenmesi ile ilgili kişi onaylarının zorunlu tutulması hatta ıslak
imza ya da e-imza ile onaylanmasının zorunlu tutulması faydalı olacaktır. Ancak
kişisel verileri işleyen büyük firmalar arasında bankalar gibi bir müşterisinden hesap
açmak için bile yaklaşık 15 sayfalık bir şartnameyi imzalamasını talep eden firmalar
bulunmaktadır. Bu nedenle özellikle bu gibi durumların önüne geçebilmek için bu
onayın ayrı bir metin olarak kişilere onaylatılması zorunlu tutulursa hem insanlar
açısından bu verilerin işlenmesinin ve saklı tutulmasının önemi daha iyi anlaşılır
hem de firmalar bu verileri işlemek için onay almanın önemi daha iyi anlaşılabilir.
Bununla beraber kişilerin imzaladığı metinlere kurumların kişisel verileri izinsiz
kullandıkları takdirde karşılaşacakları yasal müeyyidenin bir özetinin konulmasının
zorunlu tutulması da yine bu verilerin öneminin hem firmalar hem de kişiler
tarafından anlaşılmasında pozitif bir etki yapabilir.
Yürürlükte bulunan kişisel verilerin korunması kanunu için ülke çapında kamu
spotu şeklindeki reklamlar yayınlanarak, ilan panolarına bilgilendirme notları asılarak
ve önemli noktalara mobil standartlar kurularak tüm vatandaşların bu kanun
hakkında daha fazla bilgi sahibi olması, kişisel verilerin korunmasındaki önemin
vatandaşın daha iyi kavraması noktasında yine pozitif bir etki yaratacaktır.
Yasal Dayanaklar ve Strateji
Kamu kurumlarının bünyesinde geliştirilen ve geliştirilmesine devam edilen
büyük veri odaklı çözümler, yasaların kendisine verdiği yetkiler çerçevesinde
geliştirilmesi gerekmektedir.
17 Mart 2016 tarih ve 29656 sayılı Resmi Gazete'de yayımlanan “Kişisel
Verilerin Otomatik İşleme Tabi Tutulması Karşısında Bireylerin Korunması
Sözleşmesi (108 sayılı Sözleşme)”ne göre:
- Otomatik işleme konu olan kişisel veriler; belli ve meşru amaçlar için
kaydedilir ve bu amaçlara aykırı şekilde kullanılamaz, kaydedilme amaçlarına göre
uygun ve yerinde olur ve aşırı olmaz (m. 5).
- Yukarıdaki madde de dâhil olmak üzere Sözleşme’nin bazı maddelerine (5,
6 ve 8), Sözleşme’de yer verilen hâllerde istisna getirilebilir (m. 9/2). Bu hâller
arasında, “devlet güvenliğinin korunması, kamu güvenliği, devletin mâli menfaatleri
veya suçların önlenmesi” hususları da yer almaktadır.
Ayrıca, Anayasa’da, kişisel verilerin korunmasına ilişkin esas ve usullerin
kanunla düzenleneceği hükmü yer almaktadır (Anayasa, m. 20). 7 Nisan 2016 tarih
32
ve 29677 sayılı Resmî Gazete’de yayımlanan “Kişisel Verilerin Korunması Kanunu
(KVKK)”na göre:
●
●
●
●
●
●
Kişisel verilerin işlenmesi uyulması gereken genel ilkeler arasında,
“işlendikleri amaçla bağlantılı, sınırlı ve ölçülü olma” ilkesi bulunmaktadır
(KVKK m.4/2/ç).
İşlenmesini gerektiren sebepler ortadan kalktıktan sonra kişisel veriler, resen
veya ilgili kişinin talebi üzerine veri sorumlusu tarafından silinir, yok edilir
veya anonim hâle getirilir (KVKK, m. 7/1). Bu sorumluluğu yerine
getirilmeyenler hakkında, KVKK m. 17/2’de de belirtildiği üzere ilgili cezâi
hükümler uygulanacaktır (TCK, m. 138).
Kişisel veriler, kural olarak ilgilisinin açık rızası olmaksızın aktarılamaz. Bu
kuralın bazı istisnaları bulunmaktadır (KVKK, m. 8/2).
Veri sorumlusunun görevleri (KVKK, m. 10), veri sorumlusunun veri
güvenliğine ilişkin yükümlülükleri (KVKK, m. 12) ve verileri işlenen ilgili kişinin
hakları (KVKK, m. 11) Kanun’da düzenlenmiştir. Buna göre ilgili kişi;
verilerinin işlenip işlenmediğini, ne amaçla işlendiğini, amaca uygun işlenip
işlenmediğini, yurtiçi/yurtdışına aktarılıp aktarılmadığını öğrenme hakkına
sahiptir. Bunların dışında ilgili kişinin, “işlenen verilerin münhasıran otomatik
sistemler vasıtasıyla analiz edilmesi suretiyle kişinin kendisi aleyhine bir
sonucun ortaya çıkmasına itiraz etme” hakkı da bulunmaktadır.
Kanun’da, Veri Sorumluları Sicili öngörülmüştür (KVKK, m. 16). Buna göre
kişisel veri işleyen gerçek ve tüzel kişiler, bu sicile detaylı bilgi göndermek
zorundadır (m. 16/3). Kurul tarafından bu Sicile kayıt zorunluluğuna; işlenen
kişisel verinin niteliği, sayısı, veri işlemenin kanundan kaynaklanması vb.
hâllerde istisna getirilebilecektir (m. 16/2).
KVKK’da yer alan hükümlerin uygulanmayacağı istisnâi hâller düzenlenmiştir
(KVKK, m. 28). Bu maddenin her iki fıkrasında yer alan hükümler, kamu
açısından önemlidir. Nitekim, “Kişisel verilerin millî savunmayı, millî
güvenliği, kamu güvenliğini, kamu düzenini veya ekonomik güvenliği
sağlamaya yönelik olarak kanunla görev ve yetki verilmiş kamu kurum ve
kuruluşları tarafından yürütülen önleyici, koruyucu ve istihbari faaliyetler
kapsamında işlenmesi” hâli, kapsam dışında bırakılmıştır.
Yukarıdaki değinilenler haricinde konuya ilişkin hükümlere; başta Anayasa
(m. 20), Türk Medeni Kanunu (m. 24) ve Türk Ceza Kanunu (m. 135 vd.) olmak
üzere farklı mevzuatlarda yer verilmiştir. Kişisel verilerin silinmesi, yok edilmesi ve
anonim hâle getirilmesi konusu, bir (1) yıl içerisinde çıkarılacak (KVKK, gm. 1/4) bir
yönetmelikle düzenlenecektir (KVKK, m. 7/3).
3.5 Kamu Kurumlarında Büyük Veri Kullanımı ve Büyük Veri
Algısı
Bu çalışma kapsamında büyük veri konusunda “Kamu Kurumlarında Büyük
Veri Anketi” hazırlandı ve birçok kamu kurumları ankete katkı sağladılar. Yapılan
33
anketin sonuçlarına göre büyük veri konusunda oluşan sayısal veriler ile sonuçların
değerlendirilmesi bu bölümde yapılacaktır.
Soru 1. Kurumunuzun çalışma alanı nedir?
Ankete katılan kurumların dağılımı aşağıdaki şekilde gösterilmiştir. Ankete,
Ulaştırma, Belediye, Eğitim, Ekonomi ve Sağlık kurumları başta olmak üzere 18
kamu kurumu katılmıştır.
Soru 2. Verilerinizi nerede tutuyorsunuz?
Kamu kurumlarında uygulama verilerinin nerede tutulduğu ve çoktan seçmeli çok
seçimli soruna alınan cevaplarda, kamu kurumlarının
● %86,8’i rack sunucularında,
● %24,1’inin tekil sunucularda,
● %24,1’inin ise bulut sunucularında
barındırıldığı sonucu ortaya çıkmıştır.
Soru 3. Kurum olarak “büyük veri” konusuna ilginiz var mı?
Kamu kurumlarının büyük verilerin işlenmesi ve büyük veri projelerinin gereksinim
oluşturması noktasında kurumlardan aldığımız geri dönüşler sonucunda kurumların:
● %13.8’inin büyük veri konusuna ilgi duymadıkları,
34
●
●
%10.3’ünün araştırma seviyesinde ilgi duydukları,
%27,6’sının araştırma seviyesinin ilerisine gidip proje fikirlerini değerlendirme
seviyesinde ilgi duydukları,
● %31’inin büyük veri konusunda proje planlaması yapacak seviyede ilgi
duydukları,
● %17,2’sinin proje gerçekleştirme veya büyük veri yatırımı yapacak seviyede
ilgi duydukları
sonucu ortaya çıkmıştır.
Soru 4. Kurum olarak “büyük veri” stratejiniz var mı?
Kamu kurumlarının büyük verilerin işlenmesi ve büyük veri projelerinin kurum iş
süreçlerine etkisini ölçerek uzun vadeli bir strateji oluşturması noktasında
kurumlardan aldığımız geri dönüşler sonucunda kurumların;
● %24.1’inin büyük veri konusunda stratejik bir çalışma yapmadığı,
● %34,5’inin büyük veri konusunda stratejik çalışma yapılmasının gerekliliği
üzerinde durduğu,
● %20,7’sinin büyük veri konusunda stratejik çalışma yapılmasını uzun vadede
planladığı,
● %17,2’sinin büyük veri konusunda stratejik çalışma yapılmasını kısa vadede
planladığı,
● %3,4’ünün büyük veri konusunda stratejik çalışmasının bulunduğu
sonucu ortaya çıkmıştır.
35
Soru 5. Kurumunuzdaki verinin büyüklüğü nedir?
Kamu kurum uygulamalarında oluşan ve her geçen gün büyüyen verilerin
anketin
yapıldığı
tarihi
itibariyle
büyüklüğünün
tanımlanması
istenmiştir.
Kurumlardan alınan cevaplara göre kamu kurumların;
%44,8’inin verileri 10 TB’ın üzerinde,
%24,1’inin verileri 1 TB ile 10 TB arasında,
%13,4’ünün verileri 100 GB ile 1 TB arasında,
%17,2’sinin verileri 10 ile 100 GB arasında,
%0’ının verileri 10 GB’ın altında
olduğu sonucu ortaya çıkmıştır. Kurumların verilerinin her geçen gün
katlanarak büyümesi ve veri kaynaklarının çeşitlenmesi ile büyük veri projelerine
ihtiyacı artacaktır.
Soru 6. Kurumunuzda yapısal ve yapısal olmayan veri büyüklüğü
oranları nedir?
Kamu kurumlarında veri büyüklüğünün yanı sıra verilerin yapısal olup olmadığı da
büyük veri uygulamaları için önemli bir faktördür. Yapısal verilerin işlenmesi
noktasında birçok kolaylık var iken yapısal veriler ile yapısal olmayan verilerin
birlikte işlenmesinin gerektiği durumlarda devreye giren büyük veri uygulamalarının
verileri anlık ve daha az maliyetle daha hızlı işleyebilme noktasındaki avantajları göz
önünde bulundurulduğunda, kurumlar için daha fazla işlevsel uygulamaların
geliştirilmesine olanak sağlayabilir.
Kamu kurumlarından alınan cevaplara göre;
● %3.4’ünün verilerinin tamamının yapısal olduğu,
36
● %34,5’inin verilerinin %80 yapısal olduğu,
● %17,2’sinin verilerinin %60 yapısal olduğu,
● %27,6’sının verilerinin %40 yapısal olduğu
● %17,2’sinin %20 yapısal olduğu,
● %0’ının %0 yapısal olduğu
sonucu ortaya çıkmıştır.
Kurum verilerinin yapısallık oranları incelendiğinde kamu kurum verilerinin büyük bir
yüzdesinin yapısal olmadığı ve işlenmesinde zorluklar yaşandığı tespit edilmiştir.
Yapısal ve yapısal olmayan verilerin uzun vadeli planlamalar ile büyük veri yapıları
ile kullanılması, kurumların işleyişlerini daha etkin hale getirecektir.
Soru 7. Kurumunuzda veri işlemede aşağıdaki hangi yaklaşımı
uyguluyorsunuz?
Kamu kurumlarının verileri işleme yaklaşımların araştırılırken tüm proje verilerin
ortak (merkezi) bir sistemde mi barındırdıklarını yoksa bulundukları sistemlerden
gerektiğinde bütünleştirme ile mi alınarak işlem yapıldığı sorusundan alınan
cevaplara göre kurumların;
● %69’u verileri ortak bir sistemde (warehouse, veritabanı gibi) toplayıp işliyor
● %51,7’si verileri bulundukları sistemlerde işleyip gerektiğinde bütünleştirme
(entegrasyon) yapıyor
sonuçları ortaya çıkmıştır.
37
Soru
8.
Büyük
ölçekli
veri
işlemede
hangi
yöntemleri
kullanıyorsunuz?
Kamu kurumlarının büyük miktardaki verilerini işleme yöntemlerine bakıldığında her
ne kadar iş zekası çözümlerinin oranı artmış olsa da klasik yazılım geliştirme
yöntemleri ile işleme en sık kullanılan yöntem olmaya devam etmektedir.
Kurumlardan alınan cevaplara göre kurumların;
● %55,2’si klasik yazılım geliştirme yöntemleri ile
● %31’i iş zekası çözümleri ile
● %6,9’u büyük veri çözümleri ile
● %6,9’u bu üç yöntemin dışında farklı çözümler ile verilerin işler iken
● %31’i henüz büyük ölçekli veri işlemediğini
belirtmiştir.
Bu istatistik incelendiğinde büyük veri kullanan kurum sayısının çok düşük bir
oranda kaldığı, klasik yazılım geliştirme yöntemlerine olan alışkanlığın bir süre daha
devam edeceği gözlemlenebilir.
Soru 9. Büyük veri konusunda kurumunuzda hangi yatırımlar
yapıldı?
Kamu kurumlarının büyük veri konusundaki yatırımları gelecek planlamaları için
önemli bir yer tutmaktadır. Kurumların bu konudaki yatırımlarının sorulduğu soruya
gelen cevaplara göre kurumların;
● %37,9’u yazılım yatırımı,
● %34,5’i donanım yatırımı,
● %20,7’si eğitim yatırımı,
● %13,8’i insan kaynağı yatırımı yaparken
● %29,9’u henüz hiçbir yatırım yapmadığını
belirtmiştir.
38
Soru 10. Büyük veri yatırımlarınızın yaklaşık değeri nedir?
Büyük veri konusunda yapılan yatırımların değeri sorulduğunda gelen cevaplara
göre kurumların;
● %41.4’ü 500.000’in üzerinde,
● %13,8’i 100.000 ile 500.000 arasında,
● %3.4’ü 50.000 ile 99.000 arasında
● %6,9’u 50.000’den az yatırım yaparken
● %34.5’u hiç yatırım yapmadığını
belirtmiştir.
Soru 10. Büyük veri projeniz var mı?
Kamu kurumlarının büyük veri projelerinin sayılarını sorduğumuz soruya gelen
cevaplara göre kurumların;
● %6,9’unun 5’in üzerinde,
● %17,2’sinin 2-5 arasında,
● %10,3’ünün 1 projesi var iken
● Kalan %65,5’inin ise hiç projesinin olmadığı
belirtilmiştir.
Bu sorunun cevapları önceki sorularla karşılaştırıldığında kamu kurumlarının
veri madenciliği, iş zekası, yüksek boyuttaki yapısal verilerden alınan raporların
39
büyük veri projeleri kapsamın alındığı sonucu ortaya çıkabilir. Bu noktada büyük veri
tanımının net bir şekilde yapılması ihtiyacı oluşabilir.
Soru 11. Büyük veri projeniz yoksa kurumun büyük veri
konusunda gelecek planları nelerdir?
Büyük veri projesi bulunmayan %69 oranındaki kamu kurumlarının kısa ve uzun
vadede büyük veri planları sorulduğunda alınan cevaplara göre kurumların;
●
●
●
%18,2’si önümüzdeki 2 yıl içinde en az bir büyük veri projesine
başlayacağını,
%36,4’ü gelecekte geliştirmeyi planladığı ama zamanı belirsiz olan en az bir
büyük veri projesinin olduğunu belirtirken
Kalan % 45,4’lük dilimin hiçbiri büyük veri konusunda proje geliştirmeyi
düşünmediklerini belirtmiştir.
Genel oranı aldığımızda kurumların %29,7’si büyük veri konusunda proje planlaması
yapmaz iken önümüzdeki 2 yıl içinde büyük veri projesine başlamayı planlayan
kurumların oranı %11,9, süre belirtmeksizin gelecekte bir büyük veri projesine
başlamayı planlayan kurumların oranı ise 23,8’dir.
40
Soru 12. Büyük veri projelerinde çalışan sayınız kaçtır?
Büyük veri konusuna yapılan insan kaynağı yatırımının ölçüldüğü bu soruya verilen
cevaplara göre kurumların büyük veri projeleri için gerçekleştirdiği istihdam sayıları:
● %10,3’ü 10’un üzerinde çalışan ile,
● %6,9’u 6-10 arası çalışan ile,
● %34,5’i 1-5 arası çalışan ile büyük veri projelerini geliştirirken
● %48,3’ü büyük veri konusunda henüz personel istihdamı yapmamıştır.
Soru 13. Büyük veri işlemede hangi teknolojileri kullanıyorsunuz
ya da inceliyorsunuz?
Soru
14. Kurumunuzda
“Büyük
Veri
Analitiği” konusunda
aşağıdaki konularda yetkin çalışan sayısını belirtiniz.
41
Ankete katılan kurumlarında yarısında veya biraz daha fazlasında büyük veri
analitiği konusunda yetkin çalışan olmadığı görülmektedir (mavi çubuklar - 0
çalışan). Ancak önemli bir kısmında (%40-50) en az 1 analitik konusunda çalışan
bulunabilmektedir. Belirgin teknolojilerde, örneğin Hadoop’ta, 31 kurum içinde
9’unda bilen en az bir kişi bulunmaktadır (%33). Bu da büyük veri teknolojilerinden
tamamen uzak olmadığımızı göstermektedir.
42
BÖLÜM 4
Dünya’da Kamuda Büyük Ver
Uygulamaları
4.1 ABD’de Kamuda Büyük Veri
Amerika Birleşik Devletleri’nde (ABD) 11 Eylül saldırılarından sonra çıkartılan
Vatanseverlik Yasası (PATRIOT Act),
Elektronik İletişim Mahremiyeti Yasası
(Electronic Communication Privacy Act) ve tasarı halinde bekleyen Siber İstihbarat
Paylaşımı ve Korunması Yasası (Cyber Intelligence Sharing and Protection ActCISPA) gibi yasalar, farklı biçimlerdeki (yapısal veya yapısal olmayan) büyük
boyutlu verilerin devlet tarafından işlenmesine ve herhangi bir izne tabii tutulmadan
e-posta hesaplarına erişimine izin vermektedir. Buna karşın mevzu hukuk, finans ve
sağlık hizmetleri gibi kanunlar tarafından detaylıca belirlenmiş bazı sektörler için,
kamuyla ilgili büyük veri uygulamalarının veriye erişiminde engel oluşturabiliyor.
ABD’de sağlıkla verileriyle büyük veri çalışması yapmak için bu çalışmaların sağlık
hizmetleriyle ilgili mevzuata dayandırılarak yapılması gerekiyor. Sağlık hizmetleri ile
ilgili en önemli iki yasa Sağlık Sigortası Taşınabilirlik ve Hesap Sorulabilirlik Yasası
(Health Insurance Portability and Accountability Act-HIPAA) ve 2009 yılında bu
yasanın kapsamını genişleterek çıkarılan Ekonomik ve Klinik Sağlık için Sağlık Bilgi
Teknolojileri yasasıdır (Health Information Technology for Economic and Clinical
Health Act-HITECH). Bu iki yasa, kişinin sağlık verilerindeki kimlik bilgilerinin
gizliliğinin korunmasını sağlamak için kurallar koymakta, kişisel sağlık verilerinin
büyük veri analizlerinde kullanımına miktar ve tipi bakımından sınır çizmektedir.
2014 yılı şubat ayında yapılan bir büyük veri çalışması için sağlık hizmeti bilgileri
ancak kendi verilerini paylaşmaya gönüllülerin verilerinden toplanabilmiştir (G.-H.
Kim et al, 2014).
Yüksek hacimli veri akışının analizini yönetmek amaçlı ölçeklenebilir ve
kümelenmiş bir altyapı oluşturmak için 2002 yılında ABD ile IBM arasında bir iş
birliği başladı ve bu işbirliğinin sonucunda devlet kurumları ve iş dünyası tarafından
yaygın olarak kullanılan IBM Infosphere Stream ve IBM Büyük Veri adında iki
platform ortaya çıktı. Binlerce kaynaktan, gerçek zamanlı olarak gelen verinin
43
gösterimi ve işlenmesini sağlayan bu platformlar Hadoop kullanılarak geliştirilmiştir
(Jain P et al, 2013).
2009 yılında, şeffaf ve hesap verebilir bir devlet için bir adım olan ve
günümüzde ulaştırma, ekonomi, sağlık hizmetleri, eğitim, çevre,
tarım, kamu
güvenliği ve yerel yönetimler vb. alanlarda 199,792 veri kümesini yayınlayan
data.gov internet sitesini kullanıma sunmuştur (“About Data.gov”, 2013).
2010 yılında Bilim ve Teknoloji Başkan Danışmanları Konseyi (Devletin ağ ve
bilgi teknolojileri hakkındaki araştırmalara yapacağı yatırımların koordine edilmesini
sağlayan ana mekanizma), Designing a Digital Future: Federally Funded Research
and Development in Networking and Information Technology isimli raporunda bir
büyük veri stratejisini ayrıntılarıyla belirtti.
2012 yılında Obama Yönetimi, bilim, sağlık, enerji ve savunma ile alakalı
birden çok kuruma 200 milyon dolarlık bir yatırımı öngören Büyük Veri Arge
Girişimi’ni (Big Data Research and Development Initiative) duyurdu.
2014 Şubat ayında Milli Sağlık Enstitüsü (National Intitute of Health-NIH)
yüzlerce terabaytlık genetik veriyi kendi süper bilgisayar geliştirme gereksinimini
ortadan kaldırarak, Amazon’un bulut ortamına yükledi.
2012 yılında Milli Bilim Vakfı (National Science Foundation-NSF) Milli Sağlık
Enstitüsü’nü büyük veriyle ilgili bilimsel ve teknolojik gelişimi amaçlayan programınadâhil etti (Core Techniques and Technologies for Advancing Big Data Science &
Engineering Program). Birçok devlet kurumu kendi büyük veri programını başlattı.
ABD’nin vergileri toplamaktan sorumlu kurumu Devlet Gelirleri Dairesi (The Internal
Revenue Service) vergi kaçırma ve dolandırıcılıkla başa çıkmak için büyük veri
analiz yetenekleri kazandı. ABD Savunma Bakanlığı (Department of Defense-DOD),
hedeflerinden
biri
olarak
büyük
veriyi
kullanarak
makine
öğrenimi
gerçekleştirebilmek için milyonlarca dolar harcıyor.
ABD’de yerel yönetimler de büyük veri projeleri başlattı. Örneğin 2011 yılında
New York eyaletinin Syracuse şehri yönetimi terkedilmiş konutların önüne
geçebilmek için IBM ile bir akıllı şehir projesi yaptı. (IBM, 2011) Michigan Bilgi
Teknolojileri Departmanı diğer devlet kurumları ve organizasyonlara tek kaynaktan
hizmet sağlayabilmek için Michigan vatandaşlarının bilgilerini veri ambarında
tutuyor.
ABD Gelişmiş Savunma Araştırma Projeleri Kuruluşu (DARPA), Nexus 7 adlı
program kapsamında veri bilimcilerini Afganistan’da taktiksel kararlara yardımcı
olması amacıyla cephede kullanmıştır. Uydulardan elde edilen yolların kullanım
44
durumu verileri işleyerek patlayıcı tuzakların yerinin daha kolay tespit edilmesi
sağlanmıştır. DARPA’nın bir diğer büyük veri uygulaması olan Memex isimli
programı, internet sitelerinin taranarak, insan kaçakçılığı ağlarının saptanmasına
katkıda bulunmuştur.
2014 yılında Obama’ya sunulan Büyük Veri: Fırsatları Yakalamak, Değerleri
Korumak adlı raporda büyük veri uygulamalarının ekonomi ve diğer alanlarda olumlu
yönlendirici etkisinin yanında bireyle devlet arasındaki güç dengesini bozması
açısından, büyük veri uygulamalarının özgürlüklere olan potansiyel tehdidine dikkat
çekilmiştir. Raporda öngörücü tıp uygulamalarının büyük verinin sağlık hizmetleri
konusunda geldiği en ileri nokta olduğu belirtilmiştir. Hayat standardı ve sağlık
arasındaki güçlü ilişkinin diğer kişisel verilerle sağlık verisi arasındaki ayrımı gittikçe
zorlaştırdığından, mevcut düzenlemelerde değişiklikler yapılması ve veriye kontrollü
erişim için evrensel standartların ve altyapının oluşturulması gerektiği yorumu
yapılmıştır (Podesta, J. et al, 2014).
ABD’de eğitimle alakalı veriler ve çocuklara ait kişisel veriler kanun ile
korunmaktadır. Çevrimiçi eğitim platformlarının yaygınlaşması ve bu platformlardan
elde edilebilecek verilerin kritik olması bu tür tedbirleri gerektirmektedir. Çocukların
Çevrimiçi Mahremiyetini Koruma Yasası (Children’s Online Privacy Protection Act),
internet sitesi operatörleri veya uygulama geliştiricilerini 13 yaş altı çocukların kişisel
verilerini toplamadan önce velinin iznini almaya zorunlu kılmıştır. Eğer bir okul,
başka kurumdan çevrimiçi eğitim hizmeti almak isterse, mevzuatta belirtilen şartlar
sağlanmalı, öğrenci verileri sadece eğitim amaçlı ve doğrudan kontrol edebilecek
şekilde paylaşılmalıdır.
ABD Yurt Güvenliği Departmanı (Department of Homeland Security), 2012
yılında, 22 alt kurumunun verilerinin tek bir noktada toplanması için büyük veri
işleme kabiliyetine sahip Neptune ve Cerberus isimli iki pilot projeyi başlatmıştır. Bu
projeler kapsamında kişisel veriler sınıflandırılmış, kullanıcıların özelliklerine göre
veri sınıflarına erişiminin kontrolü sağlanmıştır.
4.2 AB’de Kamuda Büyük Veri
Avrupa Birliği Komisyonu 2010 yılında hızlı ve ultra hızlı çalışabilen internet
uygulamaları ile tek bir dijital pazardan AB vatandaşlarına sürdürülebilir ekonomik ve
sosyal faydalar sağlamak için neler yapılması gerektiğini belirten bir doküman olan
Avrupa için Dijital Gündem’i yayınladı (European Commission,2010).
45
2012 yılında yayınlanan benzer bir gündem dökümanında (Digital Agenda for
Europe and Challenges for 2012) verinin korunması, IoT’nin geliştirilmesi, makineler
arası iletişim, internet güvenliğinin sağlanması gibi konuların önemi ve elde bulunan
kamu verilerinin potansiyel ekonomik değeri vurgulandı (European Commission,
2012).
Birleşik Krallık, 2004 yılında birden çok akademik disiplini ilgilendiren
problemler hakkında devletin yeteneğini geliştirebilmek amacıyla HSC’yi (UK
Horizon Scanning Center) kurarak AB’de büyük veri uygulamaları konusunda ilk
adım atan ülkelerden biri oldu. 2011 yılında bu merkezin iklim değişikliğiyle ilgili
birçok
kanaldan
gelen
verileri
işleyerek
gerçekleştirdiği
çalışmaları,
iklim
değişikliğinin, besin ve suya olan erişime, bölgesel gerilimler ve uluslararası istikrara
olan etkisine işaret etti. 2009 yılında, günümüzde 30.000 üzeri veri kümesi
barındıran data.gov.uk sitesi açıldı (Habegger B, 2009).
20 ülkenin işbirliği ve IBM ile gerçekleştirilen DOME projesi kapsamında,
SKA radyo teleskoplarının günlük ürettiği boyut olarak 1 exabyte’ı geçen veriyi
işleyebilen bir süper bilgisayar geliştirilmektedir ve evrenle alakalı birçok bilimsel
soruya cevap bulabilmeyi amaçlamaktadır (DOME project, 2012) .
4.3 Asya Ülkelerinde Kamuda Büyük Veri
Birleşmiş Milletler 2012 e-devlet araştırması, başta Güney Kore, Singapur ve
Japonya olmak üzere birçok Asya ülkesine yüksek not verdi. Bu ülkeler büyük veri
konusunda çeşitli girişimlerde bulundular ve pek çok proje gerçekleştirdiler:
Güney Kore
Güney Kore’de 2011 yılında, başkana bağlı Bilgi ve İletişim Teknolojileri
konseyi tarafından, bilgiyi tahlil ederek yönetimsel kararlar alabilmek amacıyla bir
büyük veri programı başlatıldı.
Bu girişim kapsamında gerekli altyapının
sağlanmasına liderlik etmek için bir büyük veri çalışma kolu (Big Data Task Force)
oluşturuldu. Bu girişim, kamu ve özel sektör arasındaki veri paylaşımını iyileştirmeyi,
kamusal bir veri tahlil sistemi kurmayı, yetenekli ve profesyonel topluluk oluşturmayı
ve eğitmeyi, kişisel verilerin gizliliği ve güvenliğini garanti etmeyi ve ilgili mevzuatı
geliştirmeyi, büyük veri altyapı teknolojileri geliştirmeyi ve böylece bütün devleti
kapsayan bir büyük veri ağı ve analiz sistemi kurmayı amaçlıyor.
Sağlık ve Refah Bakanlığı (Ministry of Health and Welfare) 35 kurumdan
385 kamusal veri kümesini analiz etmek, merkezi ve yerel yönetimlerin yaptığı
46
çalışmaları kapsamlı bir şekilde yönetebilmek için Sosyal Refah Birleşik Yönetim
Ağını (Social Welfare Integrated Management Network) başlattı.
Gıda Tarım Orman ve Balıkçılık Bakanlığı (MOPAS) el ayak ağız sendromu
ile savaşta, yurt dışındaki hayvansal hastalıklar, gümrük ve mülteci bilgileri, besi
hayvancılığı sektöründeki hayvanlar ve bu sektörde çalışan işçilerle alakalı büyük
veri kümelerininden faydalanan bir büyük veri sistemi kullanmayı planlıyor.
Bakanlığın planları arasında eski hasar kayıtlarına ve anlık hava durumu verileri ve
anlık sismik verilere dayanan, doğal felaket önleme sistemi de bulunuyor. Ayrıca
Güney Kore Biyoinformatik Merkezinin, genetik ve sağlık verilerini birleştirecek ve
kişiye özel teşhis ve ilaç tedavisi sunulmasına imkan sağlayacak bir Milli DNA
Yönetim Sistemi üzerinde çalışmaları bulunmaktadır.
Singapur
2004 yılında Singapur, bulaşıcı hastalıklar ve milli güvenlik gibi konularda
çalışmak için Milli Güvenlik Koordinasyon Merkezi aracılığıyla Risk Değerlendirme
ve Ufuk Taraması (Risk Assessment and Horizon Scanning Program-RAHS) isimli
programı başlattı. Bu programla, geniş kapsamlı bir büyük veri kümesi oluşturulup
çözümlemesi yapılarak, terörist saldırılar, bulaşıcı hastalıklar ve ekonomik krizler
gibi tehditlerin yönetilmesinde pro aktif bir çözüm sunulmuştur. 2007 yılında, bu
program kapsamında kararlar almak, programı iyileştirerek sürdürmek amacıyla bir
merkez (RAHS Experimentaion Center-REC) açılmıştır. Bu merkez, programın
büyük
veri
altyapısının
sistematik
olarak
geliştirilmesini
sağlamaktadır
ve
gerçekleştirdiği dikkate değer bir uygulama da kuş gribinin ülkeye tehdidinin ve olası
senaryoları
değerlendirmesidir.
Ayrıca
büyük
veri
araştırmaları
analizi
ve
uygulamaları ile değer yaratabilmek amacıyla 50 kurumdan 5000 ve üzeri veri
kümesinin yayınlandığı http://data.gov.sg adlı internet sitesini açmıştır.
Japonya
Japonya devleti, büyük çaplı verileri incelemek için çeşitli programlar
başlatmıştır. 2005-2011 yılları arasında Eğitim Kültür Spor Bilim ve Teknoloji
Bakanlığı (MEXT), üniversiteler ve araştırma ensitüleri işbirliğiyle Bilgi Patlaması
Devri için Yeni Bilgi Teknolojileri Altyapısı projesini yürütmüştür. 2011 yılından beri
Fukuşima depremi, tsunami ve nükleer santral faciasının ve bu faciadan etkilenmiş
alanların iyileştirilmesi, facianın ekonomik ve sosyal sonuçları öncelikli konulardan
biri olmuştur. Eğitim Kültür Spor Bilim ve Teknoloji Bakanlığı, Milli Bilim Vakfı ile
47
beraber doğal felaketlerden korunma amaçlı araştırmaları büyütmek ve büyük veri
teknolojilerinden sağlanan faydaları arttırmak için çalışmalar yapmaktadır.
İçişleri Bakanlığının altındaki Bilgi ve İletişim Konseyi ve Bilgi ve İletişim
Stratejisi Komitesi büyük veri uygulamalarının 2020 hedefleri için önemini
vurgulamıştır.
Teknik
çözümler
sağlaması
ve
büyük
veri
uygulamalarının
yayılmasında kurumsal kararlar vermek amaçlı ve bir büyük veri uzman grubu
kurulmuştur.
Çin Halk Cumhuriyeti
Çin Halk Cumhuriyeti’nin uzun vadeli plan ve açık veri kaynaklarının
eksikliğine ek olarak büyük veri konusundaki özel sektör temellerinin zayıf
olmasından dolayı kamu sektöründeki büyük veri uygulamalarında geri kaldığı
söylenebilir fakat yeni bir yönetim anlayışı benimsenerek 2017 sonu itibariyle
verilerin ilgili kurumlar tarafından paylaşmaya başlaması planlanmaktadır. 2018 yılı
sonlarına doğru da ulaşım, sağlık hizmetleri, iş bulma gibi konulara öncelik verilen
bir açık platform oluşturulması hedeflenmektedir (The State Council, The People’s
Republic of China, 2015).
Devletin siyasi danışma organı olan CPPCC’nin (Chinese People's Political
Consultative Conference) 2014 yılında Beijing’te gerçekleştirdiği ve kamuda büyük
veri çalışmalarında yetenek kazandırılması için neler yapılması gerektiğinin
tartışıldığı toplantı ve yerel yönetimlerin de büyük veri uygulamaları için altyapı
çalışmalarına başlaması, Çin’in büyük veri uygulamaları konusunda gelişmeye
istekli olduğunun göstergeleridir (UNDP, 2014).
4.4 Avustralya'da Kamuda Büyük Veri
Avusturalya'da kamu kurumlarının büyük veri uygulamaları, kurumların
ellerinde bulunan verileri, mevzuat izin verdiğince, başka kurumlardaki verilerle
ilişkilendirip açık veri olarak sunulması şeklindedir. İstihbarat kurumları, güvenlik
kurumlarıyla, diğer sosyal hizmet kurumları da kendi aralarında düzenlemeler ve veri
paylaşımları yaparak daha zengin analizler yapmayı hedeflemektedir (Australian
Government Department of the Prime Minister and Cabinet , 2015).
Avustralya Devleti Bilgi Yönetimi Ofisi (AGIMO) Devlet 2.0 programı
kapsamında, kamu verisine erişimi sağlamak amaçlı http://data.gov.au internet
sitesini açmıştır (“About Data.gov.au”, 2013).
48
BÖLÜM 5
Kamu ç n öner ler
Sonuç olarak kamu kurumları özel sektöre göre yola sonra çıkmakla birlikte,
“büyük veri” konusunda daha büyük problemlerle karşı karşıyadır, ve burada hem
fırsatlar hem de tehditler mevcuttur. Bu bölümde Türkiye’de kamu sektörü için
“büyük
veri”
konusunda
yapılması
gerekenler
konusunda
belli
noktalara
değinilecektir. Bu önerilerin bir kısmı (1) çalışmasından alınmıştır ve ülkemize de
uymaktadır.
5.1 Ulusal öncelikler
Önde gelen ülkelerin büyük veri projelerine bakıldığında ortak hedefler
görülmektedir. Bunlar, (1) kamu hizmetlerine kolay ve eşit erişim, (2) kamu işlerinde
vatandaşların daha kolay katılımının sağlanması, ve (3) şeffaflık olarak sıralanabilir.
Kamuda büyük veri uygulamaları alanında ise özellikle güvenlik, hız, birlikte
çalışırlılık, analitik kapasitesi, ve yeterli uzman bulma problemleri konusunda
endişeler olduğu görülmektedir. Her devletin kendi öncelikleri, fırsatları, ve tehditleri
bulunmaktadır, ve bunlar ülkelerin bulundukları çevreye, jeopolitik ortama göre
değişmektedir. Kimi ülkelerde güvenlik (Avrupa), bazılarında savunma (Türkiye),
bazılarında sağlık (ABD), ve diğer bazılarında çevre (Japonya) öne çıkmaktadır (Kim
et al 2014).
Dolayısıyla ülkeler önceliklerini belirlemeli ve kamuda büyük veri stratejilerini
buna göre oluşturmalıdırlar. Türkiye konumu ve durumu itibariyle pek çok alanda
“büyük veri”den faydalanmak ve etkin kamu politikaları oluşturmak zorundadır.
Aşağıdaki alanların ülkemiz açısından öncelikli olduğunu düşünüyoruz:
Savunma ve güvenlik
Türkiye son yıllarda çevresinde oluşan savaş ve güvenlik tehditleri, ayrıca
jeopolitik konumu itibariyle bu alanda büyük veriyi etkin yönetmek zorundadır.
Savaşlardan ve çatışmalardan kaçan milyonlarca mülteci bir kaç yıl için ülkenin her
yerine dağılmış bulunmaktadır. Bu hem ülke için fırsat hem de ciddi tehditler
içermektedir. Bu insanlarla ilgili veri toplamak ilgili pek çok kurumun (AFAD,
49
Emniyet, İçişleri Bakanlığı, Dışişleri Bakanlığı, Sağlık Bakanlığı, Gümrük Bakanlığı
gibi) etkin stratejiler geliştirmesine ve bu verileri koordineli bir şekilde kullanarak
gerekli politikaların üretilmesine yardımcı olmasına bağlıdır.
Ekomomi, Üretim, Büyüme, ve İstihdam
Türkiye son yıllarda ekonomik olarak yüksek büyüme göstermiş bir ülkedir.
Ancak son birkaç yılda oluşan ülke içi ve küresel problemlere bağlı olarak ekonomik
olarak durağanlığa kayma tehlikesi göstermektedir. Kişi başı milli gelir 10 bin dolar
sınırında kalmış ve yukarı çıkarmak için daha teknolojik ve katma değerli üretime
geçmek zorundadır. Bu ise sanayide, üretimde, tarımda daha yenilikçi yaklaşımların
benimsenmesine ve atılım yapmaya bağlıdır. Endüstri 4.0 gelişmesi bu anlamda
ülkemiz için fırsatlar sunmaktadır. Üretimin (sanayi ve tarım) daha otomatik ve
verimli yapılması bu alanda yapılacak yatırımlara bağlıdır. İlgili kamu kurumları acil
eylem planları ile ileri ülkelerden geri kalmamak ve üretimini daha verimli
yapabilmek için bu alanda stratejiler geliştirmek zorundadır. Bu alanda pekçok veri
halen toplanmaktadır (Tarım Bakanlığı, Bilim, Sanayi ve Teknoloji Bakanlığı, TOBB,
vb.). Bu “büyük veri”nin stratejik kullanımı oldukça önemlidir ve ilgili kurumlar
koordineli bir şekilde bu veriyi etkin politikalar geliştirmek için kullanmaya
başlamalıdır. Üretim ve sanayide veriye ve otomasyona bağlı değişikliklerin
istihdama etkisi iyi incelenmeli (yine İŞKUR, Çalışma Bakanlığı gibi ilgili kurumların
büyük verileri ile) ve etkin istihdam, iş eğitimi vb. programlar geliştirilmelidir.
Eğitim ve Sağlık
Ülkemiz genç nüfusu ile önemli bir potansiyele sahiptir. Fakat aynı zamanda
eğitim politikalarındaki sık değişiklikler sebebiyle ileri ülkelerle istenen seviyede
yarışamamaktadır (Pisa 2012). Eğitim konusunda ilgili kurumlar (MEB, YÖK, ÖSYM,
vb.) pek çok kapsamlı büyük veriye sahiptir. Yine bu verilerin etkin kullanımı ve
analizi ile etkin eğitim politikaları geliştirilmeli ve genç nüfusun iyi eğitilmesi için acil
önlemler alınmalıdır. Genç ve yaşlı nüfusun sağlığının korunması ve ülke
kaynaklarının etkin kullanımı ve israf edilmemesi, sağlık alanında yapılan
iyileştirmelere, bunun için de ilgili kurumlarda (Sağlık Bakanlığı, SGK, vb.) toplanan
“büyük veri”nin etkin kullanımı ve analizine bağlıdır.
50
Şeffaflık
Büyük verinin kamuda en önemli kullanım alanlarından birisi şeffaflık, hesap
verilebilirlik, ve ülke bütçelerinin israf edilmeden etkin kullanımıdır. Vergi gelirlerinin,
bütçe harcamalarının, yatırımların ve bütün kamu harcamalarının “büyük veri” analizi
ile incelenmesi ve “açık veri” olarak yayınlanması ve denetime açılması ile birlikte
ülke bütçesinin çok daha az kayıpla ve çok daha etkin harcanması mümkün olacak,
ülke refahında iyileşme sağlanacak, gelir adaletinin sağlanmasında pek çok
iyileştirmeler yapılabilecektir. Burada Maliye Bakanlığı, Gelir İdaresi, Kamu İhale
Kurumu gibi kamu kuruluşlarının verilerinin etkin kullanımı oldukça önemlidir.
5.2 Analitik kurumu
Kim et al 2014 çalışmasında kamuda bir analitik kurumu kurulması
önerilmiştir. Bu kurumun amacı kamudaki verileri yukarıdan aşağıya toplu bir şekilde
bütünleştirecek, ilişkilendirecek ve değerlendirecek, analiz edecek bir kurum olarak
yapılandırılması önerilmiştir. Mevcut durumda genelde kamuda veriler kurumların
kendi veri silolarında bulunmakta, paylaşmada problemler bulunmakta ve toplu
değerlendirilmesi çok zor olmaktadır. Analitik kurumu bu engelleri aşabilecek ve
verileri merkezi bir şekilde değerlendirebilecek ve kurumlar üstü daha etkin çözümler
sunabilecektir. Ülkemizde de kamu kurumları arasında veri paylaşımının genelde
çok zor olduğu ve veri siloları probleminin büyük veri uygulamaları önünde en
önemli engellerden biri olduğu bilinmektedir. Bu alanda merkezi ve kurumlar üstü bir
üst kurumun bu görevi üstlenmesi veya yeni bir kurum oluşturulması uygun
olacaktır.
5.3 Gerçek-zamanlı analiz
Pek çok büyük veri uygulaması genelde durağan (statik) veri üzerinde analiz
yapmayı öngörmektedir. Gelecekte daha fazla ağ bağlantısı, nesnelerin interneti
uygulamalarının devreye girmesi ile birlikte akan veri (streaming data) ve gerçek
zamanlı analiz giderek daha fazla önem kazanacak ve bu konuda kamu
kurumlarının da gelecek öngörüsüne dayalı stratejiler geliştirmesi gerekmektedir.
Örneğin sağlık alanında, salgın hastalıkların anlık verilerle takip edilmesi ve acil
önlemlerin alınması, felaketlerin (deprem) gibi veri analizi ile tahmin edilmesi, çevre
ve doğa olaylarının izlenmesi, finansal krizlerin, borsa hareketlerinin anlık takibi gibi
birçok konu kamu kurumlarının gündeminde olması gerekmektedir.
51
5.4 Küresel işbirliği
Son yıllarda hızlanan hemen her alanda küreselleşme ile birlikte ülkelerin ve
ülkemizin de birbirinden tamamen bağımsız politikalar geliştirmesi artık imkansızdır.
Alınan her karar diğer ülkeleri etkilemekte, diğer ülkelerde alınan kararlar ve politika
değişiklikleri de anında bizleri etkilemektedir. Bu sebeple büyük veri uygulamaları
küresel kurumlarla uyumlu, birlikte çalışabilir olarak tasarlanmalı ve geliştirilmelidir.
Ülkeye özel olarak geliştirilecek büyük veri uygulamaları kısa vadeli çözümler sunsa
da ilerde küresel çerçevede uygulamada zorluklara sebep olabilecektir. Bu sebeple
bu tür uygulamalar geliştirirken kamu kurumlarının küresel çerçevede gelişmeleri iyi
okumaları ve uygulamaları dünyadan kopuk olarak geliştirmemeleri gerekmektedir.
5.5 Özel sektör işbirliği
Büyük veri uygulamaları alanında yukarıda da belirtildiği gibi özel sektör
çalışmalara kamu kurumlarından çok daha önce başlamış ve bu alanda pekçok
uygulama ve çerçeve geliştirmiş bulunmaktadır. Bu sebeple kamu kurumlarının yeni
baştan dünyayı keşfetmek yerine özel sektör kurumları ile işbirliği içinde ve edinilen
tecrübelerden faydalanarak gelecek stratejilerini geliştirmeleri oldukça önemlidir.
52
KAYNAKÇA
1. About Data.gov. (2013). Retrieved from https://www.data.gov/about
2. About Data.gov.au. (2013). Retrieved from http://data.gov.au/about
3. Aslı Ayşe Bilir (2003), “Devlet İstatistik Enstitüsünde elektronik veri
güvenliği”, TÜİK Uzmanlık Tezi.
4. Australian Government Department of the Prime Minister and Cabinet.
(2015). Public Sector Data Management
5. Big-Data Applications in the Government Sector By Gang-Hoon Kim, Silvana
Trimi, Ji-Hyong Chung
6. CSI/FBI Computer Crime and Security Survey,.
7. Data Portals, http://dataportals.org
8. Demet Kabasakal, Şeref Sağıroğlu, Mustafa Alkan (2007), “Mobil Elektronik
İmza: Senaryolar, Uygulamalar, Standartlar ve Ülkeler”, Uluslararası Katılımlı
Bilgi Güvenliği ve Kriptoloji Konferansı.
9. DOME project. (2012). Retrieved from
https://www.research.ibm.com/labs/zurich/sto/bigdata_dome.html
10. Emrah Tomur (2004), “Kablosuz yerel alan ağlarının BDDK’da kullanımı için
bir uygulama önerisi”, BDDK Uzmanlık tezi.
11. European Commission. (2010). Communication From The Commission To
The European Parliament, The Council, The European Economic And Social
Committee And The Commıttee Of The Regions A Digital Agenda for Europe
12. European Commission. (2012). Digital Agenda for Europe and Challenges
for 2012. https://ec.europa.eu/digital-single-market/en/digital-agendaassembly-2012
13. G.-H. Kim, S. Trimi, and J.-H. Chung. (2014). Big-Data Applications in the
Government Sector. Commun. ACM 57,3 (Mar.2014), 78-85.
DOI=http://doi.acm.org/10.1145/2500873
14. Habegger B. (2009) Horizon Scanning in Government: Concept, Country
Experiences, and Models for Switzerland
15. IBM. (2011). IBM’Ss Smarter Cities Challenge: Syracuse
16. IEEE 802.11, http://en.wikipedia.org/wiki/IEEE_802.11. Son erişim: 27 Aralık
2009.
17. Jain P., Tate S. (2013). Big Data and Network Storage For Hadoop
18. Mark van Rijmenam Think Bigger - Developing a Successful Big Data
Strategy for Your Business.
53
19. Monica Paolini (2007), “The Emerging WIMAX Ecosystem”. WIMAX
Business and Technology Strategies, p. 14-16.
20. Morabito, V. (2015) Big Data and Analytics Strategic and Organizational
Impacts, 16, 23-44
21. Open Data, https://en.wikipedia.org/wiki/Open_data
22. Open Government Partnership, http://www.opengovpartnership.org
23. Pisa Results (2012), Country Note for Turkey, Problem Soving.
24. Podesta, J., Pritzer, P., Moniz, E.J., Holdren, J., Zients, J. (2014). Big data:
Seizing Opportunities, Preserving Values. Executive Office of the President
25. TCG Mobile Phone Working Group (2005), “Use Case Senarios, v 2.7”.
26. The State Council, The People’s Republic of China. (2015).
http://english.gov.cn/policies/latest_releases/2015/09/05/content_281475183
253390.htm
27. The Trusted Computing Group (2006), “Mobile Specification: Securing
Mobile Devices on Converged Networks”, White paper.
28. Trusted Computing Group (2007), “TPM Main Part 1 Design Principles, Specification
version 1.2 Revision 103”
29. Trusted Computing Group (2007), “TPM Main Part 2 TPM Structures,
Specification Version 1.2 Revision 103”.
30. Unibusiness Dergisi
31. United Nations Development Programme. (2014). Big Data Development in
China
32. Wayne Jansen and Karen Scarfone (2008), “Guidelines on Cell Phonand
PDA Security, Recommendations of NIST”. NIST Special Publication 800124.
54