Video Film Üzerinde Sorgulama Algoritması

ISTANBUL UNIVERSITY ENGINEERING FACULTY
JOURNAL OF ELECTRICAL & ELECTRONICS
YEAR
VOLUME
NUMBER
: 2001
:1
:2
(307-316)
VÝDEO FÝLM ÜZERÝNDE SORGULAMA ALGORÝTMASI
Oðuzhan ÖZTAÞ
Ýstanbul Üniversitesi, Mühendislik Fakültesi, Bilgisayar Mühendisliði Bölümü,
34850, Avcýlar, Ýstanbul
e-posta: [email protected]
ABSTRACT
In this study, the objects which are on any video frames are defined by their pozitions and types, then
a new query system was developed from constituted system. For this purpose, firstly objects which are
recorded on a video film were determined and classified according to their types. Then taking these
types into account all data knowledge of objects were entered to system on video object data base.
After these processes, constituted system can easily find objects and give all knowledge that are about
the wanted objects to users. This knowledge can be both the objects which are on video film and also
visual and audio data of multimedia knowledge. Color, type, model or audio of any objects can be
easily found by this system stated in our study.
Key Words: Multimedia, Database, Index methods, Search
ÖZET
Yapýlan çalýþmada herhangi bir video filmi üzerinde yer alan nesneler, konumlarýna ve özelliklerine
göre tanýmlanarak oluþturulan sistem üzerinden yeni bir sorgulama yöntemi geliþtirilmiþtir. Bunu
gerçekleþtirmek için öncelikle bir video bandý üzerine kayýtlý olan bir filmdeki nesneler belirlenerek
özelliklerine göre sýnýflandýrýlmýþ ve video nesnesel veri tabaný üzerinde bu özelliklere dayanarak tüm
nesnelerin gerekli bilgileri sisteme girilmiþtir. Bu iþlemlerin sonucunda oluþturulan sistem, içerdiði
nesneleri tek tek tanýmakta ve kendisinden istenen nesneyle ilgili tüm bilgileri kullanýcýya
sunmaktadýr. Bu bilgiler video bandý üzerinde bulunan her türlü nesne olabileceði gibi, bunlarýn
görüntüsel ve ses bilgisini de içeren çoklu ortam bilgileri de olabilme ktedir. Çalýþmada oluþturulan
program ile bu sistemdeki herhangi bir nesnenin rengi, tipi, modeli veya sesi kolaylýkla
bulunabilmektedir.
Anahtar Kelimeler: Çokluortam, Veri Tabaný, Ýndeks yapýlarý, Arama
1. Video Bilgi Sistemi (VBS)
Video bilgi sistemi, videolarda saklanan görüntü
üzerindeki nesnesel bilgilerin içeriklerinin elde
edilebileceði bir bilgi sistemi olarak düþünülür.
Bu bilgi sisteminde nesneden görüntüye ve
görüntüden nesneye eriºmek mümkündür.
Sorgulama nesne bazlý ve görüntü bazlý olarak
yapýlabilmektedir. Nesnelerin tam olarak özelliði
belli deðilse bu durumda bulanýk sorgulama
modülü kullanýlarak iliþkili kayýtlara eriþilebilir.
Video Film Üzerinde Sorgulama Algoritmasý
308
1.1. Çoklu ortam video sistemleri
Bant üzerinden arama zaman açýsýndan uygun
olmayacaðýndan, bu çalýþma CD-ROM üzerinden
arama göz önüne alýnarak yapýlmýþtýr. Video
kartlarý beraberinde gelen yazýlýmla birlikte
verildiklerinden kartýn kendi fonksiyonlarýný
bulmak oldukça zordur. Bu yazýlýmlar açýk halde
verilmemektedirler. Bu çalýþmada ham video
verisini iþleyen fonksiyonun hazýr olacaðý
varsayýlmýþtýr, çünkü mevcut video kartý
yazýlýmlarý
üzerinde
bu
fonksiyon
bulunmaktadýr.
Linux
iþletim
sisteminde
videokart sürücüsü ile birlikte yazýlýmýn bu
fonksiyonlarýna
eriþilebilmektedir.
Fakat
Windows95 ortamýnda açýk halde fonksiyonlar
bulunmamaktadýr.
Bu sistemle kastedilen, bir bilgisayara baðlý olan
Video ortamýnýn kontrolüdür. Bu kontrol iºlemi
yazýlacak yazýlým vasýtasýyla yapýlacaktýr.
Bilgisayara baðlý olarak iki deðiþik video ortamý
düºünülebilir. Bunlardan birincisi bant üzerinden
görüntü aktarýmý yapan bir video cihazýnýn
bilgisayara bir video kartý aracýlýðýyla
baðlanmasýdýr. Ýkincisi ise bir CD-ROM
üzerinden ham video filminin buna uygun bir
yazýlým kullanýlarak iþlenmesidir. Her iki
yöntemde de amaç, bilgisayar ortamýnda yapýlan
sorgulamanýn sonucunda bulunan adrese ya da
diðer bir deðiþle sayaca (counter) bant ya da film
üzerinden eriºip bulunan sahne tam olarak
istenen sonuç ise bunu oynatmaya geçmektir.
1GB
1000
900
800
kapladýðý yer
700
600
550MB
500MB
500
400
300
200
100MB
1 sa. video (sýkýþma
200:1)
10 dk. video (sýkýþma
30:1)
10 dk. animasyon
(sýkýþma 15:1)
6,4MB
100 renkli resim
(sýkýþma 15:1)
1MB
100 faks
sayfasý(sýkýþmamýþ)
0
500 sayfalýk metin
100
ªekil 1. Çoklu ortam uygulamarýndaki görüntü ve video verisi için yer gereksinimi.
Mevcut çoklu ortam sistemleri üç nedenden
ötürü veri sýkýþtýrmasýna ihtiyaç duyar. Bunlar,
çoklu ortam verilerinin çok fazla yer
kaplamalarý, depolama birimlerinin çoklu ortam
verilerinin eþ zamanlý iþlenmesinde yavaþ
kalmasý ve son olarak da að bant geniþliðinin
video verilerinin eþ zamanlý iletimine izin
vermemesidir.
Örnek olarak, 620*560 nokta yoðunluklu ve her
noktasý 24 bit olan renkli bir video resmi
yaklaþýk olarak 1Mb yer kaplar. Eþ zamanlý
oynatýmda saniyede 30 resim gösterilmesi
gerekmektedir. Bu da bir saniyelik video filmi
için 30Mb’lýk yer anlamýna gelir. Yeterli yer
bulunsa bile depolama birimlerinin bilgi aktarýmý
saniyede
30Mb
olmalýdýr.
Bunun
saðlanamamasýndan dolayý tek çözüm verilerin
depolanmadan önce sýkýþtýrýlmasý ve oynatýlýrken
açýlmasýdýr.
Ýleri
sýkýþtýrma
teknikleri
kullanýlarak bir saatlik video filmi için gerekli
olan 1Gb’lýk yer, 200Gb’dan çok daha uygundur.
Þekil 1’de çoklu ortam verileri için sýkýþtýrma
oranlarý grafik üzerinde verilmiþtir. Video
Oðuzhan ÖZTAª
Video Film Üzerinde Sorgulama Algoritmasý
verileri üzerinde deðiþik sýkýþtýrma algoritmalarý
vardýr. Bunlardan en çok kullanýlanlarý MPEG,
AVI ve MOV dosyalarýdýr. Bu dosyalar sadece
görüntü üzerinde bir kareden diðerine deðiþen
noktalarý(pixel) tutarlar. Sadece deðiþen noktalarý
ekrana çýkardýklarý için hýzlý çalýþýrlar.
309
Tablo 3. Çoklu ortam konum sabitleri.
(Orientation)
Sabit ismi
Deðeri
Tanýmý
mciOrientHorz
0
mciOrientVert
1
1.1.1. Windows altýnda çoklu ortam
fonksiyonlarý
Windows altýnda program geliþtirmenin en
büyük avantajý windows ile birlikte gelen her
türlü iç ve dýþ birimi ortak olarak kullanýlma
imkanýnýn bulunmasýdýr. Bu yüzden daha
önceden yazýlmýþ olan fonksiyonlarý tekrar
tanýmlamaya gerek yoktur. Çoklu ortam ile ilgili
fonksiyonlar MCI ön eki ile baºlar. Çoklu ortam
MCI kontrolü, media kontrol arayüzündeki
media dosyalarýnýn kayýt ve oynatma (çalma)
iþlevlerini yapmaktadýr. Bu fonksiyonlarýn kabul
ettiði media cihazlarý arasýnda CD-video
oynatýcýlar, MIDI dosyalarý, CD müzik çalýcýlar
ve AVI video dosyalarý bulunmaktadýr.
MCI fonksiyonlarý bir grup çok fonksiyonlu iþlev
olarak çalýþmaktadýr. Bu fonksiyonlar içinde yer
alan iºlevler þunlardýr : önceki, sonraki, çal,
beklet, geri, adým adým, dur ve kayýt iþlevleridir.
Bu iþlevleri gerçekleþtiren MCI fonksiyonlarý:
Tablo 1. Çoklu ortam kontrol sabitleri.(Mode)
Sabit ismi
Deðer Tanýmý
i
MciModeOpen
MciModeStop
524
525
Aygýt açýk deðil
Durdur
mciModePlay
mciModeRecord
mciModeSeek
526
527
528
Çal, oynat
Kayýt
Arama.
MciModePause
mciModeReady
529
530
Durdurma
Hazýr
Butonlarý
yatay
düzenle
Butonlarý
düºey
düzenle
Tablo 4. Çoklu ortam kayýt sabitleri.(Record)
Sabit ismi
Deðeri
Tanýmý
mciRecordInsert
mciRecordOverwrite
0
1
Ek kayýt
Üstüne kayýt
Tablo 5. Çoklu ortam biçim sabitleri.(Format)
Sabit ismi
Deðeri
Tanýmý
mciFormatMillisecon
ds
mciFormatHms
0
mciFormatMsf
2
mciFormatFrames
3
mciFormatSmpte24
mciFormatSmpte25
mciFormatSmpte30
mciFormatSmpte30Dr
op
mciFormatBytes
MciFormatSamples
MciFormatTmsf
4
5
6
7
1
8
9
10
Milisaniye
biçimi
Saat,
dakika,
saniye
Saniye ve
çerçeve
biçimi
Çerçeve
biçimi
24 çerçeve
25 çerçeve
30 çerçeve
30 kalan
çerçeve
Byte
Örnekler
Truck
saniye ve
çerçeve
1.2.Video üzerinden bir bilgi tarama
sistemi
Tablo 2. Çoklu ortam bildiri sabitleri.(Notify)
Sabit ismi
Deðer Tanýmý
i
mciNotifySuccessful
mciNotifySupersede
d
1
2
Komut baþarýlý
Komut çakýþmasý
mciAborted
4
Kullanýcý
sonlandýrmasý
mciFailure
8
Komut baþarýsýz
Video ortamýndaki bilgilerin iþlenmesi ve bunlar
üzerinde sorgulama ve tarama yapýlabilmesi için
bir sistem geliºtirilmesi gerekir. Bu sistemi üç
aºamada inceliyebiliriz.
Birinci aºama video görüntülerinin bilgisayar
ortamýnda saklanmasýdýr. Ama asýl amaç
düþünüldüðünde bunun etkin olmadýðý görülür.
Çünkü resimlerin saklanmasý ve iþlenmesi
oldukça zaman alýcý bir iþlemdir. Ayný zamanda
etkin de deðildir. Burada düþünülebilecek
optimum çözüm video filminin CD ortamýnda
saklanmasý ve uygun sahne kayýt adreslerinin bir
dosyada tutulmasýdýr. Bu da bize eriþim hýzý
saðlar.
Ýkinci
aþama
uygun
veri
tabanýnýn
tasarlanmasýdýr. Burada nesneye yönelik
Oðuzhan ÖZTAª
Video Film Üzerinde Sorgulama Algoritmasý
310
yaklaþým en uygun seçim olarak görülmektedir.
resim
üzerindeki
nesnelerin
yerleºtiriliºi
Doðal sorgulama ve SQL yapýsý da buna gösterilmiþtir. Burada nesne ismi verildiðinde
uygundur.
Ýnsan
aklýnýn
hatýrlama sistem, hiyerarºi içindeki nesne kodunu kod
mekanizmasýna
benzer
bir
yaklaþým kýsmýnda gösterir.
kullanýlmalýdýr. Konu, Ortam, Amaç, Nesneler
Adým 7- Kod çýkarým yönüne göre kod
ve bunlar arasýndaki iliþki hiyerarþisini içeren bir oluºturulur.
veri tabaný düþünülmüþtür.
Adým 8- Veri tabanýndan bu kod ile iliþkili
Üçüncü aºama görüntü ve kavram üzerinden kayýtlar taranýr.
sorgulama
mekanizmasýnýn
geliþtirilmesi Adým 9- Ýlgili kayýt bulunamaz ise ekrana mesaj
aþamasýdýr. Burada bir algoritma önerilmektedir. yazýlýr.
Bu algoritmaya göre görüntü, döküman, belge,
Adým 10- Bulunan kayýtlar içindeki Video sayaç
kavram, nesne üzerinden arama yapýlabilmekte bilgileri bir diziye atanýr.
ve gerekli kayýtlara ulaþýlarak tüm bilgiler elde
Adým 11- Bu dizi elemanlarý sýra ile ekrandaki
edilebilmektedir.
resim kutusu içine getirilir. Önceki, sonraki
butonlarý ile ileri - geri taranýr. Uygun görülen
kayýtlar oynatýlýr.
1.3.VBS için önerilen bir algoritma
Adým 12- Seçilen bir kayýt oynarken ya da
Bu algoritmada adým adým yapýlacak olan
seçildiðinde o kayýt ile ilgili açýklama ve nesne
iþlemler tanýmlanmýþtýr. Þimdi bu adýmlarý sýra
bilgileri bir pencere içinde yazýlýr.
ile görelim :
Adým 1- Ortamlarýn(olayýn içinde geçtiði yerin)
belirlenmesi.
Þekil 2. Video akýþ yönünde ortamlarýn
belirlenmesi.
Adým 2- Her ortam için nesne hiyerarºisi
oluºturulur.
Adým 3- Her nesne sýra ile numaralanýr.
Adým 4- Numara sýrasýna göre nesnelerin isimleri
ve özellikleri bilgisayara girilir.
Adým 5- Görüntü penceresi seçilir.
Þekil 3. Nesnesel kod çýkarýmý.
Adým 6- Nesneler özelliklerine göre yerleºtirilir.
Þekil 3’de konuma baðlý sorgulama ekranýnda
görülen nesnesel gösterilim kýsmýnda aranan
1.4. VBS algoritmasýnýn incelenmesi
1.3'de verilen algoritma adýmlarýný sýra ile
inceliyecek olursak. Baþlangýçta ortamlar
belirlenerek her ortam için nesne hiyerarºileri
çýkarýlmýþtýr. Bazý ortamlarýn ayný nesneleri
içermesi de mümkündür. Bu durumda nesneleri
tekrar tanýmlamaya gerek yoktur. Sadece yer ve
nesne bilgilerini vermek yeterli olacaktýr.
Ortamlarýn belirlenmesinden sonra nesneler sýra
ile ekrandan girilerek bir dosyaya iºlenir. Tüm
nesneler dosyaya iºlendikten sonra bu nesnelerle
resim bilgilerinin eºleºtirilmesi iºlemine geçilir.
Video'dan belli aralýklarla alýnan resimler
üzerindeki nesne bilgileri sýra ile dosyaya iþlenir.
Nesneler, film üzerinden belirlenmiþ olan deðiþik
yönlerden bakýldýklarýnda sahip olduklarý
özellikler düºünülerek girilir. Nesneler girilirken
konum bilgisi de verildiðinden, veri tabaný
üzerinden nesne konumlarýna göre de arama
yapýlabilir.
Daha sonra kod çýkarým yönüne göre aranacak
görüntünün nesne konum bilgilerini içeren kodu
çýkarýlýr ve bu kodlarý içeren dosya üzerinden bu
kodu içeren görüntü bilgisi taranýr. Birden fazla
görüntü bulunmasý durumunda sýra ile
kullanýcýya gösterilir. Bu esnada her görüntü için
açýklama penceresi açýlarak o anki görüntüyle
ilgili açýklamalar yapýlýr.
Video görüntüsü üzerinden sahneler çýkarýldýktan
sonra her sahnedeki nesnelerin belirlenmesi
iþlemi burada yapýlmamýþtýr. Videodan alýnan her
sahne kendi içinde deðiþik sayýda ve
Oðuzhan ÖZTAª
Video Film Üzerinde Sorgulama Algoritmasý
karmaþýklýkta nesne içerdiðinden, bunlarýn
ayrýþtýrýlmasý ve tanýnmasý iþlemi matematik
hesaplama gerektirir. Ele alýnan her bir sahne
üzerindeki resimde birbirine benzer nesneler
olabilmektedir. Þekil olarak eðer sadece kenarlarý
gözönüne alýrsak ayný formda deðiþik nesneler
görüldüðünde bilgisayar bunlarý tanýmýyacaktýr,
duruº pozis yonu ve yakýnlýk, uzaklýk durumuna
göre nesnelerin belirsizliði artmaktadýr. Nesneyi
oluþturan bileþenler her açýdan görülmiyebilir.
Eðer arama bu bileþenlere göre yapýlýyorsa sonuç
baþarýsýz olacaktýr. Çoðu durumda istenen
sonucu vermemektedir. Nesneler kolayca
birbirine karýþtýrýlabilir. Tanýma iþlemi için açýk
bir algoritma yoktur. Bu konu hala üzerinde
çalýþýlmakta olan ve çözülememiþ bir problemdir.
2. Yeni bir Sorgulama Sistemi
Bu çalýþma kapsamýnda gerçekleþtirilen,
videodan elde edilen resimler üzerinden nesnesel
bilgilerin sorgulanmasý ve bu iþ için ortaya
konulan algoritmada konuma göre sorgulama ve
fuzzy(bulanýk) sorgulama birimlerini örnekler
üzerinde gösterecek olursak :
Aþaðýda ele alýnacak resimlerde tanýmlanmýþ
nesnelerin listesi verilmiºtir:
Sembol
A
S
Ç
M
B
Ar
U
K
Nesne Kod
Anahtar 01
Saat
02
Çekiç
03
Mikroskop 04
Büyüteç 05
Araba
06
Uçak
07
Kuº
08
311
ssk : 00011,00001,00010,00100
yak : 00100,00001,00010,00011
Þimdi yukarýdaki sekiz resimde geçen nesnelerin
özelliklerini listeliyelim:
R1 : Çekiç( Sivri uçlu, kýsa saplý)
Anahtar( Bilyalý, Çelik kapý, Ev)
Saat( Duvar, pilli, beyaz renkte)
Mikroskop( 3uçlu)
R2 : Çekiç( küt uçlu, kýsa saplý)
Büyüteç( 5cm çaplý)
Saat( Duvar, kurmalý, mavi renkte)
Mikroskop( 4uçlu)
R3 : Çekiç( Sivri uçlu, uzun saplý)
Anahtar( Bilyalý, Çelik kapý, iþyeri)
Saat( kol saati, pilli, beyaz renkte)
Mikroskop( 5uçlu)
R4 : Büyüteç(3cm çaplý)
Saat(Duvar, kurmalý, beyaz renkte)
Mikroskop(3 uçlu)
Çekiç(Sivri uçlu, uzun saplý)
R5 : Anahtar(Normal, çelik kapý, ev)
Saat(Masa, kurmalý, yeþil renkte)
Büyüteç(2 cm çaplý)
Çekiç(Sivri uçlu, kýsa saplý)
R6 : Çekiç(Küt uçlu, kýsa saplý)
Büyüteç(4 cm çaplý)
Saat(Masa, pilli, mavi renkte)
Anahtar(Çivi, çelik kapý, iþyeri)
R7 : Anahtar(Normal, tahta kapý, iþyeri)
Çekiç(Küt uçlu, uzun saplý)
Büyüteç(3 cm çaplý)
Mikroskop(5 uçlu)
R8 : Mikroskop(4 uçlu)
Saat(Duvar,pilli, sarý renkte)
Çekiç(Küt uçlu, plastik saplý)
Anahtar(Bilyalý, tahta kapý, ev)
Sýrayla þu sorgulamalarý yapalým :
Aþaðýda verilen konumdaki resimleri bulalým:
ªekil 5. Örnek sorgu nesneleri
ªekil 4. Resim üzerindeki nesnelerin gösterilimi
Elimizde maksimum 31 nesne olsun, bu durumda
her nesneyi ikili sitemde 5 bit ile
numaralandýrdýðýmýzda R1 resmi için soldan
saða kod(ssk) ve yukarýdan aþaðý kod(yak) þöyle
oluºur:
Bu verilerden yararlanarak iki nesnenin
birbirlerine
göre
konumlarýný
belirlemiþ
oluyoruz. Yani iki kod deðeri bulunmuþ olur.
ssk : 00100,00011
yak : 00011,00100
Oðuzhan ÖZTAª
312
Video Film Üzerinde Sorgulama Algoritmasý
Bunlarý tüm kayýtlar içinde taradýðýmýzda R2 ve
R3’ün bunu içerdiði görülmektedir yani aranan
kayýtlardýr. Burada özellik belirtilmemiþtir
sadece nesne adý verilmiþtir. Þimdi özellik
bilgisini de verdiðimizi düþünürsek sonuçta
bulunan resim kümesi daha da azalacaktýr. Yani
eldeki bilgiler somutlaþtýkça arama alaný daralýr.
Kýsa saplý çekiç arandýðýnda ayný konumda
bulunan R2 ve R3’den sadece R3 bu durumu
saðladýðýndan sonuç R3 olarak bulunur.
Aþaðýda verilen konumdaki resimler bulunmak
istenmekte ve burada konum yanýnda saat
nesnesi için renk bilgisi de bulanýk(fuzzy) olarak
verilmektedir. (Açýk renk gibi) Bu kümelerin
önceden tanýmlanmýþ olmasý gerekmektedir.
c’de
(MU )
ile verilmiºtir. M ve K nesneleri
tanýmlý fakat bunlardan birini içeren resimler var
ve diðerini içeren hiç bir resim yoksa bu durum
da ªekil 7-d’de (MK) ile gösterilmiºtir.
3.6.Trafik Eðitiminde Önerilen
Sorgulama Yönteminin Kullanýlmasý
ªekil 6. Örnek sorgu nesneleri
Bu duruma uyan resimler R2,R3,R4 ve R5 dir.
Bunlar içinden yalnýz R3 ve R5 açýk renkte saat
olan resimlerdir. Normal sorgulama ile bunu iki
adýmda ayrý ayrý yapmamýz gerekecekti ve
sonuçta ikisi ayný cevap içinde bulunamayacaktý.
Belirtilen nesneler için hepsini içeren ortak
özelliklere göre arama. Bunu iki ºekilde
yapabiliriz. 1) Nesne
belirterek 2) Nesne
belirtmeden.
Birinci duruma örnek olarak: kýrmýzý renkli
birþey
vardý
ama
tam
olarak
nesne
hatýrlanamýyor. Hatýrlananlar belirtilir ve ortak
özellik olarak da kýrmýzý renk verilir.
Ýkinci duruma örnek : içinde kýrmýzý renkte bir
nesne olan resim bulunmak isteniyor. Baºka
birþey hatýrlanmadýðý için bu ortak özellik tüm
nesneler üzerinde aranýr.
M, Ç, B, K, U nesneleri üzerinden sorgulama
yapýldýðýnda dört farklý durum ortaya
çýkmaktadýr. Bunlar Þekil 7’de notasyonel olarak
gösterilmiºtir.
ªekil 7. Matematiksel gösterilim.
Bu dört durumda ele alýnan örnek veri tabaný
düþünüldüðünde þu ortaya çýkar: Nesneler ve
konumlarý bizim için önemlidir. Sorgulama bu
bilgilere göre yapýlmaktadýr. M ve Ç nesneleri
içerildikleri tüm resimlerde hep ayný konumda
iseler bu durumda tek bir sorguda bu kayýtlara
ulaþýlýr. Bu durum Þekil 7-a’da (MÇ) notasyonu
ile verilmiþtir. Eðer M ve B nesneleri içerildikleri
tüm resimlerde hep ayný konumda deðillerse bu
durumda tek bir sorgulama ile bu kayýtlara
ulaþýlamaz ve Þekil 7-b’de (MB) notasyonu ile
gösterilir. Bazý resimlerde M nesnesi, bazý
resimlerde de U nesnesi var ise fakat ikisini bir
arada içeren bir resim yoksa bu durum ªekil 7-
Trafik eðitiminde taþýt araçlarý ve bu araçlarýn
kullanýldýðý yollar düþünülmektedir. Bu yollarda
yolun durumuna göre çeºitli trafik iºaretleri
kullanýlmaktadýr. Örnek nesne grubu olarak
aþaðýdaki nesneleri gözönüne alalým:
Sembol Nesne
Kod
O
Otomobil
01
M
Minibüs
02
Ot
Otobüs
03
K
Kamyon
04
T
Traktör
05
A
Ambülans
06
G
Geçit
07
Ka
Kavºak
08
Y
Yaya Geçidi
09
L
Trafik Lambasý 10
Ya
Yasaklamalar 11
Ý
Ýlkyardým
12
D
Dönüºler
13
S
Sollama
14
B
Bisiklet
15
Yukarýdaki nesneler daha da arttýrýlabilir. Detaya
inildikçe istenen bilgilere ulaþýlmasý kolaylaþýr.
Bu uygulamada konum bilgisi isteðe göre
eklenebilir. Çünkü yukarýdaki nesneleri içeren
sahneler bizim için aranan sahnelerdir. Bu
sahneler üzerinde nesne konumlarý deðiþik
olabilir. Deðiþik yönlerden ayný durum
yansýtýlmýþ olabilir. Tüm bu durumlarý
görebilmek için konum bilgisi verilmeden sadece
nesneler verilerek bu nesneleri içeren kayýtlara
Oðuzhan ÖZTAª
Video Film Üzerinde Sorgulama Algoritmasý
ulaþýlýr. Þimdi Þekil
sorgulamalara bakalým :
8
üzeride
örnek
Ýþte bu bahsettiðimiz baðýmlýlýktan doðan her bir
özellik sonuçta ulaþýlacak olan resmi tanýmlar.
“Otobanda, kamyonun arkasýndaki araba”
dediðimizde bunu “Anayolda, kamyonun
arkasýndaki araba” dan ayýrmýþ oluyoruz. Çünkü
her ikisinde de ortak yanlar olmasýna raðmen
içinde bulunduklarý yer açýsýndan farklýlýk
göstermiºlerdir. ªekil 10’da verilen bu örnek
ayný resim üzerindeki nesnelerin birbirlerine
baðlý olduklarýný götermesi açýsýndan önemlidir.
ªekil 8. Resim üzerindeki nesnelerin gösterilimi
Örnek sorgulama olarak “Sollama” ile ilgili tüm
kayýtlar sorulduðunda cevap “R1, R2 ve R8”
olacaktýr. “Geçit” ile ilgili kayýtlar sorulduðunda
“R6 ve R7” bulunacaktýr. “Kamyon” ve
“Yayageçidi” içeren kayýt sorulduðunda “R3”
cevap olarak çýkar.
3.7. OO Modeli
Bu oluþturulan çalýþma içindeki sistemde her bir
resim kendi içinde birtakým nesneler içerir, bu
nesneler baþka nesnelere baðýmlý olabilir veya
tamamen baðýmsýz da olabilirler ama resim
üzerindeki her bir nesne kendi baþýna o resime
ulaþýlmasýný saðlayan bir anahtar görevi taþýr.
Modelimizin ºematik yapýsý Þekil 9’da
gösterilmiºtir.
Resim
Baðýmlý
313
Burada ele alýnan nesnelerden bazýlarýnýn
özellikleri bulanýk olarak da verilmiþ olabilir. Bu
durumda verilmiº olan bulanýk özellik de
niteleyici olarak kullanýlabilir. “Otobanda, aþýrý
yüklü kamyon” burada “aþýrý yüklü” bulanýk bir
deyimdir. Diðer benzer resimler içinde bu özellik
ayýrtedici
olarak
kullanýlacaktýr.
Bu
sorgulamanýn yapýlabilmesi için verilen bulanýk
küme tanýmýnýn önceden yapýlmýþ olmasý gerekir.
Tanýmlanmýþ olan bulanýk kümeler içinde eðer
böyle bir taným bulunamaz ise hata oluþur.
Bütün nesneler için “sýcak, ýlýk, soðuk, koyu,
açýk, ufak, büyük, orta, yakýn, uzak” gibi
birtakým
bulanýk
taným
kümeleri
oluþturulmalýdýr. Sorgulamada bu kümeler ayýrt
edici özellik olarak aranan nesnelerin içinde
bulunduklarý resimleri belirlemede kullanýlýr.
3.8. Nesneye Dayalý Veri Tabaný
Sistemi
Baðýmsýz
Geliºtirilen programda arama iºlemi ªekil 11’de
verilen “nesne dosyasý” (1), “bulanýk küme
dosyasý” (2) ve “resim dosyasý” (3) dosyalarý
kullanýlarak yapýlmaktadýr.
ªekil 9. Nesnesel iliºki modeli
Bu modele örnek olarak içinde “araba” resmi
olan bir fotoðrafý düþünelim. “araba” burada bir
nesnedir. “kamyon” ile ayný resimde olan
“araba”, “kamyon” nesnesine baðlýdýr yani
“kamyon”’un bir takým özelliklerini de içerir.
“kamyon” da bir “otoban”da gidiyorsa o da
“otoban” nesnesine baðlýdýr ve birbirlerinin
özelliklerini içerirler.
Þekil 10. Baðýmlý nesneler
Nesneadý, numarasý, özellikleri
……………….
1
……………….
Sýnýfadý, üyeleri
………………..
………………..
2
Kod1, kod2, resimadi(sayaç)
……………………………. 3
…………………………….
Þekil 11. Programda kullanýlan dosyalar.
(1),(2) ve (3) no’lu dosyalar üzerinden iºlem
yapýlmaktadýr.
Sorgulama iþlemi için resim
üzerinden nesne adlarý girilmektedir. Nesne
adlarýna “1” nolu dosyadan bakýlarak kod1 ve
kod2 çýkarýlýr. Bu iþlemden sonra “3” nolu
Oðuzhan ÖZTAª
Video Film Üzerinde Sorgulama Algoritmasý
314
dosyadan istenen resimlere ulaþýlýr. Eðer nesne Ýçinde açýk renkte saat ve sivri uçlu çekiç
özellikleri bulanýk ise o zaman “2” nolu bulunan resimlere bakýldýðýnda ise:
dosyadan bu bulanýk sýnýfýn üyeleri bulunur ve
yine “1” nolu dosyada bu üyeleri içeren kayýtlar SELECT Saat, Çekiç
taranýr ve ona göre kod1 ile kod2 oluþturulur.
FROM RESIM
Eðer nesne adý bilinmiyorsa ve sadece özellik
WHERE f_açýk_renk, sivir_uçlu
bilgisi girilmiºse o zaman bu özellik “1” nolu
dosyadan taranýr ve bulunan kayýtlara bakýlarak Þeklinde bir komut dizisi kullanýlabilir. Burada
kod bilgileri oluºturulur. Kodlar oluºturulduktan “f_”
ifadesi
bulanýk
küme
olduðunu
sonra da resim dosyalarýna ulaþýlýr. Ulaþýlan
göstermektedir.
Bu
bulanýk
kümenin
resim dosyalarý bir diziye atanarak sýra ile ekrana elemanlarýna bakýlarak resim dosyasýndaki tüm
getirilir.
kayýtlar bu elemanlara göre taranýr. Bu tarama
sonucunda da istenen resimler elde edilir.
“3” nolu dosyada kod bilgisine göre arama
yapýlýrken bu arama iþlemini hýzlandýrmak ve
3.10. Yapýlan çalýþmanýn güncel
arama alanýný daraltmak için bir index dosyasý uygulamalara katkýsý :
kullanabiliriz.[21-22-23] Bu index dosyasýnýn Standart veri tabaný yazýlýmlarýnda özelliklerin
görünümü Þekil 12’deki gibi olacaktýr.
fuzzy olma durumu göz önüne alýnmamaktadýr.
Þekil 12. Dk deðeri.
Burada 5 bitlik kod bilgisine göre arama yaparýz
her resim için maksimum 10 nesne içereceði
düþünülerek bir indeks dosyasý hazýrlanmýþtýr.
Aranacak
olan
resimlerin
kod
bilgisi
çýkarýldýktan sonra bu indeks dosyasý üzerinden
taranýr. Eðer ayný sýrada kod içeren bir kayýt
bulunursa ilgili resim kayýtlarýna ulaþýlmýþ olur.
3.9. SQL ile sorgulama :
SQL dilindeki SELECT, FROM, WHERE
deyimleri kullanýlarak istenen sorgulamalar
gerçekleºtirilir. Buradaki WHERE komutu
kýsýtlarý belirtir. Bu kýsýtlar içinde özelliklerin
bulanýk(fuzzy) olmasý durumunda kýsýt olarak
belirtilen ifadenin “f_” ile baþlamasý yeterlidir.
Þimdi bazý sorgulamalarý SQL[13],[12] ifadeleri
ile yapalým.
Ýçinde sivri uçlu çekiç ve iþyeri anahtarý
bulunan resimlerin aranýp incelenmesi için þu
komut dizisi gerekir:
SELECT Çekiç, Anahtar
FROM RESIM
WHERE sivir_uçlu, iºyeri
Bu yapýlan çalýþmada SQL sorgulama içinde de
fuzzy kullanýlarak yaygýn veri tabanlarýna
eklenebileceði gösterilmiþtir. Veri tabanlarý
içinde resim türü bilgiler kullanýlmaktadýr fakat
bunlar tek bir resim olarak göz önüne alýnmakta
resim üzerindeki objeler düºünülmemektedir.
Yapýlan çalýþmada bu nokta vurgulanmaya
çalýþýlmýþtýr. Resim üzerindeki nesneler
sorgulama için önemli olduðundan, bu nesnelerin
ayrý ayrý tanýmlanmasý ve veri tabanýna belli bir
düzende iþlenmesi gerekmektedir. Yaygýn
kullanýmlarda kiþi dosyalarýnda þahýs resimleri
ya da satýþ kayýtlarýnda ürün resimleri yer
almaktadýr. Bu resimler her zaman bir bütün
olarak ürün ismine ya da kiºi ismine
baðlanmaktadýr. Sorgulamada ürünün resmi
istendiðinde karþýmýza gelmektedir. Fakat resim
üzerindeki ayrýntýlar ayrý ayrý ele alýnýp
bilgisayar ortamýna aktarýldýðýnda sorgulama
daha gerçekçi ve ayrýntýlý olarak yapýlabilecektir.
Bu tezde özellikle bu kýsým vurgulanmaya
çalýþýlmýþtýr.
Bunun yanýnda mevcut çalýþmalarda gözlenen
hep sorgulamalarýn bilgiden resime doðru
yapýlmasý þeklindedir. Bunun tersinin de
yapýlmasý
gerektiði
vurgulanmaktadýr.
Fotoðraflarda ürünün tek baþýna görülmesi
yanýnda kullaným ortamý içinde görülmesi daha
fazla önem taþýmaktadýr. Yine kiþilerinde
vesikalýk resim yerine çalýþma ortamý içinde
alýnacak fotoðraflarý önem taþýmaktadýr. Bu
fotoðraflar
üzerindeki
bilgilerden
çeþitli
istatistiki sonuçlara da varýlabilir.
Bu sistemin amacý bir film üzerinden nesnesel
sorgulama yapmaktýr. Bu çalýþmada baz alýnan
Oðuzhan ÖZTAª
Video Film Üzerinde Sorgulama Algoritmasý
makalede sadece SQL sorgulamasý yapýlmýþ ve
ilgili kayýtlara ulaþýlmýþtýr. Ben yaptýðým bu tez
çalýþmamda bu sistemi geliþtirip sadece SQL ile
sýnýrlý kalmayýp visual nesne yerleþtirme yöntemi
ile konuma baðlý olarak bir arama yaptým ve
bunun yanýnda hem SQL için hem de bu visual
nesne
yerleºtirme
yöntemi
için
nesne
özelliklerinin bulanýk olarak verilebilmesini
saðladým. Bu da konuya getirdiðim deðiþik bir
yaklaþým.
11.
12.
KAYNAKLAR
13.
1.
Kingsley
C.
Nwosu,
Bhavani
Thuraisingham, March 1997, “Multimedia
Database Systems”, IEEE Multimedia, pp
21
2. P.Bruce Berra, Forouzan Golshani, Rajiv
Mehrotra, Olivia R.Liu Sheng, August
1993, “Multimedia Information Systems”,
IEEE Transactions on Knowledge and Data
Engineering, Vol. 5, No. 4
3. Borko Furth, Spring 1994, “Multimedia
Systems
:
An
Overview”,
IEEE
Multimedia, pp. 47
4. Tsuhan Chen, March 1998, “The Past,
Present, and Future of
Image and
Multidimensional Signal Processing”, IEEE
Signal Processing Magazine, pp 21
5. M.H.O’Docherty
and
C.N.Daskalakis,
1991, “Multimedia Information Systems The Management and Semantic Retrieval of
all Electronik Data Types”, The Computer
Journal, vol. 34, no. 3, pp.225
6. Masao Sakauchi, Spring 1994, “Data
Vision and Image Retrieval”, IEEE
Multimedia, pp. 79
7. Eitetsu Oomoto and Katsumi Tanaka,
August 1993, “OVID : Design and
Implementation
of
a
Video-Object
Database System”, IEEE Transactions on
knowledge and data engineering, vol5,no. 4
8. Thomas Joseph, Alfonso F. Cardenas,
May 1988, “PICQUERY: A High Level
Query Language for Pictorial Database
Management”, IEEE Transactions on
Software Engineering, Vol. 14, No: 5, pp.
630
9. Atsuo
Yoshitaka,
Setsuko
Kishida,
Masahito Hirakawa, Tadao Ichikawa,
Winter
1994,
“Knowledge-Assisted
Content-Based Retrieval for Multimedia
Databases”, IEEE Multimedia, pp. 12
10. Alberto Del Bimbo, Maurizio Campanai,
Paolo Nesi, October 1993, “A Three-
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
315
Dimensional Iconic Environment for Image
Database Querying”, IEEE Transaction on
Software Engineering, Vol. 19, No: 10, pp.
997
Christopher J. Lindblad, David J.
Wetherall,
June
1995,
“ViewStation
Applications : Imp lications for Network
Traffic”, IEEE Journal on Selected Areas in
Communications, pp 768
Dietrich Paulus, 1997, “A framework for
statistical 3-D object recognition”, Pattern
Recognition Letters, 1153-1157
Simon Gibbs, Costas Arapis, March 1998,
“Virtual Studios: An Overview”, IEEE
Multimedia, pp 18
Alberto Del Bimbo, Enrico Vicario,
Spring 1996, “Visual Programming of
Virtual
Worlds
Animation”,
IEEE
Multimedia, pp. 40
Masaki Hayashi, March 1998, “Image
Compositing Based on Virtual Cameras”,
IEEE Multimedia, pp 36
Andrew
Wojdala,
March
1998,
“Challenges of Virtual Set Technology”,
IEEE Multimedia, pp 50
James C. Bezdek, February 1998, “A
Geometric Approach to Edge Detection”,
IEEE Transactions on Fuzzy Systems, Vol
6, No.1, pp 52
John R.Smith and Shih-Fu Chang,
September 1997, “Visually Searching the
Web for Content”, IEEE Multimedia, pp 12
David De Roure, December 1997,
“Distributed
Multimedia
Information
Systems”, IEEE Multimedia, pp 68
Renee J. Miller, December 1997, “Data
Web:Customizable Database Publishing for
the Web”, IEEE Multimedia, pp 14
Öztaþ Oðuzhan, 1992, “Kýsmi Eþleme
Eriþimi Ve Buna Uygun Dosya Yapýlarý”,
Yüksek Lisans Tezi, Ý.T.Ü. Fen Bilimleri
Enstitüsü, Ýstanbul.
John L.Pfaltz, William J. Berman,
September 1980, “Partial-Match Retrieval
Using
Indexed
Descriptor
Files”,
Communications of the ACM, Vol. 23,
Num. 9, pp. 522
David
Hung-Chang
Du,
Suzanne
M.Sharrock, June 1989, “An Efficient File
Structure for Document Retrieval in the
Automated Office Environment”, IEEE
Transactions on Knowledge and Data
Engineering, Vol. 1, No: 2
Özkan Yalçýn, 1992, UNIX iºletim sistemi,
Alfa
Oðuzhan ÖZTAª
Video Film Üzerinde Sorgulama Algoritmasý
316
25. Philip Heller,Simon Roberts, Çeviren:
and Systems for Video Technology, Vol. 6,
Ümit Çelik, 1998, Java 1.1 Uygulama
No: 1, pp. 12
Geliþtirme Kýlavuzu, Alfa
36. Yoshinobu Tonomura, Akihito Akutsu,
26. Neil Bartlett, Alex Leslie, Steve Simkin,
Fall 1994, “Structured Video Computing”,
1996, Java Programming Explorer, Coriolis
IEEE Multimedia, pp. 34
Group Books.
37. Steven Gringeri, Bhumip Khasnabish,
27. William
I.
Grosky,
Spring
1994,
Arianne
Lewis,
March
1998,
“Multimedia Information Systems”, IEEE
“Transmission of MPEG-2 Video Streams
Multimedia, pp. 12
over ATM”, IEEE Multimedia, pp 58
28. Maurice Frank, November 1995, “Future 38. C.J. Date, 1990, Database Systems, Cilt 1,
Database Technologies”, DBMS, pp. 52
Addison-Wesley
29. Rick Kazman, Reem Al -Halimi, William 39. Philip J. Pratt, Joseph J. Adamski, 1987,
Hunt, Marilyn Mantei, Spring 1996,
Database Systems Management and
“Four Paradigms for Indexing Video
Design, Boyd & Fraser
Conferences”, IEEE Multimedia, pp. 63
40. Henry F. Korth, Abraham Silberschatz,
30. Wei-hsiu Ma, Yen-Jen Lee, March 1998,
1991, Database System Concepts
“Video-Based Hypermedia for Education- 41. Donald A.Adjeroh, Kingsley C.Nwosu,
on-Demand”, IEEE Multimedia, pp 72
September 1997, “Multimedia Database
31. Ahmed Karmouch, James Emery, Spring
Management-Requirements and Issues”,
1996, “A Playback Schedule Model for
IEEE Multimedia, , pp 24
Multimedia Documents”, IEEE Multimedia, 42. Paul
Pazandak,
Jaideep
Srivastava,
pp. 50
September 1997, “Evaluating Object
32. Michelle Y.Kim, Winter 1995, “A
DBMSs
for
Multimedia”,
IEEE
Multimedia Information System for Home
Multimedia, pp 34
Health-Care Support”, IEEE Multimedia, 43. Arnold Kaufmann, Madan M. Gupta,
pp. 83
1991, “Introduction to Fuzzy Arithmetic”,
33. Rita Ann Kogler, March 1998, “Virtual
Van Nostrand Reinhold
Set Design”, IEEE Multimedia, pp 92
44. Stanley Y.W.Su, Mingsen Guo, Herman
34. Ýlhami Kul, 1995, Bilgisayarla Ses ve
Lam, October 1993, “Association Algebra:
Müzik Teknolojisi, Sistem
A Mathematical Foundation for Object35. Wei Ding, Bede Liu, February 1996, “Rate
Oriented Databases”, IEEE Transactions on
Control of MPEG Video Coding and
knowledge and data engineering, vol.5,
Recording
by
Rate-Quantization
no. 5
Modeling”, IEEE Transactions on Circuits
Oðuzhan ÖZTAª