ÖLÇME TEST 3

GEÇERLİK ve GÜVENİRLİK
1.
Alpay’ın
Ölçümleri
Taylan’ın
Ölçümleri
Burçhan’ın
çümleri
12,2 cm
12,1 cm
12,2 cm
12,3 cm
12,2 cm
12,5 cm
12,0 cm
12,3 cm
12,1 cm
12,6 cm
120,1 mm
120,2 mm
120,3 mm
120, 2 mm
120,2 mm
3.
Bir okuldaki 400 öğrenciye 100 soruluk çoktan seçmeli
bir Türkçe testi uygulanmış ve elde edilen puanlar için
hesaplanan
KR-20
güvenirlik
katsayısı
0,90
bulunmuştur.
Bu sınavla ilgili olarak aşağıdakilerden hangisi
kesinlikle doğrudur?
A) Testin yapı geçerliği yüksektir.
B) Testin kapsam geçerliği yüksektir.
C) Seçilen madde örneklemi yetersizdir.
D) Sınav tek boyutlu bir yapıyı ölçmektedir.
E) Soruların birbiri ile bağdaşıklığı düşüktür.
5.
Öğrencilerin girdikleri sınavlar hakkındaki görüşleri
şöyledir:
I.
Çalıştığım konulardan soru çıkmadı
II.
Soruların tamamı ezbere dayalıydı
III.
Hocanın önemli dediği yerlerden hiç soru
çıkmadı
IV.
Bizim hoca kitapta yazanın aynısını istiyor
Yukarıda verilen öğrenci değerlendirmeleri özellikle
aşağıdaki
kavramlardan
hangisine
vurgu
yapmaktadır?
A) Duyarlık
B) Güvenirlik
C) Tarafsızlık
D) Kullanışlılık
E) Geçerlik
6.
Hız testlerinde belli bir süre içinde çözülmüş soru sayısı
önemlidir. Öğrenci sınırlı bir sürede tamamını
çözemeyeceği sayıda soru olan bir testi çözer ve sınırlı
süre sonunda kaç tane soru çözdüğüne bakılır.
Buna göre hız testlerinin güvenirliğini belirlerken
aşağıdaki güvenirlik yönetmelerinden hangisinin
kullanılması en uygundur? *
A) Test – tekrar test
B) Eşdeğer yarılar
C) KR – 20
D) KR – 21
E) Cronbach Alfa
7.
Paralel testler yöntemi, birbirine denk durumdaki her iki
form aynı öğrenci grubuna, aynı zamanda uygulanmışsa
bir --- katsayısı verir. Eğer testin ikinci formu, birinci
formun uygulanmasından belli bir zaman sonra
uygulanırsa hem öğrenci puanlarının --- hem de test
formalarının --- kontrol edilebilir.
Yukarıda boş bırakılan yere aşağıdakilerden hangisi
getirilmelidir?
A) duyarlık – kararlığı – eşdeğerliği
B) eşdeğerlik – kararlığı – eşdeğerliği
C) geçerlik – güvenirliği – geçerliği
D) eşdeğerlik – içtutarlılığı – güvenirliği
E) içtutarlılık - kararlığı – tutarlığı
Öl-
Yukarıda 3 kişinin bir metal çubuğu beş kere ölçmeleri
sonucunda elde ettikleri ölçüm sonuçları verilmiştir.
Buna göre aşağıdaki yargılardan hangisi kesinlikle
doğrudur?
A) Alpay’ın ölçme aracı sistematik hata vermektedir.
B) Taylan’ın
ölçme
aracı
amacına
hizmet
etmemektedir.
C) En güvenilir ölçüm sonuçlarını veren araç
Burçhan’ınkidir.
D) Alpay’ın ölçme aracı sabit hata vermektedir.
E) Burçhan’ın ölçme aracı hata vermemektedir.
2.
4.
--- APA ( Amerikan Psychological Association)
tarafından eğitim ve psikolojide kullanılan ölçme
araçları ( testler) standartlarına göre, belki en geniş
anlamıyla; “ölçme sonuçlarının (ölçüm – test puanları)
ölçme hatalarından arınıklık derecesi” olarak
tanımlanmıştır.
Yukarıda boş bırakılan yere aşağıdakilerden hangisi
gelmelidir?
A) Yansızlık
B) Güvenirlik
C) Geçerlik
D) Kullanışlılık
E) Duyarlık
Bir öğretmen hazırladığı başarı testine karışan hata
miktarını en aza indirmek istemektedir.
Buna göre öğretmenin aşağıdakilerden hangisini
yapması bu amacına hizmet etmez?
A) Sorularında örtük anlamlar içeren sözcük ya da
cümlelerini düzeltmek
B) Ölçme aracında yer alan soru sayısını artırmak ve
daha hassas puanlama yapmak
C) Ayrıntılı bir yanıt anahtarı üzerinden puanlama
yapmak
D) Ünitede belirlenmiş tüm kritik davranışlardan soru
sormak
E) Sınav öncesinde öğrencilerine espri yaparak gergin
havayı yumuşatmak
8.
9.
Bir yarış atının yük taşımada kullanılması ne kadar
yanlış ise belli bir amaç için geliştirilmiş testin de başka
bir özelliği ölçmek için kullanılması o denli yanlıştır.
Yukarıdaki
alegorik
açıklama
ölçme
ve
değerlendirmedeki hangi kavrama özellikle işaret
etmektedir?
A) Kullanışlık
B) Objektiflik
C) Geçerlik
D) Güvenirlik
E) Duyarlık
12. Psikolojik testlerle ölçülmek istenilen zeka, ilgi, tutum,
Ölçülmek istenen özellikle ölçülen özelliğin birbiri ile
tutarlığıdır.
Bu tanım aşağıdaki kavramlardan hangisine aittir?
A) Güvenirlik
B) Geçerlik
C) Kullanışlık
D) Yansızlık
E) Kararlılık
Yukarıdaki parçada anlatılanlar aşağıdaki geçerlik
türlerinden hangisinin belirlenmesi gerektiğine işaret
etmektedir?
10. Lise matematik düzeyinde, herhangi bir üniteyi
kapsayacak biçimde geliştirilmiş bir test, ilkokul
seviyesindeki öğrencilere tekrar tekrar uygulandığında
her uygulama benzer sonuçlar vermiştir. Bununla
birlikte ilkokul çocuklarının puanları ile lise
öğrencilerinin puanları arasında güçlü pozitif bir
korelasyon vardır.
Yukarıda verilen örnek durum için aşağıdakilerden
hangisi söylenebilir?
A) Testin güvenirliği ve geçerliği yüksektir.
B) Test homojen bir yapı arz etmektedir.
C) Testin kapsam bakımından geçerliği düşüktür.
D) Test duyarlı olduğu için geçerlidir.
E) Test güvenilirdir ancak geçerli değildir.
11. Yeni geliştirilmiş bir zekâ testinin sonuçları WISC-R
testinden
aynı
bireylerin
aldığı
puanlarla
karşılaştırılarak, yeni testin benzer ölçekler geçerliği
hesaplanır. Bu örnekteki yeni geliştirilen ve geçerliği
hesaplanacak olan testten elde edilen ölçümler --- ,
geçerliği önceden hesaplanmış ve yüksek geçerliğe
sahip olduğu bilinen WISC-R’dan elde edilen ölçümler
de --- olarak hesaplanır.
Yukarıda boş bırakılan yerlere sırasıyla hangileri
gelmelidir?
A) yordayıcı puan – kriter puan
B) kriter puan – yordayıcı puan
C) kapsam – duyarlık
D) duyarlık – kapsam
E) yordayıcı puan – kapsam
merak, sosyal uyum, ruh sağlığı gibi kavramlar soyut
kavramlar olup, tanımlarında bir uzlaşma da çoğu
zaman sağlanamamaktadır.Mesela zekanın birbirinden
farklı yirmiye yakın tanımı yapılmıştır. Bir kavramın
tanımında bir uzlaşma yoksa, böyle bir özelliği ölçmek
için geliştirilen farklı testler, farklı şeyler ölçecektir.
Nitekim Özgüven`in (1994) de işaret ettiği gibi, faktör
analizi ile yapılan çalışmalarda genel yetenek veya zekâ
testi olarak adlandırılan testlerin aynı nitelikleri
ölçmediği, her birinin binişik yönleri olmakla birlikte,
farklı zihin faktörlerini ölçtüğü, zeka için ileri sürülen
ölçütlerin birbirinden çok farklı olduğu görülmüştür. Bu
nedenle farklı ölçütlere dayanılarak bir testten elde
edilen puanlar arasındaki korelasyonlara bakarak bir
testin geçerliği hakkında karar vermek yanıltıcı olabilir.
A)
B)
C)
D)
E)
Kapsam
Yordama
Yapı – Kavram
Karar
Görünüş
13. Yahşi Cazibe adlı dize yer alan Hulusi Bey adlı karakter
her bölümde, hayatta 3 şeyden nefret ettiğini
söylemekte. Ancak Hulusi Bey’in nefret ettiği bu 3 şey
her bölümde değişmekte hatta bazen aynı bölümde bile
bu durum değişmektedir.
Buna göre Hulusi Bey’in nefret ettiği 3 şeyin
aşağıdakilerden hangisi bakımından özellikle düşük
olduğu söylenebilir?
A) Duyarlık
B) İçtutarlılık
C) Kararlılık
D) Kapsam
E) Görünüş
14. Yapılan bir araştırmada, ilköğretim 3. sınıf öğrencileri
için geliştirilmiş bir matematik testi 3. sınıf
öğrencilerine
uygulanmış
ve
korelasyon
.81
bulunmuştur. İlköğretim 8. sınıf öğrencileri için
geliştirilen bir matematik testi ilköğretim 3. sınıf
öğrencilerine uygulanmış korelasyon katsayısı .34
bulunmuştur. Aynı test 8. sınıf öğrencilerine
uygulandığın korelasyon .83 bulunmuştur. Ortaöğretim
3. sınıf ( Lise 3 ) öğrencileri için geliştirilen bir
matematik testi ilköğretim 3. sınıf öğrencilerine
uygulandığında korelasyon katsayısı .09 bulunmuş,
ilköğretim 8. sınıf öğrencilerine uygulandığında .21 lise
ortaöğretim 3. sınıf ( Lise 3)
öğrencilerine
uygulandığında ise .77 bulunmuştur.
Yukarıdaki araştırmada geliştirilen testlerin hangi
yönü özellikle belirlenmek istenmiştir?
A) Güvenirliği
B) Kararlılığı
C) Tutarlılığı
D) Geçerliği
E) Kullanışlılığı
15. --- geçerliğini tespit etmeye farklı farklı tanımlanan
kavramların içeriğinin belirlenmesi ile başlanır. Daha
sonra belirlenen bu tanımlamalara uygun gözlenebilir
davranışlar sistematik bir düzen içinde ortaya konur.
Başka bir söyleyişle bireyin ne tür davranışlar
gösterdiğinde hangi niteliklerin varlığına ya da
yokluğuna karar verilmesine ilişkin ölçütler geliştirilir.
Sonra bu davranışları yoklayan sorular hazırlanır. Bu
süreç test hazırlayıcının yeni kavramları yeni deneylerle
denemesidir.
Yukarıda hangi geçerlik türünün belirlenmesi
sürecinden bahsedilmiştir?
A) Ölçüt
B) Yapı
C) Kapsam
D) Karar
E) Görünüş
18. Bir edebiyat öğretmeni 10 soruluk bir yazılı yoklama
sınavı hazırlamıştır. Ancak daha sonra bu sınavı
okurken zorlanacağını düşünen öğretmen soru sayısını
25’e çıkartıp bir çoktan seçmeli test hazırlamıştır.
Yukarıdaki edebiyat öğretmeninin ölçme aracında
böyle bir değişikliğe gitmesinin öncelikli amacı
nedir?
A) Güvenirliği artırmak
B) Geçerliği artırmak
C) Kullanışlığı artırmak
D) Homojenliği sağlamak
E) Duyarlığı artırmak
Bu tablodaki bilgilerden hareketle 16 ve 17. soruları
çözünüz.
Kapsam
Geç
Güçlük
Yordama
Geç
Testler
Güvenirlik
1
2
3
4
5
6
0,72
0,67
0,83
0,94
0,62
0,83
Orta
Yüksek
Yüksek
Düşük
Düşük
Yüksek
0,70
0,34
0,57
0,41
0,50
0,49
0,43
0,30
0,65
0,17
-0,50
0,75
16. Bir testin güvenilir olması o testin geçerli olacağının
garantisi değildir.
Yukarıdaki testlerden hangisi bu yargıyı en çok
desteklemektedir?
A) 2.
B) 3.
C) 4.
D) 5.
E) 6.
17. Öğrencilerine uyguladığı bu 6 testin ortalamasına
göre dönem sonu notu verecek bir öğretmen hangi
testten elde edilecek puana daha çok ağırlık
vermelidir?
A) 1.
B) 2.
C) 3.
D) 4.
E) 6.
Bir firma ürettiği kibritlerin kutularının üzerine ± 5 tane
hata karışabileceğini belirtmesi (--I-- )hataya doğrudan
bir örnektir.
Bir puan dağılımında sonuçlara karışan hata miktarını
testte ifade edilen puanlar cinsinden bildiren hata türüne
(--II--) hata denir.
İletişim fakültesinde öğrenim gören öğrencilerin ÖSS
sözel puanları ve fakülte puanları arasında yüksek
düzeyde bir korelasyon olması (--III-- )geçerliğinin
yüksek olduğunu belirtir.
Bir testin puanlamasının zaman alması testin öncelikle
( --IV--) olmasını düşürür. Puanlamanın zorluğundan
kaynaklı oluşan bazı tesadüfi hatalar ise doğrudan( --V--)
düşürür.
19. Yukarıda boş bırakılan yerlere
aşağıdakilerden hangileri gelmelidir?
A) standart hata – standart hata –
kullanışlılık – güvenirlik
B) tesadüfi hata – standart hata –
kullanışlık – geçerlik
C) standart hata – tesadüfi hata –
kullanışlık – geçerlik
D) standart hata – standart hata –
kullanışlık – güvenirlik
E) tesadüfi hata – sistematik hata –
kullanışlık – geçerlik
sırası
ile
yordama –
yordama –
uygunluk –
uygunluk –
yordama –
20. Aşağıda Yahşi Cazibe adlı dizideki Hulusi Bey adlı
karakterin hayatta nefret ettiği üç şey verilmiştir.
Birincisi: Daha az kumaş kullanıldığı halde bebek
kıyafetlerinin yetişkin kıyafetlerinden iki kat pahalı
olması
İkincisi: Berberde saçımı kestirirken berberin koluma
gereğinden fazla yakın temasta bulunması
Üçüncüsü: Seven bir erkeğin daha ilk engelde geri
adım atması
Yine aynı karakterin başka bir bölümde nefret ettiği üç
şey şu şekildedir:
Birincisi: Kağıtları buruşturup buruşturup top haline
getirdikten sonra milletin içinde çöp sepetine attığımda
isabet ettiremeyip karizmamın çizilmesi
İkincisi:
Tıkanmış trafikte bir
milim bile
ilerleyemedikten sonra arabamın benzin gitmesin diye
stop ettirdikten sonra trafiğin açılması
Üçüncüsü: Parasını ödediğim malları ithal ettikten
sonra bozuk çıkması
Buna göre Hulisi Bey’in nefret ettiği 3 şey
düşünüldüğünde
aşağıdakilerden
hangisi
bakımından yetersiz - düşük olduğu söylenebilir?
A) Duyarlık
B) İçturarlılık
C) Görünüş
D) Kullanışlılık
E) Objektiflik
21. Kapsam geçerliğini belirleme yöntemlerinden biri de uzman
görüşüne başvurmaktır. Bu anlamda uzmanlar bir panelde bir
araya gelerek her bir madde için maddenin ölçmeye çalıştığı
yetenek ya da bilgiyi ölçüp ölçmediğini baz alarak maddenin
yeterli olup olmadığı hakkındaki görüşlerini belirtirler.
Katılımcı uzmanların bu görüşlerini; yeterli, yararlı ama
yeterli değil, yeterli değil şeklinde belirtmeleri istenir.
Toplanan uzman tepkileri üzerinden;
𝑁
𝑛𝑒 −
2
𝐶𝑉𝑅 =
𝑁
2
Formülü aracılığı ile kapsam geçerlik oranı belirlenir.
Formülde yer alan CVR; kapsam geçerlik oranı, ne; maddenin
yeterli olduğu görüşünde olan uzman sayısı, N; panele katılan
toplam uzman sayısını ifade etmektedir. Bu oran
(-1) ile (+1) arasında değer alır. Kapsam geçerlik oranı -1’e
yaklaştıkça; uzmanlar arasında maddenin yeterli düzeyde
hedef davranışı ölçmediği görüşünün hakim olduğu +1’e
yaklaştıkça uzmanlar arasında maddenin yeterli düzeyde hedef
davranışı ölçtüğü görüşünün hakim olduğu sonucuna varılır.
Toplam 40 uzmanın katıldığı panelde testte yer alan bir soruya
ilişkin değerlendirmeleri aşağıda verilmiştir.
Uzman
Görüşü
Madde 1
Yeterli
30
Yaralı ama
yeterli değil
3
22. KR-20 güvenirlik katsayısı 0,90 çıkan bir test için
I.
Kapsam geçerliği kesinlikle düşüktür.
II.
Sınavın yapı geçerliği kesinlikle yüksektir.
III.
Öğrenciler homojen bir yapı göstermektedir.
IV.
Sınav tek boyutlu bir yapıyı ölçmektedir.
V.
Sınava giren öğrenciler benzer yanıtlar
vermiştir.
Yukarıdakilerden hangisi doğrudur?
A) I.
B) II.
C) III.
D) IV.
E) V.
23. Soru sayısının artması güvenirliği artırır ancak her
koşulda artırır demek yanlıştır.
I.
Eklenen soruların ayır edicilik düzeyinin aynı
olması
II.
Eklenen soruların maddeler arası tutarlılığı
bozmaması
III.
Eklenen soruların başka tesadüfi hatalara yol
açmaması
IV.
Eklenen soruların güçlük düzeyinin aynı
olması
Yukarıdaki koşullardan hangileri sağlanırsa soru
sayısı arttıkça güvenirlik kesinlikle artar denebilir?
A) I. ve II.
B) I. ve III.
C) II. ve III.
D) II. ve IV.
E) III. ve IV.
24. Aşağıdaki ifadelerin hangisi bir testin geçerliğine
ilişkin fikir vermez?
A) Teste yer alan soruların içeriği ile ölçülmek
istenenin uyuşması
B) Öğrencinin ölçüm değeri ile gelecekteki
performansının uyuşması
C) Testin ne ölçmek istiyorsa onu ölçüyor gözükmesi
D) Ölçme sonuçlarına karışan hata payının düşük
olması
E) Ölçme sonucunun ölçülmek istenen özelliğe ilişkin
veri sağlaması
Yeterli değil
7
Buna göre testte yer alan 1. maddenin kapsam
geçerlik oranı ( CVR) kaçtır?
A) 0,4
B) 0,5
C) 0,6
D) 0,7
E) 0,8
25. Bir testin ya da daha genel bir ifadeyle ölçme aracının -- o araçla ölçülmek istenen kuramsal yapıyı ortaya
koyabilme derecesidir.
Yukarıda
boş
bırakılan
yere
aşağıdaki
kavramlardan hangisi gelmelidir?
A) Karar geçerliği
B) Yordama geçerliği
C) Yapı geçerliği
D) Görünüş geçerliği
E) Kapsam geçerliği
26.
28.
Meslek Alanı
Mühendis
Doktor
Şair
Politikacı
Dansçı
Matematikçi
Puan
55
61
89
91
76
43
İlahiyatçı
69
Yukarıdaki tabloda bazı meslek grubundaki bireylere
uygulanmış çoklu zeka alanlarından mantık matematik
zekayı ölçen ve 100 üzerinden puanlanan bir ölçme
aracından elde edilmiş sonuçların ortalama değerleri
verilmiştir.
Buna göre uygulanan ölçme aracı için aşağıdaki
ifadelerden hangisi söylenebilir?
A) Kararlı ölçümler vermediği için güvenirliği
düşüktür.
B) Maksadına hizmet etmediği için geçerliği düşüktür.
C) Soru sayısı az olduğu için duyarlığı düşüktür.
D) Yeterli örneklem seçilemediği için kapsam
geçerliği düşüktür.
E) Ölçme aracının yetersizliğinden kaynaklı
güvenirliği düşüktür.
27. Ölçme sonuçları ikili düzeye indirgendiği için aslında
geçecek birey için kaldı, kalacak birey için de geçti
demek gibi, ölçütün altında veya üstünde kalan
bireylerin hatalı sınıflanma olasılığı da vardır. Bazen
eğitimde, kullanılan ölçme aracına dayalı ölçülen
özellik açısından bireyler sıralanabilir. Ölçme aracı ne
kadar güvenilir olursa olsun bireyleri ölçülen özellik
açısından doğru ya da yeterli sınıflamıyor ya da
sıralamıyor olabilir. Ölçme aracının bu özelliği ölçülen
özellik açısından bireylere dönük alınacak kararlar
üzerinde son derece etkilidir. Bu durumda ölçme
aracının belli ölçüt ya da ölçüt takımlarına göre ölçülen
özellik açısından bireyleri doğru sınıflayıp sınıflamadığı
ya da sıralayıp sıralamadığı araştırılmalıdır.
Yukarıdaki parçada aşağıda verilen kavramlardan
özellikle hangisine vurgu yapılmıştır?
A) Uygunluk geçerliği
B) Yordama geçerliği
C) Karar geçerliği
D) Kapsam geçerliği
E) Yapı geçerliği
Öğrenci
Bölümü
Kendi Alanı
Ali
Ahmet
Selim
Spor
Müzik
Resim
90
97
85
Diğer
Alanlar
46
45
30
Yukarıda bir lisede öğrencilere uygulanan çoklu zeka
alanlarını ölçmek amacıyla hazırlanmış bir testin
rastgele seçilen üç öğrenciye göre sonuçları verilmiştir.
Öğrencilerin kendi zeka alanlarından ve diğer zeka
alanlarından aldıkları puanlar tablodaki gibidir. ( 70
puan ve üstü o zeka alanında iyi olduğunu
göstermektedir.)
Buna göre uygulanan çoklu zeka belirleme testi için
aşağıdakilerden hangisi söylenebilir?
A) Testin amaca hizmet etme derecesi düşüktür.
B) Testin kapsam geçerliği yüksek yapı geçerliği
düşüktür.
C) Testin geçerliği yüksektir
D) Testin sonuçları kararlılık göstermektedir.
E) Testin iç tutarlığı düşüktür.
29. Bir fen bilgisi öğretmeni olan Ayşegül, öğrencilerinin
çalışmalarını değerlendirirken önceden hazırladığı bir
dereceli
puanlama
anahtarını
kullanmaktadır.
Puanlamayı buna göre yapan Ayşegül öğretmen
hazırlanan proje raporlarını okurken de öğrencilerinin
isimlerinin olduğu kısımları kapatmaktadır.
Öğretmenin proje çalışmalarını yaparken bu
uygulamalara başvurması ölçme aracının ve ölçme
işleminin hangi özelliğinin iyileştirmesine en çok
katkı sağlar?
A) Görünüş geçerliği
B) Yapı geçerliği
C) Kararlılık
D) Tarafsızlık (Objektiflik)
E) Yordayabilirlik
30. Öğretmenlerin genel izlenime dayalı puanlama
yapması özellikle hangi anlamda güvenirliği
düşürmektedir? ***
A) Kapsam
B) İç tutarlık
C) Kararlık
D) Tutarlık
E) Duyarlık
31. Bir edebiyat öğretmeninin hazırladığı çoktan seçmeli
sınav sorusu şöyledir:
İnce Mehmet romanının yazarının adı ve soyadının
ilk harfleri nedir?
A) B.R.E
B) A. K .
C) Y.K. K.
D) O. K
E) Y. K
34.



Buna göre öğretmenin test maddesini geliştirirken
böyle bir yola başvurmasının temel nedeni nedir?
A) Sorunun şansla (Kuru atımla) çözülebilirliğini
azaltmak
B) Sorunun çağrışımla değil hatırlama ile çözülmesini
sağlamak
C) Sorunun görünüş geçerliğini artırmak
D) Sorunun doğru yanıtını çeldiricilere anlamca
yaklaştırmak
E) Sorunun çözülebilir olmasının önüne geçmek
32. Standart hatası ± 5 olan bir ölçme aracından elde
edilen ve değeri 60 olan bir ölçme sonucunun gerçek
değer aralığı yaklaşık %95 olasılıkla hangi
aralıktadır?
A) 40 – 80
B) 50 – 70
C) 60 – 70
D) 55 – 65
E) 45 – 75
Bir öğrencinin portfolyodan aldığı puanlarla
beraber, aynı konudan girdiği standart
testlerdeki puanlara da bakılması
Öğrencilerin yazılı sınavlarını aynı branştan
başka bir hocaya da okutmak ve iki
puanlamanın ortalamasını almak
Öğrencinin çoktan seçmeli testlerden aldığı
puanla daha sonradan ders içi performanslarını
karşılaştırmak
Yukarıda
verilen
yöntemler
özellikle
aşağıdakilerden
hangisini
gerçekleştirmeye
dönüktür?
A) Geçerli ve güvenilir bir puanlama anahtarı
hazırlamak
B) Öğrencilerin öğrenme eksikliklerini saptamak ve
gidermek
C) Sınavların geçerliğini ve güvenirliğini sağlamak
D) Sınavların kapsam geçerliğini artırmak ve daha
geçerli ölçümler sağlamak
E) Öğrenci öğrenmelerini gözlenebilir bir davranış
olarak açığa çıkarmak
35. Bir ölçme öğretmeninin uyguladığı doğru yanlış
testinden üç soru ve yönergesi şöyledir:
Açıklama: Aşağıda verilen cümleleri dikkatle
okuyunuz. Soruda verilen bir cümle her zaman
doğru ise D, her zaman yanlışsa Y, bazı durumlar
için yanlışsa B harfi koyunuz
1.
2.
3.
33. Geçerlik ve güvenirlikle ilgili aşağıdaki ifadelerden
hangisi hatalıdır?
A) İzleme testlerinin kapsam bakımından geçerli
olabilmesi
için
ünitede
belirlenen
kritik
davranışların tamamından soru sorulması gerekir.
B) Portfolyo değerlendirmede hazırlanan, puanlama
anahtarları,
yanlılık hatalarını aza indirme
amaçlıdır
C) Başarı testlerini piyasaya kabul ettirmek
istiyorsanız
görünüş
geçerliğini
artırmak
zorundasınız ancak psikolojik testlerin görünüş
geçerliğinin düşürülmesi gerekir
D) Bir testin amacına hizmet etme derecesi olarak
tanımlanabilecek güvenirlik; testin duyarlığından,
kararlılığından ve iç tutarlığından doğrudan
etkilenir.
E) İletişim fakültesinde öğrenim gören öğrencilerin
ÖSS sözel puanları ve fakülte puanları arasında
yüksek düzeyde bir korelasyon olması yordama
geçerliğinin yüksek olduğunu belirtir.
Doğru yanlış testleri objektif puanlanabilir (D)
Çoktan seçmeli testlerin geliştirilmesi kolaydır ( Y)
Çoktan seçmeli testler kullanışlıdır ( B)
Bu bilgilere göre öğretmen özellikle aşağıdakilerden
hangisine yönelik böyle bir düzenleme yapmıştır?
A) Testinin kapsam geçerliğini düşürmek
B) Testin şansla yanıtlanabilirliğini azaltmak
C) Testin puanlama güvenirliğini artırmak
D) Testin objektifliğini artırmak
E) Teste karışan sistematik hataları azaltmak
36.
I.
Yapı geçerliği
II.
Kapsam geçerliği
III.
Yordama geçerliği
IV.
Görünüş geçerliği
Seçme amaçlı bir test geliştirilirken öncelikle
bakılması gereken geçerlik türü hangisidir? *
A) Yalnız I.
B) Yalnız III.
C) I. ve II.
D) II. ve III.
E) III. ve IV.
37.
A
L
Ölçme sonucu ( Ölçüm)
Y
S
Gerçek Boyut
K
P
Yukarıdaki çizime göre ölçme hatası aşağıdakilerden
hangisi ile ifade edilir? ( - ) Eksi işaretidir.
A) A – L
B) L – S
C) P – L
D) A – Y
E) Y – K
38. Bir matematik öğretmeni köklü sayılar bilgisini ölçmek
için hazırladığı testteki birçok soruyu öğrenciler
seçeneklerden giderek ya da üslü sayılar bilgilerini
kullanarak çözmektedirler.
Yukarıda bahsedilen durum testin özellikle hangi
açıdan düşük olduğunu gösterir?
A) Objektiflik
B) Geçerlik
C) Ekonomiklik
D) Güvenirlik
E) Duyarlık
39. Bir öğretmen her yıl aynı sorularla dönem sınavı
hazırlamakta ve öğrenciler soruları bir üst sınıftaki
öğrencilerden öğrenerek girmektedirler.
Bu durum testin doğrudan hangi özelliğini düşürür?
A) İçtutarlılığını
B) Geçerliğini
C) Puanlanabilirliğini
D) Kullanışlığını
E) Objektifliğini
40.
Test
1
2
3
4
5
Güvenirlik
.60
.60
.75
.91
.91
Standart Sapma
7
8
6
6
3
Yukarıda 5 testin güvenirlik katsayıları ve standart
sapmaları verilmiştir.
Buna göre hangi testin standart hatası en düşüktür
A) 1
B) 2
C) 3
D) 4
E) 5
41. Ülke genelinde orta öğretim öğrencilerinin girdiği bir
sınav için bir uzman şunları söylemiştir:
“ Sınav düşünme, yorumlama, analiz etme gibi üst
düzey becerileri ve önemli ilke ve genellemeleri
ölçmüyor görünmektedir”
Yukarıda uzmanın sözleri testin hangi özelliğinin
düşük olduğunu göstermektedir?
A) Görünüş geçerliği
B) Duyarlığı
C) Kapsam geçerliği
D) Yordama geçerliği
E) Güvenirlik
42. Gerçek puanların varyansının, gözlenen puanların
varyansına oranı güvenirlik katsayısıdır.
𝒓𝒙 =
𝑺𝟐𝒕
𝑺𝟐𝒙
𝒓𝒙 = Güvenirlik katsayısı
𝑺𝟐𝒕 = Gerçek puanlar varyansı
𝑺𝟐𝒙 = Gözlenen puanlar varyansı
Bu oran bir yüzdelik değer olarak da düşünülebilir. Elde
edilen bu yüzdelik değer, alabileceği maksimum
değerden çıkarılırsa aradaki fark random hata ( şans
hatası ) olarak ya da hata oranı olarak ifade edilir.
Buna göre gerçek puanlar varyansı ile gözlenen
puanlar varyansı oranı 0.80 olan bir testin hata
oranı kaçtır?
A) 1,00
B) 0,80
C) 0,50
D) 0,40
E) 0,20
43. Bu yöntem, ölçülen niteliğin kararlı olduğu durumlarda
uygulanması gereken bir yöntemdir. Testin ölçmek istediği
nitelik sürekli değişkenlik gösteriyorsa, bu metot
kullanılmamalıdır. Bu yöntem daha çok iki uygulama arasında
kolaylıkla değişmeyen özellikleri ölçen testler için uygundur.
Mesela, genel zihin yetenekleri, kişilik testleri, ilgi
envanterleri, tutum ölçekleri vb. testlerin güvenirlikleri bu
yöntemle belirlenir.
Yukarıdaki parçada bahsedilen güvenirlik belirleme
yöntemi hangisidir?
A) Eşdeğer formlar
B) Faktör analizi
C) Test – tekrar test
D) KR- 21
E) Cronbach Alfa
44. ---- güvenirlik belirleme yönteminde iki uygulama
arasında geçen zamanın uzun olması halinde iki
uygulamadan elde edilen puanlar arasındaki farkın,
testin güvenirliğinin düşük olmasından mı yoksa
ölçülen özellik bakımından öğrencilerin gerçekten
değişmiş olmalarından mı ileri geldiğini kestirmek
olanak dışıdır.
Yukarıda boş bırakılan yere aşağıdakilerden hangisi
gelmelidir?
A) KR 20
B) Paralel testler
C) Test –tekrar test
D) Testi yarılama
E) KR 21
45. Aşağıda verilen ifadelerden hangisi bilgi yönünden
hatalıdır?
A) Bir testin istikrarlık katsayısı belirlenmek
isteniyorsa aynı test farklı zamanlarda aynı gruba
iki kere uygulanmalı, ve aralarındaki korelasyona
bakılmalıdır.
B) Yapı geçerliği belirlenecekse , ölçülmek istenen
yapı hakkında işe vuruk ve kuramsal bir tanımlama
yapılmalıdır.
C) İzleme testlerinin kapsam bakımından geçerli
olması için, ünitede belirtilen kritik davranışların
tamamından oluşan test oluşturulmalıdır.
D) Ölçme aracının belli ölçüt ya da ölçütler
takımlarına göre ölçülen özellik açısından bireyleri
doğru sınıflayıp sınıflamadığı ya da sıralayıp
sıralamadığı araştırılmalıdır diyen bir ölçme
uzmanı kapsam geçerliğine özellikle vurgu
yapmıştır.
E) Başarı testlerini piyasaya kabul ettirmek
istiyorsanız
görünüş
geçerliğini
artırmak
zorundasınız ancak psikolojik testlerin görünüş
geçerliği artırılırsa öğrenciler dürüst yanıt
vermeyecekleri için testin güvenirliği düşer.
46. Bir öğretmenin hazırladığı Doğru Yanlış
(D- Y)
testinden rastgele seçilmiş 3 soru ve bu soruların çözümleri
şu şekildedir:
I.
II.
III.
Fransız İhtilâli 1798 yılında olmuştur ( D – Y )
Çözüm: Sorunun yanıtı Y olmalı çünkü Fransız
İhtilâli 1789 yılında olmuştur.
Fransız İhtilâli’nde halkın isteklerinin etkili
olmadığını söylemek yanlıştır
(D- Y )
Çözüm : Sorunu yanıtı D olmalı çünkü Fransız
İhtilâli’nde halkın istekleri etkili olmuştur.
Fransız İhtilâlı dünya tarihi açısından olumlu bir
gelişmedir.
(D–Y)
Çözüm: Sorunun yanıtı D olmalı çünkü Fransız
İhtilâli eşitlik - özgürlük kavramlarını öne
çıkarmıştır.
Buna göre test ve sorular için
I.
II.
III.
Birinci soruda Fransız İhtilâli’nin tarihi sadece
rakamların yerleri değiştirilerek verilmiş bu
bilgiden ziyade dikkati ve algılamayı ölçen bir soru
olmuştur.
İkinci soruda olumsuz ifadeler kökte kullanılmış ve
sorunun açık anlaşılır olmasının önüne geçmiştir
Üçüncü soruda Fransız İhtilâli’nin dünya tarihi
açısından olumlu olduğu söylenmiş ancak bu
ülkeden ülkeye değişebilir, örneğin Osmanlı
İmparatorluğu için kötü olmuştur; yani soru yine
açık ve anlaşılır değil; hatta konu hakkında çok
detaylı bilgiye sahip öğrencileri hata yapmaya
sürükler niteliktedir.
Yukarıda verilen bilgilerden hareketle aşağıdaki
yargılardan hangisine ulaşabiliriz?
A) Testin güvenirliği düşüktür, geçerliği hakkında
konuşamayız
B) Testin hem güvenirliği hem de geçerliği düşüktür
C) Testin güvenirliği yüksek , kullanışlılığı düşüktür
D) Testin güvenirliği ve geçerliği yüksek kullanışlığı
düşüktür
E) Testin güvenirliği düşük geçerliği yüksektir.
47. Hazırladığı testin güvenirliğini artırmak isteyen bir
öğretmenin aşağıdakilerden hangisini yapması
amacına en çok hizmet eder?
A) İşlediği konudaki önemli kavram ilke ve
genellemelerden soru hazırlamak
B) Soruların açık anlaşılır olmasına özen göstermek
C) Sınav sorularını öğrencilerine önceden vererek
çalışmalarını istemek
D) Sınav
öncesinde
öğrencilerin
sınıf
içi
performanslarını belirlemek
E) Öğrencilerine uyguladığı testin benzerini bir daha
hazırlayarak uygulamak
48. Eğitimde ve psikolojide kullanılan testlerin çoğu
bireylerin davranışlarının önceden kestirilmesi amacıyla
kullanılmaktadır.
Yukarıdaki metinde aşağıdaki geçerlik türlerinden
özellikle hangisine vurgu yapılmıştır? *
A) Kapsam
B) Görünüş
C) Yordama
D) Yapı
E) Karar
49. Testin kullanışlığı için aşağıdaki değerlendirmelerden hangisi yanlıştır?
A) Bir okulunun kaldırabileceği mali külfetle en
geçerli sınavı yapmak, maliyet – geçerlik ilişkisi
açısından en doğru yoldur.
B) Bir testin hazırlanması süresi uygulanacak testin
niteliğine göre değişir; örneğin kaliteli bir çoktan
seçmeli sınav için 2 gün kısa bir süredir.
C) Hazırlanan bir ölçme aracının uygulama süresi de
mümkün olduğunca kısa olmalıdır; bu yüzden
yazılı sınavlar sözlü sınavlardan daha kullanışlı
kabul edilebilir.
D) Ölçme aracında öğrenciler için hazırlanmış
cevaplama yönergesinin kolay anlaşılır olması
öğrencilerin yanıtlarını kolay kaydetmelerini
sağlar.
E) Uygulama ve puanlama süresi ve kolaylığı
açısından bakıldığında çoktan seçmeli testler
boşluk doldurmalı testlerden daha kullanışsızdır.
50. Bir okulda matematik öğretmeni olan Akın
öğretmen, öğrencilerine uyguladığı test sonuçlarının
aritmetik ortalamasını 70 , testin standart sapmasını
15, güvenirlik katsayısını ise 0,84 olarak
hesaplamıştır. Dersin geçme notu olarak aritmetik
ortalamayı alan Akın öğretmenin %68 güven
aralığında en az kaç alanı da geçirmesi gerekir?
A) 58
B) 60
C) 62
D) 64
E) 68
51. Test – tekrar test yöntemi ile güvenirliği hesaplanmış
bir kişilik testinin güvenirlik katsayısı 0,90 çıkmıştır.
Buna göre aşağıdaki grafiklerden hangisi bu
katsayıyı en iyi yansıtır?
A)
52. Ahmet Bey evindeki terazi ile kütlesini ölçtüğü cismin
kütlesinin düşük çıktığını düşününce evindeki terazi ile
bir daha ölçüm yapmışi bu sefer de olması gerekenden
fazla çıktmıştır. Belki terazide arıza vardır diye birkaç
yerini kurcalayan Ahmet Bey tekrar ölçüm yaptığında
beklediği kütleyi bulmuştur. Ancak 3 ölçümde de farklı
sonuçlar çıkması Ahmet Bey’i endişelendirmiş ve
karşıdaki bakkalın terazisinde elindeki cismi ölçmüş ve
çıkan değer kendi beklediği değer ile örtüşünce
bakkalın terazisine göre işlem yapmıştır.
Yukarıdaki örnek durumda Ahmet Bey’in terazisini
bakkalın terazisi ile karşılaştırması bakkalın
terazisinin daha çok hangi özelliğinin yüksek
olduğunu düşünmesinden kaynaklıdır?
A) Geçerlik
B) Kullanışlık
C) Duyarlık
D) Güvenirlik
E) İçtutarlılık
B)
C)
53. Bir psiko-metrist hazırlayıp uyguladığı bir şiddet
ölçeğinin merkezi değişkenlik ölçülerini hesapladıktan
sonra Cronbach’ın Alfa katsayısını belirlemiştir.
Ölçme uzmanı elde ettiği bu verileri kullanarak
aşağıdakilerden hangisini hesaplayabilir?
A) Test tekrar test güvenirliği
B) Standart hata
C) Testin kapsam geçerliği
D) Kullanışlılık
E) Sabit hata miktarı
D)
E)
54. Beş öğretmenin aynı sınava giren 5 öğrenciye
verdikleri puanlara baktığımızda hangi öğretmenin
genel izlenime göre puan verdiğini söyleyebiliriz?
A) 51 – 87 – 32 – 91 – 66
B) 50,5 – 50,4 – 87 – 81 – 42
C) 60 – 40 – 50 – 80 – 95
D) 32 – 33 – 34 – 43 – 71
E) 10 – 14 – 20 – 21 – 45
57. Bir matematik öğretmeninin hazırladığı soru aşağıdaki
gibidir.
55.
Madde No:
1.
2.
3.
4.
5.
Grup
Öğrenci
Sayısı
Seçenekler
Üst
25
A
5
B
3
C
12
D
2
E
3
Alt
25
2
13
5
1
4
Üst
25
7
4
8
5
1
Alt
25
6
10
4
3
2
Üst
25
3
7
10
1
4
Alt
25
4
8
10
1
2
Üst
25
8
10
2
5
-
Alt
25
3
9
12
-
1
Üst
25
1
6
10
3
5
Alt
25
5
9
10
1
-
Geliştirilmiş bir zeka testinin üst düzeyde zekaya sahip
bireyler ile ( üst ) alt düzey zekaya sahip ( alt) bireylere
uygulanmıştır. Testte bulunan her bir maddeye verilen
yanıtlar yukarıdaki gibidir. Altı çizili seçenekler cevap
anahtarıdır.
Soruları doğru yanıtlayan öğrencilerin niteliğini ve
sayısını
dikkate
aldığımızda
testin
ölçme
sonuçlarının hangi niteliği düşüktür? *
A) Yapı geçerliği .
B) Kullanışlığı
C) Kapsam geçerliği
D) Duyarlığı
E) Puanlama objektifliği
Bir araç A şehrinden , B şehrine saatte 130 km
hızla gitmektedir. Yolu 3 saatte aldığına göre iki
şehir arasındaki uzaklığın yarısı kaçtır?
A)
B)
C)
D)
E)
390
195 *
190
300
780
Sorunun yanıtı B *
Öğrencilerin birçoğu bu soruya A yanıtını vermiştir,
çünkü soru kökündeki “iki şehir arasındaki uzaklığın
yarısı” ifadesine dikkat etmemişlerdir.
Buna göre öğretmenin sorduğu bu soru için
aşağıdakilerden hangisi söylenemez?
A) Sorunun zorlaşmasına neden olmuştur.
B) Sorunun geçerliği düşmüştür.
C) Sorunun ayırt ediciliği düşmüştür.
D) Sorunun şansla çözülebilirliği artmıştır
E) Sorunun güvenirliği düşmüştür.
56. Aşağıdaki tabloda farklı gruplardaki bireylerin
girdikleri matematik becerilerini yoklayan aynı
sınavlardaki
aritmetik
ortalama
değerleri
verilmiştir.
Gruplar
A Etnik Kökeninden Gelenler
B Etnik Kökeninden Gelenler
Alt Sosyo Ekonomik Düzeyden Gelenler
Üst Sosyo Ekonomik Düzeyden Gelenler
Anadilinde Sınava Girenler
Anadili Dışında Bir Dilde Sınava Girenler
Test Aritmetik
Ortaları
43
67
45
78
87
65
Buna göre farklı gruplardaki birylerin aritmetik
ortalamalarının farklı çıkması testin hangi yönünün
güçlü olduğunu ortaya koyar? *
A) Geçerliği
B) Test yanlılığı
C) Puanlama güvenirliği
D) Sabit hata miktarı
E) Kapsam geçerliği
58. Aşağıda güvenirliği katsayıları ve standart
sapmaları verilen testlerin hagisinde öğrenciler
arasındaki farklılaşmada gerçek puanlar daha
etkildir?
Güvenirlik
Sapma
A) 0,13
21
B) 0,91
3
C) 0,99
17
D) 0,30
40
E) 0,76
2
59. Şiddete dönük tutumun ölçüldüğü bir test şiddet
eğiliminin düşük olduğu bilinen kız öğrenciler ile şiddet
eğilimi yüksek olduğu bilinen erkek öğrencilere
uygulanmış ve farklı özellikte yer alan öğrencilerin
şiddet tutum ölçeğinden aldığı puanların korelasyonu
0,89 çıkmıştır.
Bu durumda aşağıdakilerden hangisi söylenebilir? *
A) Testin güvenirliği yüksektir.
B) Testin kapsam geçerliği yüksektir
C) Testin görünüş geçerliği yüksektir.
D) Testin yapı geçerliği yüksektir.
E) Testin yapı geçerliği düşüktür.
62. Bir öğretmen hazırladığı yazılı yoklamada kısa yanıt
gerektiren sorular yerine uzun yanıt gerektiren sorulara
ağırlık vermiştir.
Bu durum
I.
Puanlama güvenirliği
II.
Puanlama kullanışlılığı
III.
Kapsam geçerliği
hangilerini olumsuz yönde etkiler?
A) Yalnız I.
B) Yalnız II.
C) I. ve II.
D) II. ve III.
E) I. II. ve III.
60.
Testin kullanılacağı grubun tümünü temsil
edici uygun bir örneklem belirleme
II.
Testin uygulanması ve bireylere ait puanların
kaydedilmesi
III.
Her bir bireyin ölçüt üzerindeki performans
düzeylerini belirleme
IV.
Test puanları ile ölçüt puanları arasındaki
ilişkinin gücünü belirleme
Yukarıda basamakları verilen geçerlik türü
aşağıdakilerden hangisidir?
A) Yapı
B) Kapsam
C) Yordama
D) Sonuçsal
E) Görünüş
I.
61. Geliştirdiği 100 soruluk bir testin tutarlılık anlamında
güvenirliği hesaplamak isteyen bir öğretmen bir grup
öğrenciye bu testi ve hazırladığı testin eş değerini bir
saat ara ile uygulamıştır. Elde ettiği güvenirlik katsayısı
oldukça düşük çıkmıştır. İlk uygulamayı yaptığı grupla
eş değer başka bir gruba aynı yöntemle ancak bu sefer
bir gün ara ile uyguladığında ise güvenirlik katsayısının
daha yüksek olduğunu görmüştür.
İlk uygulamada güvenirlik katsayısının düşük
çıkması en çok aşağıdakilerden hangisi ile ilişkilendirilebilir?
A) Grubun düzeyinin düşük olması
B) Öğrencilerin yorgun düşmesi
C) Öğrencilerin hedef davranışları kazanmaması
D) Kapsamın yüksek olması
E) Soru sayısının az olması
63. Bir öğretmenin çoktan seçmeli bir testi hazırlama ve
uygulama aşamalarında
I.
Sınama esnasında, dönüt, düzeltme, pekiştireç
ve ipucu kullanması
II.
Öğrencilerin kavram yanılgılarını ortaya
çıkarabilecek seçenekleri bir maddeye koyma
III.
Sınama durumunda öğrencilerine tüm soruları
yanıtlayabileceği süreden daha fazla süre
vermek
yukarıdakilerden
hangilerini
yapması
testin
geçerliğini zedeler?
A) Yalnız I.
B) Yalnız II.
C) I. ve II.
D) II. ve III.
E) I. ve III.
64. Çoktan seçmeli testlere karışan hatalardan biri de şans
hatasıdır. Öğrencinin sınırlı sayıdaki seçenek içinden
yanıtı bilmediği halde soruyu doğru yanıtlamasıdır. Bu
doğru yanıtlama kuru atıma dayanır. Kuru atıma dayalı
yanıtlanan sorularda tüm seçenekler öğrenciye aynı
çekicilikte gelir. Bu tip hataların önüne geçmek için
düzeltme formülü kullanılır. Ancak öğrenciler bazen
kaydırma denilen hatayı da yapmaktadır. Örneğin 20. ve
40. maddeler arasında arasında yapılan bir kaydırma
öğrencinin yanlış sayısını artıracak ve alması
gerekenden daha düşük puan alacaktır.
Bu durum aşağıdakilerden hangisi ile en iyi
açıklanır?
A) Sadece şansla yapılan soruları düzeltmek için
geliştirilen düzletme formülü gereğinden fazla
çalışacaktır.
B) Sorularla ölçülen davranışa sahip olmayan öğrenci
testin ortalamasını dolayısı ile güvenirliğini
düşürecektir.
C) Ölçme işlemine karışan tesadüfi hataların önüne
geçmek için düzeltme formülünü her durumda
kullanmak gerekir.
D) Öğrencinin bildiği halde yanıtlayamadığı sorular
testen çıkarıldığı için testin kapsama geçerliği
düşecektir.
E) Maddeler arası tutarlık düştüğü için testin tek
boyutlu yapıyı ölçme özelliği zedelenecektir.
65. Kolay değişebilen bir özelliği ölçen ölçme aracının
güvenirliği aşağıdaki yöntemlerden hangisi ile
belirlenmesi yanlış yorumlara yol açabilir?
A) KR-20
B) KR-21
C) Test – tekrar test
D) Paralel testler
E) Eş değer yarılar
YANIT ANAHTARI
1
2
3
4
5
6
7
8
9
10
11
12
13
C
B
D
D
E
A
B
C
B
E
A
C
C
14
15
16
17
18
19
20
21
22
23
24
25
26
D
B
C
E
C
A
B
B
D
C
D
C
B
27
28
29
30
31
32
33
34
35
36
37
38
39
C
C
D
E
B
B
D
C
B
B
E
B
B
40
41
42
43
44
45
46
47
48
49
50
51
52
E
C
E
C
C
D
B
B
C
E
D
B
A
53
54
55
56
57
58
59
60
61
62
63
64
65
B
C
A
B
D
C
E
C
B
E
E
A
C