UYK_Cilt 3_02

Uluslararas› Yüksekö¤retim Kongresi: Yeni Yönelifller ve Sorunlar (UYK-2011)
27-29 May›s 2011, ‹stanbul; 3. Cilt / Bölüm XII / Sayfa 1715-1723
Yüksekö¤retime Geçifl ve Lisans Yerlefltirme
S›navlar› ‹çin Puanlama Önerileri*
Prof. Dr. Ali Baykal
Bo¤aziçi Üniversitesi E¤itim Fakültesi, 34342 ‹stanbul, Türkiye
Özet
Bu çal›flmada seçme s›navlar›nda uygulanan ham puan, düzeltilmifl puan, standart puan, ortaö¤retim baflar›
puan› (OBP), a¤›rl›kl› ortaö¤retim puan› (AOBP) konusunda gözlenen yetersizlikler irdelenmifltir. Seçme s›navlar›n›n ortaö¤retim üzerindeki olumsuz etkilerine karfl› ortaö¤retime güç kazand›rmak için kullan›lan AOBP içindeki “A” parametresi seçme s›navlar›nda okulun gösterdi¤i baflar›ya ba¤›ml›d›r. AOBP’nin ayn› okulun ö¤rencileri aras›nda ve farkl› okullar aras›nda yolaçt›¤› adaletsiz ve bilimselli¤e ayk›r› sonuçlar› gösterilmifltir. Dört yanl›fl›n
bir do¤ruyu götürmesi ve AOBP uygulamas›n›n bir an önce yürürlükten kald›r›lmas›n›n zorunlulu¤u vurgulanm›flt›r. Bu yetersizlikleri gidermenin d›fl›nda daha geçerli ve güvenilir puanlar elde etmek için dört de¤iflik yöntem ortaya konmufltur. ‹ki de¤erli (1/0) puanlama ile elde edilen ham puanlardan türetildikten sonra ham puan yerine
konulan madde standart puanlar›, sorunun zorluk derecesi, sorunun ay›rt etme gücü ve belirsizlik (entropi) göstergeleri daha önce uygulanm›fl bir genel yetenek testinde s›nanm›flt›r. Önerilen türev puanlar›n de¤erlendirmesinde Spearman-Brown güvenilirlik göstergesinde sa¤lanan art›fl ölçüt al›nm›flt›r. Güvenilirli¤e en yüksek katk›y›
entropi göstergesinin yapt›¤› do¤rulanm›flt›r.
Anahtar kelimeler: A¤›rl›kl› ortaö¤retim baflar› puan›, entropi, madde istatistikleri, test puanlama.
Girifl
Zaman zaman ad› de¤ifltirilen yüksekö¤retime ö¤renci seçme ve yerlefltirme s›nav›n›n milyonlarca bireyin ve
tüm toplumun yaflam›nda çok çetrefil, çok derin ve çok kapsaml› belirleyici etkileri vard›r (OECD, 2005). Bu yüzden e¤itim sistemimizdeki her olumsuzlu¤un nedeni, her ertelemenin bahanesi, her giriflimin engeli olarak seçme
s›navlar› öne sürülür. Ö¤renci sanata, edebiyata, spora uzak m›? S›nav yüzündendir. Üniversite e¤itiminde, lise
e¤itiminde nitelik gittikçe düflüyor mu? Nedeni seçme s›nav›d›r. Ortaya koydu¤u baflar›s›zl›klardan, yads›namaz
biçimde sergiledi¤i f›rsat eflitsizli¤inden, varl›¤›n› kan›tlad›¤› toplumsal ayr›mlardan bile seçme s›nav› sorumludur.
Sanki seçme s›nav› olmasa herkes ifl bulacak, seçme s›navlar› kalkarsa fabrikalarda üretim artacak, kitap sat›fllar› tavan yapacakt›r.
Bir yandan her günah›n mayas› olan seçme s›navlar› öte yandan da her derdin devas›d›r. Ortaö¤retimi düzeltmek
mi gerekiyor? Seçme s›nav› iki aflamal› yap›l›r. OBP’nin a¤›rl›¤› artt›r›l›r. Fen liselerinden kaç›fl m› var? AOBP eklenir. E¤itimde anahtar nerede kaybedilmifl olursa olsun ›fl›k hep seçme s›navlar›nda aranmaktad›r (T.C. YÖK, 2005).
[*] Bu çal›flma Bo¤aziçi Üniversitesi Bilimsel Araflt›rma Projeleri Koordinatörlü¤ü taraf›ndan desteklenen 6038 kodlu “Ölçüm Verilerinin Entropi Göstergeleri ile
‹rdelenmesi” bafll›kl› proje kapsam›nda yap›lm›flt›r.
1715
Uluslararas› Yüksekö¤retim Kongresi: Yeni Yönelifller ve Sorunlar (UYK-2011), 27-29 May›s 2011, ‹stanbul
Mezunlar›n›n istihdam› hariç e¤itim sistemimizdeki pek çok sorunu çok aflamal› bir puanlama sistemi ile çözmeye kalk›fl›yoruz. Oysa bu puanlar›n hepsi hakk›nda baz› sorunlar var. Bunlar aras›ndan bafll›ca örnekler k›saca
tart›fl›lacak ve baz› yeni puanlama önerileri sunulacakt›r.
S›navlarda Kullan›lan Puanlar
Ham Puanlar
Kat›l›mc›lara cevap seçenekleri verilen sorulardan oluflan s›navlarda anahtar cevapla tutarl› cevaplar›n her biri
için kat›l›mc› bir tam puan al›r. Bofl ve yanl›fl cevaplara ise “s›f›r” puan verilir. Kat›l›mc›n›n toplam baflar›s› bütün
sorulardan ald›¤› puanlar›n toplam›d›r. ‹ki karfl›t de¤erli (dichotomous) bu puanlama bütün maddelerin eflit önemde ve de¤erde oldu¤u varsay›m›na dayal›d›r. Sorulara öznel a¤›rl›klar vererek puanlama yöntemi ise baflka hiçbir
sak›ncas› olmasa bile öznelli¤i dolay›s›yla geçerli bir yaklafl›m de¤ildir (Thorndike, 1988).
Düzeltilmifl Puanlar
fians de¤iflkeninin tan›m› gere¤i tümüyle rastlant›sal olmas› ve hiçbir baflka etkenle iliflkili olmamas› beklenir.
fians ölçümü güvenilir olmad›¤› oranda geçerli olan tek yaflamsal örnektir. fians, rastgele (gelifligüzel) de¤iflti¤i için
flans baflar›s› her tür ölçmede rastgele hatan›n en somut örne¤idir. Örne¤in, sadece ve sadece flans ölçen bir zar ya
da rulet gibi bir araç flanstan baflka bir amaç için geçerli ve güvenilir bir ölçme arac› olamaz. Özet olarak, çoktan
seçmeli s›navlarda ölçülen baflar›n›n içinde bir flans pay› olmas› olas›l›¤› yüksektir. S›navlarda “flans baflar›s›” hem
s›nav güvenilirli¤ini hem de geçerlili¤ini etkileyen bir hata kayna¤›d›r. fianstan baflka boyutlar›n ölçülmek istendi¤i durumlarda ise flans, rastlant›n›n, gelifligüzel de¤iflimin ya da oluflumun gerçek bir örne¤idir. Ölçmede rastlant›sall›k da ölçme güvenilirli¤inin karfl›t›d›r. K›sacas›, ölçme verilerine rastlant›sall›ktan (tesadüften, flanstan) uzak
olduklar› oranda güven duyulur (Zimmerman & Williams, 2003).
fians e¤itimde ölçülmek istenen bir de¤iflken olamayaca¤› göre “flans baflar›s›n›” düzeltme çabalar›n›n hakl› bir
gerekçesi vard›r. fiansl› insan m› daha çok yanl›fl yapar yoksa flanss›z insan m›? Baflka bir soruflla, flans do¤ru yan›t
say›s›n›n m› yoksa yanl›fl yan›t say›s›n›n m› artmas›na yol açar? Uygulanan flans baflar›s›n› düzeltme yaklafl›m› yanl›fllar›n flanss›zl›kla yap›ld›¤›n› kabul etmektedir. Her yanl›fl cevap için do¤ru cevap say›s›ndan 0,25 puan kesilir. Bu
yaklafl›m yanl›fl cevaplar›n tutturulamayan tahminler yüzünden oldu¤u ve yanl›fl say›s›n›n seçenek say›s› ile orant›l› bir flans baflar›s› oldu¤u varsay›m›na dayan›yor. Aday›n cevaplar›n›n yar›s› bofl, yar›s› yanl›fl olsa ve hiç do¤ru
cevab› olmasa bile adaya kumarbaz muamelesi yap›l›yor. “Tutturdu¤un do¤ru cevaplar› geri ver” diye tutturuluyor. K›sacas› yanl›fl bilgi, yeteneksizlik ya da flanss›zl›k yoktur, ama flans mutlaka vard›r deniyor. Do¤ru cevap say›s›ndan yanl›fl cevap say›s›n›n dörtte biri ç›kar›larak bulunan say› aday›n ilgili testteki baflar›s›n› gösteren ham puan olarak an›l›yor. ‹fllem gördü¤ü halde nas›l ham oluyor? Çoktan seçmeli testlerde flans baflar›s›n›n mutlak bir s›n›r› yoktur. Herhangi bir aday›n sorular›n hepsini tümüyle flansla cevaplayarak tam puan almas› da olanakl›d›r.
Hatta bütün adaylar›n flansla tam puan olmalar› da olas›d›r. Düzeltme iflleminin temel varsay›m›, “tüm yanl›fllar›n
rastgele tahminler yüzünden” oldu¤udur. ‹kinci varsay›m da rastgele tahminlerin seçenek say›s› ile orant›l› bir bölümünün de tutturulmufl olmas›d›r (Turgut, 1971: 11-12). Kamu oyuna flans sayesinde baflar›n›n artt›¤› inanc› afl›lanarak düzeltme formülü y›llard›r uygulanmaktad›r. Bu da yanl›fl bilgiyi yok sayan, baflar›s›zl›¤a flanss›zl›k gözüyle bakan, sonra da kat›l›mc›ya flanss›zl›¤› nedeniyle ceza kesen bir yöntemdir. Kat›l›mc› hiç do¤ru yan›t› olmazsa
eksi puan alacakt›r. Eksi bilgi ya da yetene¤in anlams›zl›¤› ve tan›ms›zl›¤› bir yana b›rak›lsa bile formül kendi varsay›m› ile de çeliflmifl olmaktad›r. Çünkü kat›l›mc› tahminde bulundu¤u (yanl›fl yan›tlad›¤›) sorularla oranl› say›da
soruyu tutturmufl olacakt›.
Düzeltme formülü ayr›ca flans›n her ö¤renci için, her soruda eflit düzeyde oldu¤unu da do¤ru saymaktad›r. Oysa madde analizlerinde yan›tlar›n seçeneklere da¤›l›m› inceledi¤inde bunun hiç de böyle olmad›¤› görülmektedir
ve bundan sonra da görülece¤i de kesindir. fians baflar›s›n› düzeltme formülünün en büyük sak›ncas› madde analizlerinde –özellikle ortalaman›n üzerinde puan alan ö¤rencilerde çok say›da bofl yan›t gözlenmesidir. Cezaland›rma formülünün uygulamadan kald›r›lmas› ö¤rencilerin yayg›n yan›lg›lar› hakk›nda güncel ve kapsaml› veriler elde edilebilecektir (Mandinach, 2006). Yayg›n olarak uygulanan “yanl›fllar›n do¤ruyu götürmesi” yönteminin ne biliflsel ne de duyuflsal gerekçeleri kabul edilebilir. Bilgisizleri avutmaktan, bilgiçleri susturmaktan baflka yarar› olmayan bu yöntemden vaz geçilmelidir.
1716
A. Baykal
Standart Puanlar
Her test için ayr› ayr› olmak üzere son s›n›fta okumakta olan adaylar›n ilgili testten ald›klar› ham puanlar kullan›larak o testin ortalama ve standart sapmas› bulunur. Daha sonra, bu ortalama ve standart sapma kullan›larak tüm
adaylar için ortalamas› 50, standart sapmas› 10 olan standart puanlar hesaplan›r. Puan deyip geçti¤imiz fley metre,
kilo, lira, saat v.b. gibi eflde¤er büyüklükte önceden tan›mlanm›fl bir birim olmad›¤› için standartlaflt›rma zorunludur. Matematik ham puan› ile Türkçe ham puanlar›n›n eflde¤er birimler olmad›¤› da bellidir. Öyleyse Tarih, Co¤rafya ve Felsefe nas›l olup da eflde¤er say›larak “Sosyal” ham puan› oluflturuyor? Ayn› biçimde Fizik, Kimya ve Biyoloji sorular›n›n da türdefl say›larak “Fen” ham puan›na dönüfltürülmesi de izomorfizm hatas›d›r. Test kuramlar› her test sorusunu bafll› bafl›na bir “ölçek” sayarlar. Geleneksel geçerlilik ve güvenilirlik formüllerinin en geliflmiflleri sorular›n (maddelerin) her birinin ortalama ve standart sapmalar›n› hesaba katar. Otuz y›l önce bilgisayarlar bu kadar yüksek h›zl› ve genifl s›¤al› de¤illerdi. Bu yüzden o zamanlar test ölçe¤inde standartlaflt›rmak uygulama kolayl›¤› bak›m›ndan zorunluydu. Bu ça¤da her soruyu ba¤›ms›z bir ölçek olarak saymakta hiç bir sak›nca yoktur (Rust & Golombok, 2009).
A¤›rl›kl› Puanlar
YGS’de Türkçe, Sosyal Bilimler, Temel Matematik ve Fen Bilimleri testlerinden her biri için bir standart puan hesaplan›r ve hesaplanan standart puanlar ile Tablo 1’deki a¤›rl›klar kullan›larak A¤›rl›kl› YGS Puanlar›
(AYGS) hesaplan›r. AYGS puanlar›n›n her biri kendi içinde en küçü¤ü 100 en büyü¤ü 500 olan puanlara dönüfltürülerek YGS-1, YGS-2, YGS-3, YGS-4, YGS-5 ve YGS-6 puanlar› oluflur. AYGS puanlar› YGS puanlar›na dönüfltürülürken, ilgili testlerin her birinden 4 ham puan alan adaylar›n 140 YGS puan›; 8 ham puan alan adaylar›n
da 180 YGS puan› almalar› sa¤lan›r. http://www.yok.gov.tr/content/view/798 (Eriflim tarihi: 11.04.2011)
Milli E¤itim Bakanl›¤›n›n umursamad›¤› lise müfredat›n›n sorumlulu¤unu da ÖSYM üstleniyor (T.C. YÖK,
2005). Dersanelerde olsa bile liselerde YGS ve LYS diye iki ayr› müfredat yoktur. Zaten YGS ya da LYS lise bitirme s›nav› de¤ildir. Ö¤renciler liseden kurul kararlar›yla de¤il de hak edilmifl tam baflar›yla mezun olsalar bile bu
s›navlar olacakt›r. YGS ve LYS ö¤rencilerin Türkçe, Matematik, Fen Bilimleri, Sosyal Bilimler ve Yabanc› Dil kazan›mlar›n› yokluyor. Bu testlerden al›nan standart puanlardan –sezgisel katsay›larla- a¤›rl›kl› puanlar hesaplanacak. Bu arada afl›lmas› gereken bir puan paraj› var. Sinemaya, pikni¤e hatta okula gitmeyip test üstüne test çözenler bu puan baraj›n› kolayl›kla aflabilir.
Ortaö¤retim Baflar› Puanlar› (OBP)
Yüksekö¤retime girifle iliflkin usul ve esaslar 2547 say›l› Yüksekö¤retim Kanunu'nun 45. maddesi ile düzenlenmifltir. Bu kanun maddesine göre; bir s›nav yap›lmas›, ortaö¤retimdeki baflar›n›n dikkate al›nmas›, lise birincilerine ayr› bir kontenjan verilmesi, ortaö¤retimdeki mesleki alan›n›n devam› olan yüksekö¤retim programlar›n› tercih eden adaylara ek puan verilmesi, yasal zorunluluktur. Bu yüzden OBP afla¤›daki formülle her okulda her ö¤renci için ayr› ayr› hesaplanmaktad›r.
OBP = 500 – (M – x) / (M - m) * 400
c) e¤er OBP > 500 ise OBP = 500 yap›l›r
d) e¤er OBP < 100 ise OBP = 100 yap›l›r
Bu formülde M aday›n okudu¤u okuldaki en yüksek diploma notu. “m” okuldaki en küçük diploma notu, “x”
de diploma notu oluyor. OBP’nin baz› özellikleri afla¤›da s›ralanm›flt›r:
1. OBP’nin yerlefltirmede kullan›lmas› yasal bir zorunluluktur. Ama yukar›daki biçimde hesaplanmas› ne yasal
bir zorunluluk ne de bilimsel bir gerekliliktir.
2. Bir lise bütün mezunlar›n› ayn› ortalama ile mezun edemez. Bir zamanlar çok moda olan ve pek çok e¤itim
bilimcinin akademik derecesini al›rken alk›fllad›¤› ama flimdi umursamad›¤› “tam ö¤renme” amac›n› inkâr
eder. Ya da bir lise “benim mezunlar›m ancak geçer not alacak kadar baflar›l› olabildiler” de diyemez. ‹lle de
ö¤rencilerinin diploma notlar› aras›nda farkl›laflt›rma yapmak zorundad›r. Bu yüzden baz› okul yöneticilerinin bütün ö¤rencilerini 100, sadece bir tanesini de 99 diploma notu ile mezun ederek mezunlar›n› kay›rd›klar› söylentisi yayg›nd›r. ÖSYM bu söylentiye inan›yor, belki de biliyor. Bu yüzden 1,700,000 ö¤rencinin
OBP’sini 7,500 lise için ayr› ayr› hesaplamak için her liseden ÖSS’ye giren adaylar›n diploma notlar› üzerinde 16-20 de¤iflkenli bir ifllem uyguluyor. Bu de¤iflkenler aras›nda büyük “M”ler var, küçük “m”ler var, ad›
1717
Uluslararas› Yüksekö¤retim Kongresi: Yeni Yönelifller ve Sorunlar (UYK-2011), 27-29 May›s 2011, ‹stanbul
konmayan deltalar var, “N”ler var, “n”ler yok. Bunlardan “x” ile simgelenenlerin tan›mlar› flöyle: Diploma
notlar›n›n ortalamas›, En küçük diploma notu, En büyük diploma notu, Varsa, en büyük diploma notunun
alt›nda en az 4 aday›n sahip oldu¤u ilk diploma notu. Yoksa baflka fleyler. Varsa, en küçük diploma notunun
alt›nda en az 8 aday›n sahip oldu¤u ilk diploma notu… Yoksa bambaflka ifllemler. Bazen 3 standart sapma
ileri gidiliyor. Bazen 4 standart sapma geri geliniyor. ‹fllemlerin her birinin hesab› bir baflkas›na koflullu...
5’lik sistemde not veriliyorsa 2’nin alt›ndaki notlar önce 2 say›l›yor ve ortalama ve standart sapmalar hesaplan›yor. 10’luk sistemde ise 5’in alt›ndaki notlar önce 5 say›l›p benzer ifllemler yap›l›yor. Sonra beflli not sisteminde 2’nin alt›nda olup 2 yap›lan diploma notlar› (onlu not sisteminde de 5’in alt›nda olup 5 yap›lan diploma notlar›) eski de¤erlerine döndürülüyor. 7,500 lise için bu hesaplar› kim, ne zaman yap›yor? Yap›lanlar› kim denetliyor? Belli de¤il!
3. Ne yap›l›rsa yap›ls›n okullar aras›nda, s›n›flar aras›nda, ö¤retmenler aras›nda oranl› ölçek düzeyinde ölçüm
birli¤i sa¤lamak olanaks›zd›r. Ayn› not ortalamas›na sahip olan okullar aras›ndaki çok somut nitelik farklar›
oldu¤unu ve bundan sonra da olaca¤›n› biliyoruz. Bu yüzden bu karmafl›k, bulan›k, gizemli ve zahmetli ifllemlere gerek yok. Okullardan al›nan notlar yerine mezunlar›n s›ralanm›fl baflar› dizimleri istenebilir. Bu dizimlere Q-sort tekni¤i uygulanan›rsa hem okullar hem de ÖSYM rahat eder (Guilford, 1954; Thorndike, 1988).
A¤›rl›kl› Ortaö¤retim Baflar› Puan› (AOBP)
B1. Ortaö¤retim Baflar› Puanlar›, ortaö¤retim kurumlar›n›n ilgili y›ldaki Yüksekö¤retime
Geçifl S›nav› (YGS) puan ortalamalar›na göre a¤›rl›kland›r›lacak ve her aday için Sözel, Say›sal ve Eflit
A¤›rl›kl› olmak üzere 3 A¤›rl›kl› Ortaö¤retim Baflar› Puan› (AOBP-SÖZ; AOBP-SAY ve AOBP-EA) hesaplanacakt›r.
B2. Yüksekö¤retim programlar›na yerlefltirmede kullan›lan puanlar›n hesaplanmas›nda,
A¤›rl›kl› Ortaö¤retim Baflar› Puanlar› kullan›lacakt›r.
B3. A¤›rl›kl› Ortaö¤retim Baflar› Puanlar› hesaplan›rken aday›n Ortaö¤retim Baflar› Puan›
(OBP) ile, okulun aday›n mezun oldu¤u y›la iliflkin YGS ‹statistikleri kullan›lacakt›r.
E¤er bir okul için, aday say›s› YGS istatistiklerinin elde edilmesi için yeterli de¤ilse ya da yeterli da¤›l›m
bulunmuyorsa, bu okullar için a¤›rl›kland›rma ifllemleri ÖSYM
Yürütme Kurulunun verece¤i kararlar do¤rultusunda yürütülecektir.
B4. Okul YGS ‹statistiklerinin Hesaplanmas›
Her y›l her okul için Sözel, Say›sal ve Eflit a¤›rl›kl› puan türlerinin her biri için afla¤›daki YGS istatistikleri oluflturulur:
X. Bir okulun son s›n›f düzeyindeki ö¤rencilerinin YGS puanlar›n›n ortalamas›.
A: Okul ortalamalar›n›n (X) 100-450 aras› notlara dönüfltürülmesi ile elde edilen notlar:
A = 100 + 350 * (X – Xmin) / (Xmax – Xmin)
Xmax: YGS’deki en büyük puan ortalamas›
Xmin: YGS’deki en küçük puan ortalamas›
Bu “A” parametresi ö¤rencilerin okuldaki baflar›lar›n› de¤il okulun YGS’deki baflar›s›n› ölçer. Yukar›daki formüllerin uygulanmas› ile her okul için Say›sal, Sözel ve Eflit A¤›rl›kl› olmak üzere üç YGS puan ortalamas› (X de¤eri) ve üç A de¤eri hesaplanacakt›r. Herhangi bir y›lda Xmax ve Xmin sabit olacaklar› için okullar›n alaca¤› A katsay›s›n›n YGS baflar›lar›na göre de¤iflimi do¤rusal olacakt›r. Bu durum Tablo 1’de aç›kça görülebilir.
B5. Adaylar›n A¤›rl›kl› Ortaö¤retim Baflar› Puanlar›n› Hesaplama Algoritmas› AOBP Hesaplama Formülü:
AOBP= A + (500-A) [(OBP-100)/400)]
Bu formülü seçme s›nav›n› ciddiye alanlar de¤il seçme s›navlar›n› ezber ölçen, flans ölçen bir uygulama olarak
karalayanlar dayatt›lar. Hani ÖSS (flimdi YGS) ezber ölçüyordu, hani ÖSS yarat›c›l›¤› öldürüyordu, hani ÖSS yüzünden çocuklar test makinesi oluyorlard›?
Neden o zaman AÖBP (A¤›rl›kl› ÖSS Baflar› Puan›) de¤il de AOBP deniyor?
Önce bakal›m “A” katsay›s› ne yap›yor? O y›l YGS’de en baflar›l› lisenin bütün ö¤rencileri için A=450, en baflar›s›z lisenin bütün ö¤rencileri için de A=100 oluyor.
1718
A. Baykal
Tablo 1: Okulun A katsay›s›n›n YGS baflar›s›na göre de¤ifliminin kurgu örne¤i.
YGS
Xmax
Xmin
X
A
L01
L02
L03
L04
L05
L06
L07
L08
450
450
450
450
450
450
450
450
100
100
100
100
100
100
100
100
100
150
200
250
300
350
400
450
100
150
200
250
300
350
400
450
Tablo 2, 100-450 aras›nda de¤iflen “A” ile 100-500 aras› de¤iflen “OBP” parametrelerine göre AOBP’nin hangi de¤erleri alabilece¤ini gösteriyor.
Tablo 2: AOBP’nin “A” ve “OBP” parametrelerine göre de¤iflimi.
A
450
400
350
300
250
200
150
100
100
200
OBP
300
400
500
450.0
400.0
350.0
300.0
250.0
200.0
150.0
100.0
462.5
425.0
387.5
350.0
312.5
275.0
237.5
200.0
475.0
450.0
425.0
400.0
375.0
350.0
325.0
300.0
487.5
475.0
462.5
450.0
437.5
425.0
412.5
400.0
500.0
500.0
500.0
500.0
500.0
500.0
500.0
500.0
Bu tabloya göre YGS’de en baflar›l› lisenin en baflar›l› ö¤rencisi ile en az baflar›l› ö¤rencisi aras›ndaki AOBP
fark› 50 puan. YGS’de en az baflar›l› lisenin en baflar›l› ö¤rencisi ile en az baflar›l› ö¤rencisi aras›ndaki AOBP fark› ise 300 puan olacakt›r. Okul birincileri için hiçbir sorun gözükmüyor. Ama liseyi 400 OBP ile tamamlayanlar›n
AOBP’leri aras›nda 87.5 puan fark olabilecek. YGS’de en az baflar›l› lisenin birincisi YGS’de en baflar›l› lisenin sonuncusundan ancak 50 AOBP ileride olabiliyor. YGS flampiyonu lisede sonuncu olan aday YGS’de en az baflar›
gösteren lisenin sonuncusundan 350 AOBP daha fazlas›n› hak ediyor!
Türkiye'deki her lisenin her birinin –her puan türü için ayr› ayr› olmak üzere ve 100-450 aras›nda de¤iflen- bir
tek “A”s› var. Her lisenin “A”s› o puan türünde o lisenin bütün ö¤rencileri için ayn›. Bir okulun YGS’deki ortalamas›n› kim yükseltir? Çal›flkan ö¤renciler.
Okulun YGS ortalamas›n› kim düflürür? Nisbeten daha baflar›s›z ö¤renciler?
“A” parametresi ayn› lise içinde bütün ö¤renciler için tek oldu¤undan okul ortalamas›n› yükselten ö¤renciler
okul ortalamas›n› düflüren ö¤rencilere göre hak ettiklerinden daha az yararlanabilecekler. AOBP’nin yapt›¤›; “seçkin” liselerin “ortalaman›n alt›ndaki” mezunlar›n› “ortalaman›n alt›ndaki” liselerde “baflar›l›” ö¤rencilerin önüne
geçirmektir. Ortaö¤retim baflar›s› böyle mi pekifltirilir? Ortaö¤retim baflar›s›n› ödüllendirmek buysa cezaland›rmak nas›l olabilir? Yani okullar›n› ayn› baflar› ile bitiren ö¤rencilerden YGS’de ortalamas› yüksek liseden gelenler
arkadafllar› sayesinde daha yüksek AOBP al›rken YGS ortalamas› düflük liseden gelenler de arkadafllar› yüzünden
daha düflük AOBP almaktad›rlar. Liselerin düzeyi illere göre de farkl›laflt›¤›ndan AOBP iller aras›nda zaten var
olan eflitsizli¤i de gittikçe daha çok keskinlefltiriyor. Oysa AOBP gençleri okulda tutacak, ortaö¤retimin de¤erini
YGS etkisine karfl› koruyacakt›… Bir yandan okul baflar›s›n› seçme s›navlar›na karfl› korumaya çal›fl›l›rken öte yandan okulun baflar›s›n› seçme s›navlar› ile ölçmek hangi nesnellik ve tutarl›l›k ilkesi ile savunulabilir? Bilime ayk›r›,
adalet duygular›n› rencide eden, kendi mant›¤› ile çeliflen AOBP bir an önce yürürlükten kald›r›lmal›d›r.
1719
Uluslararas› Yüksekö¤retim Kongresi: Yeni Yönelifller ve Sorunlar (UYK-2011), 27-29 May›s 2011, ‹stanbul
S›nav›n Kapsam› ve Yerlefltirme
Ak›ldan hiç ç›kar›lmamas› gereken ac› gerçek seçme s›navlar›ndan herkesin baflar›l› ç›kmas›n›n olas› olmad›¤›d›r. Yüksekö¤retim arz› ayn› kald›¤› sürece ne tür ve kaç tane s›nav yap›l›rsa yap›ls›n yüksekö¤retime seçilebilenlerin say›s› de¤iflmeyecektir. Ancak, s›navlara herkesin umut ve güven duygusu ile girmesi gerekir (Ridgway, Nicholson, McCusker, 2006).
Sorular›n kolaylaflmas›, puanlama yöntemlerinin sadeleflmesi, s›nav sonuçlar›n›n katsay›larla ters yüz edilmemesi v.b. öneriler de do¤rudan ya da dolayl› olarak metin içinde belirtilmiflti. Son olarak tercih kapsam› konusunda bir-kaç öneriyi hat›rlatmakta yarar var. S›nav kapsam› yüksekö¤retim programlar›n›n içeri¤ine uygun de¤ildir,
olmas› da gerekmez. Bilgisayar mühendisl¤ine ö¤renci seçimi için bilgisayar sorusu, ö¤retmenlik program› için
program gelifltirme sorusu, ilahiyat fakültesine gidecek ö¤renciye f›k›h sorusu sormak gerekmiyor. Bu nedenle tercihler program ba¤lam›nda de¤il fakülte ya da bölüm hatta küçük üniversiteler için puan türü ba¤lam›nda olabilir. Örne¤in fen-edebiyat fakültelerine anabilim dal› ba¤lam›nda de¤il puan türü ba¤lam›nda ö¤renci al›nabilir.
E¤er bir fakülteye 300 ö¤renci al›nacaksa bunlar› 30 fizik, 30 kimya, 30, matematik, 20 istatistik, 25 psikoloji, 25
sosyoloji, 20 felsefe v.b. kümeciklerde yapman›n sa¤lam bir gerekçesi yoktur. Bu fakülteye ayn› say›da ö¤renci sadece ilgili bölümlerin gerektirdi¤i puan türlerine göre yerlefltirilebilir. Bölüm ve anabilim dal› ayr›mlar› saydam ve
nesnel ölçütlerle yap›lmas› kofluluyla fakültelere b›rak›labilir. Bunun baflka hiçbir yarar› olmasa bile tercih ifllemi
sadeleflir, k⤛t israf› azal›r. S›nav -ne yaz›k ki t›pk› denemez ama- büyük ölçüde voltmetre, termometre, terazi ya
da saat gibi bir ölçme arac›d›r. Saate müdahale ederek zaman› ileri ya da geri alamay›z. Prizde voltaj yoksa ikide
bir voltmetre de¤ifltirmek bofluna çabad›r. Hastan›n atefli termometre ile de¤il do¤ru ilaç ile düzeltilir. Terazinin
ibresini bozarak fazla kilolar›m›zdan kurtulamay›z. Her araç gibi s›navlar da gelifltirilebilir (Boudett, City, Murnane, 2008). Bu geliflimi sa¤lamak için öncelikle maddenin yap›sal geçerlili¤i, s›nav›n kapsam geçerlili¤i, puanlamada nesnellik sa¤lanmal›d›r. S›nav uyguland›ktan sonra puanlamada kullan›lacak say›sal de¤erler de özellikle baflar›
s›ralamas›n›n geçerli ve güvenilir olmas›nda önem ve öncelik tafl›r.
Puanlama Önerileri
Bu çal›flmada dört de¤iflik puanlama ölçütü denenmifltir. Bütün yöntemlerde önce do¤ru yan›tlara 1, yanl›fl ve
bofl yan›tlara 0 puan verilmektedir. Bu puanlamaya iki de¤erli (binary) puanlama olarak an›labilir. ‹kinci ad›mda
istatistiksel yöntemlerle elde edilen madde göstergeleri ikili puanlamada do¤ru yan›tlara verilen 1 puan›n yerine
konmaktad›r. Bofl ve yanl›fllar s›f›r olarak kabul edilmektedir. fians baflar›s› için düzeltme yap›lmamaktad›r. Bu
yöntemlerin hepsi de¤iflik zamanlarda de¤iflik s›navlarda denenmifl ve olumlu sonuçlar al›nm›flt›r. Bu çal›flmada
önerilen tüm puanlama yöntemleri Temmuz 1998’de yüksekö¤retim mezunlar›na bir banka taraf›ndan uygulanan
DMB08GYT kodlu bir genel yetenek testi üzerinde denenmifltir. DMB08GYT kodlu testin istatistikleri Tablo
3’te verilmektedir.
Önerilen yöntemleri de¤erlendirme ölçütü olarak Spearman-Brown efl yar›lar güvenilirlik katsay›s›nda sa¤lanan art›fl ele al›nm›flt›r.
Tablo 3: DMB08GYT kodlu genel yetenek testinin istatistikleri.
1720
Alt ölçek
Say›sal
Sözel
Görsel
Tüm Test
Madde say›s›
Kat›l›mc› say›s›
Ortalama
Varyans
Standart sapma
Minimum
Maksimum
Ortanca
Cronbach alpha
Madde güçlük ortalamas›
Madde-test iliflki ortalamas›
Çift serili madde-test iliflki ortalamas›
14
660
12,033
4,547
2,132
1,000
14,000
13,000
0.699
0.860
0.455
0.743
42
660
27,312
12,727
3,567
6,000
37,000
28,000
0.458
0.650
0.213
0.333
24
660
17,100
18,026
4,246
2,000
24,000
17,000
0.798
0.712
0.425
0.610
80
660
56,445
56,144
7,493
13,000
71,000
57,000
0.781
0.706
0.243
0.376
A. Baykal
Standart Madde (Soru) Puanlar›
Bu yöntemde bütün maddelerin iki de¤erli (1/0) sistemle verilen puanlar -ortalamalar› 5, standart sapmalar› 1
olan- standart puanlara çevrilmifltir. Kat›l›mc›lar›n toplam baflar› puanlar› madde standart puanlar›n›n toplam›ndan elde edilmifltir.
Maddenin Zorluk Derecesi
Bir maddeye verilen yanl›fl ve bofl yan›tlar toplam›n›n toplam kat›l›mc› say›s›na oran› maddenin zorluk derecesi olarak kabul edilebilir. Madde ne kadar zor ise verilen yan›t o kadar de¤erlidir varsay›m›yla sorunun zorluk derecesi anahtarla tutarl› yan›tlara yüklenmifltir. Maddenin zorluk derecesi sezgisel bir varsay›m›n görgül bir verisidir. Maddenin nitel zorlu¤unu ya da önemini göstermez. Hiç önemi olmayan sorular çok zor olabilece¤i gibi çok
gerekli oldu¤u için yan›t›n› herkesin ö¤rendi¤i sorular çok kolay olacakt›r. Bu aç›dan maddenin zorluk göstergesinin nitel geçerlili¤i oldukça tart›flmal›d›r (Hambletone, 1978).
Sorunun Ay›rt Etme Gücü
‹kiye ayr›ml› iliflki (point biserial correlation) yöntemi ile bütün maddeler için ayr› ayr› olmak üzere kat›l›mc›lar›n madde puanlar› ile toplam test puanlar› aras›ndaki iliflki katsay›lar› hesaplanm›flt›r. Bu katsay›lar maddenin
ay›rt etme gücü olarak yorumlan›r (Guilford, 1954).
rpb = M1 - M0
Sn
n1n0
n2
rpb: Madde-test puanlar› aras›ndaki keskin ayr›ml› iliflki katsay›s›
M1: Maddeyi do¤ru yan›tlayanlar›n test ortalamas›
M0: Maddeyi do¤ru yan›tlayamayanlar›n test ortalamas›
Sn: Toplam puanlar›n standart sapmas›
n0: Maddeyi do¤ru yan›tlayanlar›n say›s›
n1: Maddeyi do¤ru yan›tlayamayanlar›n say›s›
n: Toplam kat›l›mc› say›s›
Her maddenin ay›rt etme gücünün ayn› zamanda maddenin puan a¤›rl›¤› olabilece¤i kabul edilerek anahtarla
tutarl› cevaplara yüklenmifltir. Bofl ve yanl›fl cevaplara “s›f›r” verilmifltir. Kat›l›mc›lar›n testi oluflturan maddelerden toplad›klar› ay›rt etme gücü katsay›lar›n›n toplam› kat›l›mc›lar›n baflar› ölçütü olarak kabul edilmifltir (Bond,
2004).
Entropi Göstergesi ile Puanlama
Çoktan seçmeli test maddelerinde bofl cevaplar nedeniyle gerçek seçenek say›s› görünenden bir fazlad›r. Çoktan seçmeli bir testte kat›l›mc›lar›n yan›tlar›n›n -bofl yan›tlar da dahil- cevap seçeneklerine da¤›l›m› bir belirsizlik
içerir. Bu belirsizli¤in niceli¤i Claude Shannon (1949) taraf›ndan gelifltirilen entropi göstergesi ile hesaplanabilir
(McGill, 1954; Garner, 1956).
F
H(X) = -
∑ p(x)Inp(x)
x=A
H(X): Çoktan seçmeli test sorusunda gözlenen toplam belirsizlik (Entropi)
p(x): Çoktan seçmeli bir testte x seçene¤inin kat›l›mc›larca iflaretlenme oran›
x: Testte x seçene¤i (x=A, B, C, D, E, F) iflaretleyen kat›l›mc›lar
Entropi karars›zl›¤›n, belirsizli¤in, da¤›n›kl›¤›n, gelifligüzelli¤in ölçüsüdür. S›n›rl› say›da seçenek oldu¤unda
belirsizli¤in en yüksek de¤eri seçeneklerin eflit olas›l›kl› oldu¤u durumda ortaya ç›kar. Bir test maddesinde gözlenen entropinin beklenen (maksimum) entropiye oran› o test maddesinde çözülen belirsizlik oran›n› gösterir
(Shannon & Weaver, 1945). Bu say›sal de¤er soruyu do¤ru yan›tlayanlara puan olarak verilebilir.
1721
Uluslararas› Yüksekö¤retim Kongresi: Yeni Yönelifller ve Sorunlar (UYK-2011), 27-29 May›s 2011, ‹stanbul
Maddeleri anahtarla tutarl› yan›tlara 1, bofl ve yanl›fl yan›tlara 0 vererek yap›lan tek aflamal› puanlama sisteminde bütün maddeler eflit a¤›rl›kl›d›r. Gelifltirilen dört yeni puanlama yöntemi iki de¤erli puanlar›n türevlerinin ikinci aflamada madde puan› olarak de¤erlendirilmesine dayal›d›r. Her biri 5 seçenekli 80 sorudan oluflan
DMB08GYT kodlu genel yetenek testine verilen cevaplar iki de¤erli puanlama da dahil olmak üzere befl de¤iflik
puanlama sistemi ile ayr› ayr› puanlanm›flt›r. Her puanlama sistemi için ayr› ayr› olmak üzere testin tek ve çift say›l› sorular›ndan oluflan iki ayr› yar›s›ndan al›nan puanlar aras›ndaki iliflki katsay›s› ve buna ba¤l› olarak da Spearman-Brown efl yar›lar güvenilirlik katsay›s› hesaplanm›flt›r. Bulgular Tablo 4’tedir.
Tablo 4: DMB08GYT kodlu genel yetenek testinin farkl› puanlama yöntemleri ile elde edilen Spearman-Brown Güvenilirlik katsay›lar›.
Ham puan yerine konan
türev puanlar
Efl yar›lar
iliflkisi
Spearman-Brown
Güvenilirli¤i
Ham puanlarla türev
puanlar aras›ndaki iliflki
‹ki de¤erli (1/0) ham puanlar
0.684
0.812
1.000
Standart madde puanlar›
0.716
0.835
0.986
Maddenin zorluk derecesi
0.499
0.666
0.932
Maddenin ay›rt etme gücü
0.764
0.866
0.977
Entropi
0.902
0.949
0.974
Sonuç
Ham puanlarla türev puanlar aras›ndaki iliflkiler yüksektir. Bu bütün ham puan türevlerinin “do¤ru yan›tlanm›fl” soru say›lar›n›n önemini korumas› bak›m›ndan olumlu bir durumdur. Do¤ru yan›t say›lar›na ayk›r› s›ralamalar en az›ndan s›nav›n görünüfl geçerlili¤ini zedeler.
Madde puanlar›n› standartlaflt›rma yönteminin verdi¤i sonuçlar da olumludur. Ancak bu yöntemle eriflilen güvenilirlik düzeyi ulafl›lanlar aras›nda üçüncü s›radayken, ham puanla en yüksek iliflkiyi göstermifltir. Bu da ham puanlar› madde standart puanlar›yla de¤ifltirme zahmetine de¤meyece¤ini göstermektedir.
Sorulara “zor” olduklar› oranda yüksek puan vermek di¤er yöntemlerle k›yasland›¤›nda en az güvenilirlik sa¤layan bir yöntem olmufltur. Maddenin ay›rt etme gücü entropi yönteminden sonra en yüksek güvenilirlik art›fl›n› sa¤lam›flt›r. Ancak unutmamak gerekir ki bu ölçüt bir “korelasyon” de¤eridir. Yani baz› durumlarda eksi de¤erler alabilir. Eksi puan ise hem kuramsal hem hem de uygulama bak›m›ndan kolay savunulabilir bir yaklafl›m olmayacakt›r.
Ö¤renmeyi "s›f›r" oldu¤u noktadan bafllayarak ölçmeye çal›flan, "hata ve gerçe¤in" normal da¤›ld›¤›na dayanan yaklafl›m›n yetersizli¤i görülmektedir. Tutarl›l›k ve süreklili¤in "s›f›r" oldu¤u noktada da¤›n›kl›k ve belirsizli¤in dorukta olmas› beklenir. Dolay›s›yla baflar› "yok" say›ld›¤› noktaya göre de¤il varl›¤›n›n en belirsiz oldu¤u noktaya göre ölçülebilir.
Ö¤renme belirsizli¤in azalmaya bafllad›¤› noktada gerçekleflmeye bafllamaktad›r.
S›ralamaya dayal› de¤erlendirmelerde güvenilirlik, ö¤renciler aras›ndaki de¤iflkenli¤in büyük olmas› ile sa¤lan›r. Oysa güvenilirlik tutarl›l›k ve yinelenebilirlik demektir. Tutarl›l›k ve yinelenebilirlik ise de¤iflkenli¤e koflullu
de¤ildir. Üstelik ö¤renme ölçüsünün güvenilebilir olmas› için gelifligüzellikten ay›rt edilebilir olmas› gerekir. Ö¤rencilerin gelifligüzel da¤›l›m gösterdikleri durumlarda da geleneksel yöntemlerle -seyrek rastlansa bile- yüksek
güvenirlik katsay›lar› bulmak olanakl›d›r. Dolay›s›yla bireyin ya da bireylerin davran›fllar›n›n da¤›l›m› belirsizlikten uzaklaflt›¤› oranda güvenilir olarak ölçülebilir.
Tablo 4’ten aç›kça görüldü¤ü gibi entropi yöntemi testin içinde var olan en tutarl› s›ralamay› ortaya ç›karabilmifltir. Ö¤renmenin ölçülmesinde bafll›ca güçlük gerçek s›f›r noktas›n›n ve eflit aral›kl› birimlerin yoklu¤undan
kaynaklanmaktad›r. Geleneksel yaklafl›mda baflar›, ölçe¤e özgü bir s›f›r noktas›ndan bafllay›p anahtarla tutarl› yan›tlar say›larak ölçülür. Ö¤renciler, s›nav ve say›larla ilgili göstergeler bu iflleme dayal› olarak elde edilir. “Gerçek
ve hata" araflt›rmac›n›n amaçlar›na ba¤l› olarak ve birbirlerine göre çeflitli biçimlerde tan›mlanabilir. Entropi ölçümü hiçbir da¤›l›m say›tl›s›na koflullu de¤ildir. S›f›r noktas› keyfi de¤il nesneldir. Entropi do¤rudan do¤ruya gelifligüzel hatan›n ölçüsü oldu¤u için ayr›ca dört yanl›fl›n bir do¤ruyu götürmesi ifllemine de gerek yoktur.
Sonuç olarak entropinin geçerli ve güvenilir bir puan göstergesi oldu¤u do¤rulanm›flt›r.
1722
A. Baykal
Kaynaklar
Bond, T. G. (2004). Validity and assessment: A Rasch measurement perspective. Metodologia de las Ciencias del
Comportamiento, 5(2), 179–194.
Boudett, K.P., City, E.A., Murnane, R.J. (Eds.). (2008). Data Wise. Harvard Education Press.
Garner, W.R. & McGill, W.J. (1956). The relation between ›nformation and variance analysis. Psychometrika. 21-3
(September1956), 219-228.
Guilford, J.P. (1954). Psychometric methods. New York: McGraw-Hill, 1954
http://www.yok.gov.tr/duyuru/konferans_konusmacilari.htm (Eriflim tarihi: 1 fiubat 2006).
http://www.yok.gov.tr/content/view/798 (Eriflim tarihi: 11.04.2011)
Hambleton, R.K. et al. (1978). Criterion-referenced testing and measurement. Review of Educational Research. 48:1,
(Winter 1978), 1-47.
Mandinach, E.B., et al. (2006). The ›mpact of data-driven decision making tools on educational practice:a systems analysis
of six school districts. Paper presented at the annual meeting of the American Educational Research Association, San Francisco,
April 9, 2006.
McGill, W.J. (1954). Multivariate information transmission. Psychometrika. 19:2, (June 1954), 97-116.
OECD (Nisan 2005). Ulusal e¤itim politikalari incelemesi: türkiye cumhuriyeti’nde temel e¤itimin incelenmesi. ‹ktisadî
iflbirli¤i ve kalk›nma teflkilât›, türkiye e¤itim incelemesi uzmanlar taslak raporu.
Ridgway, J., Nicholson, J. McCusker, S. (2006). Reasoning with evidence–new opportunities in assessment.
http://www.dur.ac.uk/resources/smart.centre/Publications/ridgwayicots7assess.pdf.
(Eriflim tarihi April 1st, 2011).
Rust, J., Golombok, S. (2009). Modern psycometrics. (Third edition). London: Routledge, Taylor and Francis.
Shannon, C.B., Weaver, W. (1949). The mathematical theory of communication. Urbana: The University of lllinois Press.
T.C. Yüksekö¤retim Kurulu.(Kas›m 2005). Türk yüksekö¤retiminin bugünkü durumu.
Thorndike, R.L. (1988). Reliability. Keeves, J.P. (Ed.). Educational Research, Methodology, and Measurement. New York:
Pergamon, 330-344.
Turgut, M.F. (1971). fians baflar›s›n›n test puanlar›na etkisi. Ankara: ODTÜ.
Turgut, M.F. (1975). Theories of error and estimating the errors of measurement, Hacettepe Bulletin of Social Sciences
and Humanities. 7:1-2,1-20.
Zimmerman, D.W., & Williams, R.H. (2003). A new look at the influence of guessing on the reliability of multiple-choice
tests. Applied Psychological Measurement, 27, 357-371.
1723