Raporun tamamına ulaşmak için lütfen tıklayınız.
Transkript
Raporun tamamına ulaşmak için lütfen tıklayınız.
Edirne İl Milli Eğitim Müdürlüğü Okul Göstergeleri Sistemi Raporu Daha iyi yönetişim, kontrol, iş ilişkileri ve rekabet ile devlet okullarının dönüşümü EFOR: Eğitim Faaliyetleri Okul Randımanı 2013 Teşekkür Bizi böyle stratejik bir konuyu araştırmaya teşvik eden ve her aşamada bizi cesaretlendiren İl Milli Eğitim Müdürümüz Sayın Hüseyin Özcan'a, “Okul Karnesi” çalışmasının bir çok önemli verisini bir araya getiren Erdal Çandarlıoğlu'na, anket çalışmalarını koordine eden Çağlar Akçay'a, Toplum yararına Çeviri projesinde çeviri ekibinin yöneticiliğini yapan ve memnuniyet anketlerini dilimize çeviren Banu Mutafçılar'a, verilerin toplanmasında ve değerlendirilmesinde özveriyle çalışan Saime Gökkaya'ya ve okullarında bizlere verdikleri destek için müdür ve müdür yardımcılarına teşekkürü bir borç biliriz. İçindekiler Bölüm 1 1.1. Okul Göstergeleri Sisteminin oluşturulmasının amaçları 1.2. Sorumluluk pozisyonlarına uygulanan denetim mekanizmaları: Hesap verilebilirlik 1.3. Okul Göstergeleri sisteminin genişletilmesi a. Okul Ortamı ve Girdilerin ölçümünde Anketlerin Kullanımı b.Okul Denetimleri Bölüm 2 2.1. Nasıl bir ölçme sistemi öneriliyor? 2.2. Okul Randımanlarını ölçmek, iyileştirmek için öneriler 2.3. EFOR Saha Anketleri Ek1: Önerilen Gösterge Kategorileri Ek2: Akademik Başarı İndeksleri nasıl hesaplanıyor? Ek4: Okul Başarı Sıralamaları Ek4: Devamsızlık Oranları ÖZET: Okul Göstergeleri Sisteminin Gerekçesi a. Hesap verilebilirlik sistemleri hali hazırda nasıl uygulanıyor? b. Okul göstergeleri hesap verilebilirlik bağlamı dışında okul idarecileri ve öğretmenlere okullarını geliştirebilmeleri için ne sunuyor? c. Okul randımanı ve öğrenci başarısını arttırmak için toplanan yeni göstergelere uygulanacak prensipler neler olmalıdır? d. Yönetimler, okul randımanını arttırmayı cesaretlendirici başka ne gibi önlemler alabilir? Toplumumuzda değer verilen ve beklenen çeşitli eğitim çıktıları vardır. Öğrenci başarısı, bunların arasında en çok bahsi geçen ve üzerine politika üretilen değerdir. Ancak öğrenci başarısının ağırlığında ne kadarının matematik ve okuma becerisine ayrılması gerektiğinde fikir ayrılıkları vardır. Bir diğer tartışma konusu da ulusal çapta yapılan sınavların öğrenci başarısını değerlendirmede nasıl kullanılması gerektiğidir. Aynı zamanda okulların öğrencilerini işe ve hayata hazırlama noktasında sosyal ve davranışsal bazı kazanımlar üretmesi gerektiği de açıktır. Okullardan, sivil düşünceyi desteklemeleri (Örn: Politik bilgi ve katılım, hoşgörü, topluma katkı vb.) ve bu öğrencilerini bu yönde davranmaya cesaretlendirmeleri de beklenmektedir. Birçok vatandaş, siyaset üretenler ve eğitimciler bu çıktıları doğru işleyen bir demokrasinin gerekleri arasında görmektedirler. Bu nedenle, toplumun hedefleriyle uyumlu geniş bir okul göstergeleri sistemi üretilmesi gerekmektedir. Okul ekosistemi “Girdiler, Süreçler ve Çıktılar”olarak 3 temel kategoride değerlendirilebilir. Girdiler kategorisinde; okulun kullanabileceği bütçe, aile katılımı, sınıfların fiziksel özellikleri, sunduğu ders olanakları, öğretmen nitelikleri, okulun genel fiziksel durumu gibi sosyal ve finansal kaynaklara işaret edilmektedir. Süreçlerde ise; okulda gün içinde olan aktiviteler ve öğrenmenin gerçekleştiği çevre kastedilmektedir. Örneğin bunlardan bazıları, eğitimin kalitesi, öğretmen ve öğrenci devamlılığı, öğretmen-öğrenci etkileşimi, okul güvenliği ve düzeni ve öğrencilerin aidiyet duygusudur. Girdiler ve Süreçler birbirlerini kaçınılmaz olarak sürekli etkilemekte, topluca öğrenme için ortam oluşturmaktadırlar. Okullarımızı değerlendirmekte kullandığımız bazı veriler, bize okulda ne olup bittiği (Süreçler) ya da hangi kaynakların (Girdiler) kullanımda olduğu hakkında çok az şey söylemektedir. Okulların organizasyon etkinliğini anlayabilmek ve randımanlarını arttırıcı önlemler alabilmelerini sağlayabilmek için daha kapsamlı veriler toplanmalıdır. Bölüm 1 1.1. Okul Göstergeleri Sisteminin oluşturulmasının amaçları 1.2. Kullanılmakta olan değerlendirme sistemleri 1.3. Okul Göstergeleri sisteminin genişletilmesi Bölüm 1.1 Okul Göstergeleri Sisteminin Amaçları Okul göstergeleri sisteminde nelerin hangi ağırlıkta katılmaları gerektiğine geçmeden önce böyle bir sistemin nerelerde kullanılabileceğini şöyle özetleyebiliriz: 1. İzleme : Böyle bir sistem, eğitim politikası üretenlerin okulların süreçlerinin ve çıktılarının belli aralıklarla fotoğrafını çekebilmesini sağlar. 2. Teşhis ve Reçete: Bir gösterge sistemi, bölgedeki karar vericilere başarı noktasında hangi okullarda sıkıntı yaşandığına dair fikir vereceği gibi, eğitimcilere, ailelere de neler yapmaları gerektiğine dair bazı çözüm önerileri getirecektir. Böylece örneğin okulun organizasyon ve eğitim uzmanlarıyla desteklenmesi ya da müfredatın okula uyarlanması gibi strateji değişikliklerine gidilebilir. 3. İşaret Etme: Bazı çıktıların ya da uygulamaların izlenmesi, onların önemsenmesine ve onlara odaklanılmasına sebep olacaktır. Böylece göstergelerin ürettiği puanlar yerine, göstergelerin içeriğine dikkat edilebilecektir. 4. Hesap Verilebilirlik: Bir gösterge sistemi, yaptırım oluşturma ve toplumsal gözetim aracılığıyla eğitimde kalite için teşvik edici olacaktır. Böylece sadece test puanları dikkate alınarak yapılan değerlendirmelerden de kaçınılmış olacaktır. Okul göstergeleri sistemi, amaçların çeşitliliğine uygun olarak çoklu amaçlara uygun olarak tasarlanmalıdır. Bu yönüyle eğitim paydaşlarının geri dönütlerine açık bir sistem olması önemlidir. Sadece okul kaynaklarının kullanımını ölçen veriler, öğretmenlere uygulanabilir bir bilgi sunmayabilir ancak denetmenlere ve ailelere faydalı fikirler verecektir. Netice olarak çeşitli eğitim paydaşlarının ihtiyaçları ve ilgileri dikkate alınarak oluşturulan bir sistem etkili olacaktır. Bölüm 1.2 Kullanılmakta olan değerlendirme sistemleri Okul Göstergeleri sisteminin genişletilmesi: Halihazırdaki Değerlendirme Sistemi ve Ötesi Kullanılmakta olan değerlendirme sistemleri LİSE ve DENGİ OKULLARIN (RESMİ, ÖZEL) GENEL DENETİMİNDE GÖZÖNÜNDE BULUNDURULACAK VERİ TABANI A. EĞİTİM ORTAMLARI B. YÖNETİM ÇALIŞMALARI a. Yazı işleri b. Öğrenci İşleri c. Personel İşleri d. Hesap İşleri e. Okul-Aile Birliği f. Taşınır Mal İşlemleri g. Pansiyon İşleri h. Döner Sermaye İşleri ı. Kaynak Kullanımı C. ÖĞRETMENLER KURULUNUN ÇALIŞMALARI a. Öğretim Yılı Başında Yapılan Toplantılarda b. İkinci Dönem Başında Yapılan Öğretmenler Kurulu Toplantılarında c. Öğretim Yılı Sonunda Yapılan Toplantılarda d. Sınav Öncesinde Yapılan Öğretmenler Kurulu Toplantılarında D. ÖĞRETİM ETKİNLİKLERİ a. Hazırlık Çalışmaları b. Uygulama Çalışmaları c. ÖlçmeDeğerlendirme Çalışmaları d. Geliştirme Çalışmaları E. EĞİTİM ETKİNLİKLERİ a. Rehberlik Çalışmaları b. Okul Öğrenci Ödül ve Disiplin Kurulu, Onur Kurulu, Okul Öğrenci Meclisi c. Sosyal Etkinlikler F. ÖĞRETMEN DENETİMİ G. YÖNETİCİ VE PSİKOLOJİK DANIŞMAN DEĞERLENDİRMESİ H. GENEL DEĞERLENDİRME Denetimlerde kullanılan konu başlıkları dikkate alındığında denetleme sisteminin varolanı tespit adına kapsamının geniş olduğu görülecektir. Buradan hareketle okul/kurum için gelecek projeksiyonları oluşturulabilir. Önerdiğimiz sistemde tüm eğitim-öğretim faaliyetlerinin somut çıktıları belirlenerek okulun stratejik hedeflerine uygun önceliklere göre formüle edilir ve EFOR Puanı oluşturulur. Okul/kurumun kendi iç dinamikleri, öz-değerlendirme raporları ve anketler kullanılarak sürece dahil edilir. Bölüm 1.3 Okul Göstergeleri Sisteminin Genişletilmesi Hedefler ne olmalı? Ülkemizde ulusal, bölgesel ve yerel çapta çeşitli eğitim istatistikleri üretilmektedir. Ancak bunlar çok karmaşık ham veriler olarak kalmakta, dolayısıyla eğitim paydaşlarına yeterince iyileştirme adımları için geri dönütler verememektedir. Oysa çeşitli kalkınmış ülkelerin sistemleri incelendiğinde bir çok güncel yaklaşımın hesap verilebilirlik noktasında değerlendirildiğini görmekteyiz. Bu yaklaşımlar, girdiler, süreçler ve çıktıları değerlendirirken karar vericilerin yenilikçi karar alma süreçlerini destekler mahiyettedir. Bu konuda yapılmış en kapsamlı göstergelerden birisi “Broad Vakfı” tarafından hazırlanmış ve yaklaşık 873 tane göstergeden oluşmaktadır. Okullar özelliklerine göre bu ölçütleri alıp kendilerine adapte edebilmektedirler. a. Güvenli ve destekleyici bir okul ortamı inşa etme Eğitim için doğru okul ortamı ve fırsat eşitliği yaratmak önemlidir. Yapılan araştırmalarda ebeveynlerin, vergi verenlerin ve eğitimcilerin en çok önemli gördükleri şeylerden ikisi de okul güvenliği ve eğitimcilerin kalitesi olmaktadır. Okulda öğrenme ortamı için şu alt başlıklar sağlanmalıdır: a. Öğrencinin kendini fiziksel ve duygusal olarak güvende hissettiği okul ortamı b. Zorlu akademik beklentiler için destekleyici ve katılımcı bir topluluk c. Öğretmenlerinin kendilerini desteklediğini hisseden öğrenciler d. Diğerleriyle nasıl empati kuracağını bilen, pozitif ilişkiler kurabilen, duygularının farkında olan, öfke gibi duygularla başetmesini öğrenmiş sosyal ve duygusal öğrenme Okul ortamı ve sunduğu fırsatlar göz önüne alındığında, anketler, teftiş raporları ya da yönetim kayıtları gibi çeşitli veri kaynakları kullanılabilmektedir. Ülkelerin özelliklerine göre bunlardan bazıları öne çıkabilmektedir. Örneğin ABD'de okul teftişleri nadir olarak kullanıldığından bunun yerine okul ortamını ölçmeye yarayan öğrenci-veli-öğretmen anketleri daha çok kullanılmaktadır. Ancak İngiltere ve Avustralya gibi ülkelerde müfettiş ve eğitim uzmanlarının belli aralıklarla yaptığı ziyaretler ve iyileştirme önerileri de kullanılmaktadır. Bill ve Melinda Gates Vakfı'nın 2010 yılından beri yürüttükleri MET (Etkili Öğretimin Göstergeleri) projesinde eğitimcilerin gerçek geri dönütlere ihtiyacı olduğuna ve bunun çok az yapıldığına dikkat çekilmektedir. Bu geri dönütleri, öğretmenin istediği dersindeki performansını diğerleri ile paylaşabildiği bir ortam yaratarak ve öğrenci-veli anketleri uygulayarak sağlamayı önermektedir. Bölüm 1.3 Okul Göstergeleri Sisteminin Genişletilmesi Hedefler ne olmalı? b. Risk altındaki öğrencileri tespit etme Okullarda risk altında olan öğrencilerin tespiti üzerinde önemle çalışılması gereken bir alandır. Bu her okulda yaklaşık öğrencilerin 10% kadarına karşılık gelmektedir. Bu öğrencilerin tespitinde notlarındaki düşüş, öğrencinin disiplin olaylarına karışması, öğrenci hareketliliği ve sebepsiz devamsızlıklar gibi faktörler göz önüne alınmaktadır. Bunlarla beraber öğrencinin geçmiş yıllardaki devamsızlığı, kardeşlerinin ve ailesinin durumu, özel ihtiyaçları ve müfredat dışı aktivitelere katılımının olup olmadığı gibi değerlendirmeler de eklenerek öğrenciye “Risk indeksi” belirlenmektedir. c. Akademik performansı arttırma Dünyada uygulanan örneklerde akademik başarı indeksi genellikle ulusal veya uluslararası çaptaki sınavlardaki başarı seviyesine bakarak oluşturulmaktadır. Bunlara ek olarak okuldan atılma veya bırakma, öğrenci-veli tatmini, okul girdileri veya standart test uygulamaları da kullanılmaktadır. Bölüm 1.3 Okul Göstergeleri Sisteminin Genişletilmesi a. Okul Ortamı ve Girdilerin Ölçümünde Anketlerin Kullanımı Dünyada birçok gelişmiş ülkede anketler kullanılmaktadır. Bazı devlet okullarında bunların uygulanması rutin olarak istenmektedir. Aşağıda gösterilen Rhode Island Eğitim Ajansı, 1997 yılından beri bu anketleri uygulamakta, öğrenci katılımında 2011 yılında 95% oranına ulaşmışlardır. Öğretmen ve veli anketlerinde de katılım her geçen gün artmaktadır. Bu anketlerin amacı eğitim müfettişlerine teşhis için bilgi sağlamak ve okul personeline akademik performans göstergelerinin “Niçin” kısmını paylaşabilmektir. Örneğin okulu asma akademik başarıyı etkileyen bir sonuçsa, anketler, bu sonucu üreten nedenleri böylece tespit edebilirler. Resim 1: Resmi Anket Sitesi (ABD, Rhode Island) Okulların derecelendirilmeleri yapılırken öğrencilerin test sınav başarılarının yanısıra bu anket sonuçları da değerlendirmeye alınmaktadır. Bu anket sonuçları, bazı örneklerde 4 aşamalı sıralama, bazılarında A'dan F'ye kadar sıralama, bazılarında ise okulun genel başarı derecesine belli ağırlıkta yansıtılmaktadır. Bölüm 1.3 İngiltere ve Avustralya örneklerinde olduğu gibi bazı ülkeler, okul dışından gelen uzmanların yaptığı doğrudan Okul Göstergeleri Sisteminin Genişletilmesi gözlemleri, okul göstergeleri sistemi için kullanılmasına daha fazla önem vermektedirler. İngiltere'de müfredat, standart b. Okul Denetimleri testler, öğretmen ve okul idarecileri için değerlendirme prosedürleri, yıllık okul raporları ve teftiş raporları ulusal düzeyde planlanır ve uygulanır. Okullar en az üç yılda bir dörtlü bir derecelendirmeyle değerlendirilir. Öğrencilerin başarısı ile beraber bu teftiş raporları her yıl kamuya ilan edilir. Okul müdürü, teftiş raporlarındaki önerileri bir zaman çizelgesiyle hayata geçirmekten sorumludur. Çözüm üretemeyen okullara yeni öğretmen atamamaya kadar çeşitli yaptırımlar uygulanır. İngiltere'de de ABD'de olduğu gibi okullar, öğrenci sayısına göre finans desteği alırlar; dolayısıyla negatif derecelendirme öğrencilerin okullara tercihini azaltacağı için okulları etkiler. Okul denetimleri ayrıntılı ve nispeten uzundur (5 güne kadar) ve okulların kendi öz-değerlendirmelerini yapmaları da gerekmektedir. Müfettişler, okulun kendi özdeğerlendirmesinin yanısıra öğrenci başarılarını ve örnek işlerini de incelemektedirler. Bununla beraber sınıf gözlemleri, veli anketlerinin analizi ve öğrenciler-çalışanlar ile görüşmeleri de yapılmaktadır. Diğerlerinin yanında okullar 11 boyuttan incelenmektedir: öğrenci davranışları; öğrenci güvenliği; öğrencinin öğrenmeden keyif alması; işgücünün ve diğer becerilerin geliştirilmesi; ruhi, ahlaki ve kültürel gelişim; gösterilen ilgi, rehberlik ve desteğin etkinliği; gelişmeyi sağlayan liderliğin etkinliği. Bölüm 1.3 Okul Göstergeleri Sisteminin Genişletilmesi b.Okul Denetimleri Avustralya'da nüfusun önemli bir kesiminin yaşadığı Victoria eyaletinde ilginç bir teftiş sistemi uygulanmaktadır. Burada öğrencilerin 2/3'ü devlet okullarına devam etmektedir. Avustralya devlet okulları, İngiltere'de olduğu gibi ulusal standartlara ve değerlendirmeye tabi olmasına karşın, eyaletler diğer uygulamalarda dikkate değer bir bağımsızlığa sahiptir. Her sene, Victoria hükümeti ailelere ve okul çalışanlarına okullar hakkında 3 grupta bilgi paylaşmaktadır: 1. Ulusal sınavlardaki puanları da içeren öğrenci başarısı 2. Öğrenci katılımı ve mutluluğu 3. Öğrenci nakilleri Bu değerlendirmeler neticesinde okulları 4 kategoriye ayırmakta, en düşük performansı gösteren okulları, okul müdürü, aile birliği yönetiminin katılacağı 4 günlük “Genişletilmiş teşhis toplantısı” adı verilen bir panele çağırmakta, okul personeline ve aile birliğine bir rapor sunulmaktadır. Daha başarılı performans gösteren okullara, 2 günlük teşhis toplantısı raporu ve 1 günlük sürekli iyileştirme raporu ; en iyi performansa sahip okullara ise kendini tanımlamakta kullandığı “Esnek ve Odaklanmış” bir iyileştirme raporu verilmektedir. Bu raporlamaları takiben, bakanlık bu sonuçların okul tarafından paylaşılmasını tavsiye etmekte ancak bu tavsiyenin herhangi bir bağlayıcılığı bulunmamaktadır. ABD'de Charlotte-Mecklenburg bölgesindeki okullar, eğitim uzmanları tarafından ziyaret edilmeden önce bir özdeğerlendirme formu doldurmakta, bunu takiben yapılan ziyarette 6 kriter sorgulanmaktadır: öğrenci başarısı, öğretme ve öğrenme, müfredat, liderlik ve yönetim, öğrenme ortamı ve aileler ile toplumun katılımı. Bölüm 2 2.1. Nasıl bir ölçme sistemi öneriliyor? 2.2. Okul Randımanlarını ölçmek, iyileştirmek için öneriler Bölüm 2.1 Nasıl bir ölçme sistemi öneriliyor? Yukarıda bahsedilen dünya örneklerinde bahsedildiği gibi birçok ülkede okul performansını ölçmeye yönelik çalışmalar yapılmakta ve yeni yaklaşımlarla devamlı güncellenmektedir. Bu ölçme sistemlerinin çoğu ilk evrelerindedir ve öğrenci başarısına ve okul ortamını iyileştirmeye katkıları zamanla geliştirilecektir. Kullanılacak Okul göstergeleri sistemi oluşturulurken ve geridönütler kullanılarak iyileştirilirken aşağıdaki ikilemlere dikkat edilmelidir: Derinlik ve Odaklılık: Genişletilmiş bir gösterge sistemi oluşturabilmenin anahtar noktası toplumun hedeflerine uygun bir değerlendirme sistemi oluşturabilmektir. Kapsamlı göstergeler, aynı zamanda eğitimcilerin bazı temel konulara olan dikkatini dağıtmamalı, açık ve pratik iyileştirmeler yapmaya imkan vermelidir. Karmaşıklık ve Şeffaflık: Karmaşık istatistiki veriler, uzmanları tarafından yorumlanarak eğitim politikalarına yön verecek olanlara ışık tutabilir ancak okul personeli için pratik öneriler sunmayabilir. Bu noktada göstergeler, eğitim paydaşlarının her birinin kullanabileceği şekilde kümelenmeli ve ilgi alanlarına ayrılmalıdır. Oluşturulacak sistem, ana hatlarıyla herkese fikir verebilmeli ancak uzmanlara da gidişat hakkında önemli fikirler vermelidir. Kapsayıcılık ve Ekonomiklik: Her bir göstergenin ölçme sistemine dahil edilmesi fazladan kaynak kullanımı gerektirecektir. Bu sebeple insan kaynağı, finansal ve zaman kısıtları her zaman dikkate alınarak bir sistem oluşturulmalıdır. Örneğin sadece test sonuçları, kaynaklar gibi girdileri ölçmek kadar öğrencilerin takım çalışması, üst düzey düşünme becerileri ve liderlik gibi özelliklerinin göstergelerinin de belirlenmesi ve ölçme sistemine katılması çok kritiktir. Ancak bunların nasıl ölçüleceği ve yaklaşık maliyetlerinin ne olacağı konusunda belirsizlikler vardır. Bölüm 2.1 Nasıl bir ölçme sistemi öneriliyor? Tek Tipleştirme ve Esneklik: Okullarda iş ve işlemlerin belli standartlara göre yapılması zaman ve kaynak kaybını aza indiren, kurumlar arasında iletişimi kolaylaştıran bir zorunluluktur. Aynı zamanda okulların aynı başarı kriterlerini kullanması doğru karşılaştırmalara imkan verecektir. Ancak tek tip bir ölçme sisteminin aynı zamanda tüm okullara uygun olup olmayacağı da tartışma konusudur. Yani üst düzey bir müfredatın takip edildiği bir okulun göstergeleri ile mesleki eğitim veren bir okulun göstergelerinin ağırlıkları dikkatli belirlenmelidir. Burada hibrid bir sistemin faydası olacaktır. Tek tip bir değerlendirme ile eğitimcilerin morali düşürülmemeli, ancak eğitimcilere de yapılabilecek iyileştirmeler hakkında fikirler vermelidir. Okullara, stratejik hedeflerine uygun olarak gösterge sistemleri oluşturulmalı ve belli bir esnekliğe sahip olmalıdır. Şekillendiricilik ve Özetleyicilik: Öğretmenler, uzun aralıklarda uygulanan testlerin kısa vadeli değerlendirmelerde kullanılmasının pratik olmadığı düşünmektedirler. Sadece uzun aralıklarda uygulanan test sonuçları kadar daha dar kapsamlı müfredatı içeren sınavlar da öğrenmenin verimliliği açısından faydalıdır. İşaret Etme ve İşaret Etmenin Kaybolması: Şeffaf bir değerlendirme sisteminde hangi süreçlerin ve çıktıların değerlendirileceği belirtilmesi, eğitimcilerin, velilerin ve karar vericilerin belli konulara odaklanmasını sağlar. Ancak eğitimcilerin, negatif baskı altında kalması bazı anket ve ders ölçüm sonuçlarında şişmeye sebep olabilir. Girdilere göre düzenleme yapma ve yapmama: Şeffaflık yaklaşımı, eğitim reformcuları arasında tüm okulların ve öğrencilerin yüksek beklentilerinin olması idealine yakınlığı noktasında popülerdir. Aynı zamanda girdileri göz ardı etmek, hem avantajlı öğrenci gruplarına hizmet eden okullarda hem de belirgin gelişme gösterseler bile gerçekçi hedefleri olmayan okullarda motivasyonun azalmasına sebep olacaktır. Bu yüzden ayarlanmış ve ağırlıklandırılmış göstergeler hem paydaşlara daha iyi bilgi verecek hem de ayarlanmamış göstergelere göre daha teşvik edici olacaktır. Bölüm 2.2 Okul Randımanlarını ölçmek, iyileştirmek için öneriler Bu çalışma, halihazırda kullanılan denetim yöntemlerinin yanısıra gelişmiş ülkelerde uygulanan yöntemler hakkında da bilgi vermeyi amaçlamaktadır. Milli Eğitim Bakanlığı ve ÖSYM her sene çeşitli istatiksel veriler yayınlamaktadır. Bu veriler ve eğitim denetmenlerinin sahadan elde ettikleri değerlendirmeler ışığında planlamalar yapılmaktadır. Ancak okulların, girdileri(Okul bazlı harcamaların verimliliği, kaynak oluşturma ve kaynakların kullanımının iyileştirilmesi vb.), süreçler(Öğrenci güvenliği, öğretmen-öğrenci-veli memnuniyeti vb.) ve çıktılar(Öğrenci kazanımları ve başarıları, yüksek öğrenime hazırlama vb.) bazında yeniden verimlilikleri sorgulanmalıdır. Bu konuda yapılmış yeterli araştırma olmaması bir handikaptır. Milli Eğitimin karar vericileri, okullarda kapsamlı gözlemler, araştırmalar ve anketler uygulayarak yukarıda bahsettiğimiz süreçleri daha ölçülebilir hale getirmelidir. Okul türlerinin performans kriterleri belirlenirken paydaşların görüşleri alınmalı ve her sene yaklaşımlar güncellenmelidir. Önerimiz 5 temel alandaki göstergelerin toplanmasına ve okul performanslarının belirlenmesinde kullanılmasıdır: 1. Kazanımların ve başarıların belirlenmesinde sayısal branşlar kadar sözel branşlara da önem verilmelidir. 2. Öğretmen-öğrenci memnuniyeti, akademik zorluk, güvenli ortam, temizlik ve düzen gibi pozitif okul kültürü oluşturan göstergeler desteklenmelidir. 3. Mezunlar için bir takip sistemi oluşturulmalıdır. 4. Öğrencilerin pozitif davranışsal, duygusal ve fiziksel sağlıklarını koruyacak bir ortam inşa edilmeli ve devamlılığı sağlanmalıdır. 5. Okulların kendilerine özgü performans kriterleri geliştirmeleri yönünde teşvik edilmeleri ve bunların ağırlığının ne olacağı konusunda ortak akıl oluşturulması gerekmektedir. Burada dikkat edilmesi gereken bir başka nokta, eğitimde yapılan değişikliklerin dönütlerini geri toplamak için zaman gerekmektedir. Bu sebeple oluşturulacak ölçme sisteminde çok büyük değişiklikler bir anda yapılmamalıdır. Dünyadaki benzer uygulamalar sürekli izlenmeli, akademisyenlerden destek alınmalı ve güncel tartışmaların içinde olunmalıdır. Son olarak performansı ödüllendiren bir yapı kurulmalı; başarının bir ekip çalışması olduğu unutulmadan ilgili paydaşların ödüllendirilmeleri sağlanmalıdır. Uygulanan yöntem ve yaklaşımlar çeşitli çalıştaylarda raporlaştırılarak diğer okulların faydalanması temin edilmelidir. ANKET VE EKLER 2.3. EFOR Saha Anketleri Ek1: Önerilen Gösterge Kategorileri Ek2: Akademik Başarı İndeksleri nasıl hesaplanıyor? Ek4: Okul Başarı Sıralamaları Ek4: Devamsızlık Oranları Bölüm 2.3: EFOR Saha Anketleri Ankete katkı yapan eğitimci sayısı: 149 Ankete katkı yapan idareci sayısı: 29 Uygulama Yeri: Edirne Merkez Liseler Uygulama Tarihi: 29 Nisan-10 Mayıs 2013 1. Okullarda haftalık ders saatleri hakkında ne düşünüyorsunuz? Eğitimciler İdareciler 8.7% Daha az olmalı 26.2% 19.2% Normal 65.1% 80.8% Daha fazla olmalı 2. Dersinizin müfredatının ne kadarını kendiniz belirlemek istersiniz? Eğitimciler Dersimin müfradatını kendim belirlemek isterim Müfredatın hazır gelmesini isterim 62.32% EFOR Saha Anketleri 3. Bir öğrencinin Üniversite Sınav Başarısı , Ortaöğretim Giriş Sınavı (SBS) başarısıyla ilişkilidir. Eğitimciler Kesinlikle katılıyorum İdareciler 49.68% 47.92% Katılmıyorum 4. Okul Başarınızın belirlenmesinde, öğrencilerinizin üniversite sınavındaki başarısı önemlidir. Eğitimciler İdareciler Çok önemlidir 54.26% Önemli değildir 66.4% EFOR Saha Anketleri 5. Okul Başarınızın belirlenmesinde öğrencilerinizin hangi faaliyetleri dikkate alınmalıdır? Eğitimciler İdareciler 6.7% 3.4% 8% 4% Bilimsel Proje Başarıları(Tübitak vb.) Sosyal Proje Başarıları(Comenius vb.) 89.9% Kültür Sanat Başarıları 88.8% Sportif Başarılar 6. Okul Başarınızı etkilediğini düşündüğünüz başka kriter ya da kriterler var mı? Eğitimciler İdareciler Hayır 17% 36% Evet 83% Kriter Önerileri: Aile geleneği, yetiştiği ortam, eğitim düzeyi, örnek uygulamalar, eğitimcilerin yeterliliği, moral destek ve empati, sosyal gelişim ve sosyal iletişim, aile sosyal çevre, öğrenci ve velilerin sosyo ekonomik durumu, veli profili, veli öğretmen - idare arasındaki işbirliği, öğretmenin kalitesi, öğretmen yeterliliği, aile içi iletişim, öğrencininhazırgelmesi, öğrenci davranışları ve veli eğitimi, öğrenci profili, yetiştiği sosyal çevre, ekonomik durum, öğrencilerin derse katılım oranı 64% Kriter Önerileri: Öğretmenlerin eğitimi, kullandıkları yöntem ve teknikler, motivasyonları, ders saati yoğunluğu, veli desteği, öğretmen niteliği, okulun fiziki yeterliliği, öğrenci hazırbulunuşluluğu, aile, çevre,dersaneler, okul başarılarını arttırmada beden eğitimi müzik...vb derslerin öğlenden sonra ve ilgi alanlarına uygun düzenlenmesi ve bu derslerde not verilmemesinin gerekliliği, okula devamlılık, ögretmenin becerisi, öğretmen rotasyonu, her okulun ayrıele alınmasının gerekliliği, okulların fiziki alt yapıları ve öğrencilerin kapasiteleri, öğretmen idareci uyumu ve işbirliği EFOR Saha Anketleri 7. Mesleğinizle alakalı kaynakları okuma fırsatı bulabiliyor musunuz? Eğitimciler İdareciler Sık sık 55.36% 63.74% Hiç bulamıyorum 8. Okullara performanslarına göre ekstra kaynak aktarılmasını nasıl değerlendiriyorsunuz? Eğitimciler İdareciler 73.42% Olumlu 62.8% Olumsuz 9. Öğretmenlere/İdarecilere rotasyon uygulaması eğitim-öğretimi nasıl etkiler/etkiledi? Eğitimciler İdareciler 25.41% Olumlu etkiler Olumsuz etkiler 38.36% Bölüm Ek1 ÖĞRENCİ BAŞARISINI ARTTIRMAK Önerilen Gösterge Kategorileri 5 öğrenciden fazla devamsızlığın olduğu günlerin sınıflara göre yüzdesi, Kütüphaneden ödünç alınan kitap sayısı (Öğrenci), Kütüphaneden ödünç alınan kitap sayısı(Öğretmen), Yaşanan disiplin olayı sayısının oranı, Okul dergisinde yayınlanan ve/ya yarışmalara gönderilen yazı sayısı(Öğrenci), Sıradışı başarı gösteren öğrenci sayısı, Okul Veli Toplantısına katılan velilerin tüm velilere oranı, Okul aile birliği toplantısına katılım oranı, Akademik Başarı İndeksi, Laboratuar ulaşım kolaylığı GÜVENLİ, ÜRETKEN BİR ORTAM SAĞLAMAK Okul Güvenliği, Okulda internete bağlı bilgisayarların öğrencilerin toplam sayısına oranı, Altı aylık ortalama öğretmen devamlılığı, Düzenlenen hizmetiçi eğitim oranı, Müfredat dışı/klüp/sosyal aktivite sayısı oranı, Alınan disiplin cezaları (Öğretmen-Öğrenci), Milli Eğitim Müdürlüğünce görevlendirilen öğretmenlerin oranı, Rehberlik Faaliyetleri vb. YETENEKLİ, ETKİN VE TATMİN OLMUŞ BİR İŞGÜCÜ OLUŞTURMA VE DEVAMLILIĞINI SAĞLAMAK Yüksek Lisansa sahip öğretmen sayısının toplam öğretmen sayısına oranı, Uzman öğretmen sayısının toplam öğretmen sayısına oranı, Okul dergisinde yayınlanan ve/ya yarışmalara gönderilen yazı sayısı(Öğretmen) vb. VERİMLİ İŞ GÖRME Genel bütçeden aldığı pay, Okul aile birliğinin bütçesi, Toplam bütçenin öğrenci sayısına oranı vb. KAMU DESTEĞİ VE HİZMET ALANLARIN MEMNUNİYETİ Okulda yapılan öğrenciye yönelik panel, seminer vb. toplantı sayısı, Okulda yapılan halka açık panel, seminer vb. toplantı sayısı, SMS Bilgilendirme servisi, Velilere ve ilgili eğitim paydaşlarına Okul bülteni, Veli memnuniyet anketi, Okulda gönüllü çalışan veli sayısı oranıvb. Burada karşımıza “Pareto Verimliliği Prensibi” çıkmaktadır.Bu tip sistemlere çoklu hedefli sistemler denmektedir. Aşağıdaki grafikte elinizdeki kaynakları kullanarak çok kaliteli bir iş yapmaya çalışırken ucuzluktan taviz vermek zorunda kalırsınız; ya da çok ucuz iş yaparken kaliteden taviz verirsiniz. Okullarımızın verimliliğini de aynı şekilde düşünebiliriz. Örneğin bir okulun kaynakları, hem akademik başarıda hem de sosyal aktivitelerin hepsinde hem de inşaat işlerini aynı anda yapmaya yetmez. Yani her okulun öncelikleri yani stratejik hedefleri belirlenmeli ve buna göre kaynak planlaması yapılmalıdır. Bölüm Ek2 Akademik Başarı İndeksleri nasıl hesaplanıyor? Burada okul türlerinin farklı öncelikleri olabileceği gerçeği göz önünde bulundurulmalı ve okul göstergelerinin ağırlıkları buna göre belirlenmelidir. Daha Fazla Sosyal Aktivite Daha Ucuz A Türü Okullar Plan 1 B Türü Okullar Plan 2 C Türü Okullar Plan 3 Daha Kaliteli Daha Fazla Akademik Başarı EFOR Okul Göstergeleri Sistemi Aşamaları Öğrencinin lise sisteminden çıktığında başarı bindeliği Öğrencinin lise sistemine girdiğinde başarı bindeliği pozitif 1. AŞAMA : Liselerin Akademik Başarı indekslerinin belirlenmesi: Eğitim-Öğretim dönemi başında ve sonunda veriler toplanarak analiz edilir, okulun türüne göre okul randıman puanına katkısı hesaplanır ve Haziran sonu ilan edilir. negatif Öğrencinin lise sisteminden çıktığında başarı bindeliği Piramit Yaklaşımı: Yarışa giren tüm öğrenciler 2. AŞAMA: Liselerin Öğrenci-Veli-Öğretmen Anketleri, dönem ortası ve sonundan 1 ay önce bakanlığın resmi anket servisi üzerinden uygulanır. Sonuçlar analiz edilerek okul randıman puanlarına katkıları hesaplanır. Akademik Başarı İndeksi: Okulun tüm öğrencilerinin, SBS Bindelik Derecesi ve YGS Bindelik Derecesi arasındaki fark hesaplanır. Pozitif olanların oranının tüm öğrencilere oranı bulunur. Bölüm Ek3 Edirne Okulları Başarı Sıralamaları Akademik Başarı Katsayıları Okul EDİRNE/MERKEZ (143138) EDİRNE ANADOLU İMAM HATİP LİSESİ EDİRNE/UZUNKÖPRÜ (281022) MUZAFFER ATASAY ANADOLU LİSESİ EDİRNE/KEŞAN (964239) YUSUF ÇAPRAZ ANADOLU LİSESİ EDİRNE/MERKEZ (964241) 80 YIL CUMHURİYET ANADOLU LİSESİ EDİRNE/MERKEZ (143080) EDİRNE YILDIRIM BEYAZIT ANADOLU LİSESİ EDİRNE/HAVSA (964240) ŞAHİKA ERKURT ANADOLU LİSESİ EDİRNE/MERKEZ (456390) EDİRNE LİSESİ EDİRNE/KEŞAN (281083) KEŞAN ANADOLU LİSESİ EDİRNE/MERKEZ (972833) İLHAMİ ERTEM ANADOLU LİSESİ EDİRNE/MERKEZ (349664) EDİRNE SÜLEYMAN DEMİREL FEN LİSESİ EDİRNE/MERKEZ (325290) EDİRNE GÜZEL SANATLAR VE SPOR LİSESİ EDİRNE/MERKEZ (344923) EDİRNE ANADOLU ÖĞRETMEN LİSESİ Akademik Başarı Katsayısı 0,697674419 0,675 0,674796748 0,64 0,58041958 0,578947368 0,548672566 0,463576159 0,458333333 0,388235294 0,365853659 0,317757009 Akademik Başarı Katsayısı 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 Akademik Başarı Katsayısı Akademik Başarı Katsayısı Formülü: Okulun Tüm Öğrencilerinin, SBS Bindelik Derecesi ve YGS Bindelik Derecesi arasındaki fark hesaplanır. Pozitif olanların sayısının tüm öğrencilere oranı bulunur. Katsayı, 0 ise okul hiçbir öğrencisini giriş seviyesinin yukarısına taşıyamamış; 1 ise tüm öğrencilerini giriş seviyelerinin yukarısına taşımış anlamına gelir. Katsayı 0 ve 1 arasında değer alabilir. Bölüm Ek4 Edirne Okulları Devamsızlık Sıralamaları 2012-2013 Eğitim-Öğretim Yılı 9-10-11-12.Sınıflar ÖZÜRSÜZ DEVAMSIZLIK ORANLARI Okul Adı 9.Sınıf 10.Sınıf 11.Sınıf 12.Sınıf EDİRNE/MERKEZ (972833) İLHAMİ ERTEM ANADOLU LİSESİ 25,89 28,95 30,17 45,75 EDİRNE/MERKEZ (349664) EDİRNE SÜLEYMAN DEMİREL FEN LİSESİ 23,84 27,59 26,12 42,15 EDİRNE/MERKEZ (344923) EDİRNE ANADOLU ÖĞRETMEN LİSESİ 23,34 28,92 25,71 45,82 EDİRNE/MERKEZ (143080) EDİRNE YILDIRIM BEYAZIT ANADOLU LİSESİ 22,41 25,23 23,62 44,32 EDİRNE/KEŞAN (964239) YUSUF ÇAPRAZ ANADOLU LİSESİ 21,91 24,30 27,31 33,64 EDİRNE/MERKEZ (143138) EDİRNE ANADOLU İMAM HATİP LİSESİ 21,90 24,67 26,36 38,27 EDİRNE/MERKEZ (325290) EDİRNE GÜZEL SANATLAR VE SPOR LİSESİ 21,65 25,22 27,93 41,26 EDİRNE/MERKEZ (964241) 80 YIL CUMHURİYET ANADOLU LİSESİ 19,66 21,69 24,38 39,45 EDİRNE/MERKEZ (456390) EDİRNE LİSESİ 19,52 21,97 23,64 44,19 EDİRNE/HAVSA (964240) ŞAHİKA ERKURT ANADOLU LİSESİ 16,97 19,07 16,99 22,37 EDİRNE/KEŞAN (281083) KEŞAN ANADOLU LİSESİ 15,75 18,43 23,82 35,41 EDİRNE/UZUNKÖPRÜ (281022) MUZAFFER ATASAY ANADOLU LİSESİ 15,36 17,95 23,82 35,30 50,00 45,00 40,00 35,00 30,00 25,00 20,00 15,00 10,00 9.Sınıf 5,00 10.Sınıf 0,00 11.Sınıf 12.Sınıf Açıklama: Tablo ve grafikler, e-okul verileri kullanılarak oluşturulmuştur. OKUL ÖZ-DEĞERLENDİRME SİSTEMİ UYGULAMASI Özet: Bu metin aşağıdaki konu başlıklarını içermektedir: Okullarda Öz-Değerlendirme Sistemi oluşturmanın önemi Öz-Değerlendirme Sistemi aşamaları Öz-Değerlendirme Sisteminin hedefleri Öz-Değerlendirme Sistemine ayrılması gereken zamanın tespiti Okullarda hedeflerin tespit edilmesi ve bu yönde atılması gerekli adımlar Okullara Öz-Değerlendirme Sistemi konusunda destek hizmeti 1. ÖZ-DEĞERLENDİRME SİSTEMİ NEDEN ÖNEMLİDİR? Öz-Değerlendirme Sistemi, eğitim paydaşlarına sistemli bir şekilde Yansıtma, İyileştirme ve Girişimde bulunmaya imkan verdiği için önemlidir. Eğitim hedeflerinin ölçülebilir girdilere bağlı olarak ve takvime bağlı bir şekilde uygulanabilmesine imkan tanır. Her okul kendi eğitim ortamını en iyi şekilde değerlendirecek ve iyileştirebilecek kapasiteye sahiptir. Okul ekosisteminde varolan durumun tespiti, zamanlı iyileştirmelerin yapılması ve karar vericilerin doğru yönlendirilmesi açısından hazırlanacak raporlar çok önemlidir. 2. ÖZ-DEĞERLENDİRME SİSTEMİNİN AŞAMALARI NELERDİR? Okul liderliği, Öz-Değerlendirme Raporu (ÖDR) yazarken raporun işbirliği ve yansıtma temelli olmasına dikkat etmelidir. Zümrelerin ve aile birliğinin katılımı mutlaka sağlanmalıdır. Onlardan gelecek raporlar, şekilsel açıdan ziyade içerik açısından değerlendirmeye alınmalıdır. Öncelikle zümreler, rutin olarak dönem başı ve dönem sonu yaptıkları toplantı raporlarından faydalanarak alanlarındaki gerçek problemlerin üzerinden hareket etmeli ve zamana bağlı öneriler sunmalıdır. Zümre ÖDR raporu, 2 sayfayı geçmemeli ve somut, ölçülebilir öneriler sunmalıdır. Okul Aile Birliği, süreçte etkin bir şekilde yer almalıdır. Kendilerine süreç iyi anlatılmalı, görüşlerinin ve katılımlarının önemi vurgulanmalıdır. Okul Aile Birliği, Öz-Değerlendirme raporu, 2 sayfayı geçmemeli ve somut, ölçülebilir öneriler sunmalıdır. En son aşamada okul liderliği, eğitim paydaşlarının raporlarındaki tespitleri ve önerileri ve yönetimsel verileri okula özgü stratejik hedeflerin belirlenmesinde ve bunların aşama aşama gerçekleştirilmesi için bir takvim sunarak Öz-Değerlendirme Raporu (ÖDR) oluşturmalıdır. Raporda somut tespitler, iyileştirme önerileri ve takvime bağlanmış eylemler olmalıdır. 2013-2014 eğitim-öğretim dönemi için 12 ayı kapsayan bir plan yapılmalıdır. 3. ÖZ-DEĞERLENDİRME SİSTEMİNİN HEDEFLERİ NELERDİR? Öz-Değerlendirme sisteminin temel amacı, okul ekosistemindeki öğrenci kazanımlarının arttırılması ve sonuçta eğitim paydaşlarının tümünün içinde bulunduğu süreçlerin iyileştirilmesidir. Bunu sağlanabilmesi için okul ekosistemi içerisindeki öğretme-öğrenme ortamlarının gözden geçirilmesi gerekmektedir. Öz-Değerlendirme Raporu (ÖDR), aynı zamanda öğretmenlerin ve velilerin işbirliği temelinde okul yönetişimine katılmasını teşvik eder. Sisteme verdiği geri-dönütlerle öğretmenlere, okul liderliğine ve eğitim yöneticilerine sağlıklı teşhisler yapmalarına ve gerekli uygulamalarla önlem almalarına imkan verir. 4. ÖZ-DEĞERLENDİRME SİSTEMİNE AYRILMASI GEREKEN ZAMANIN TESPİTİ Öz-Değerlendirme Sistemine ayrılması gereken zamanın tespiti yapılırken okul liderliği şunlara dikkat etmelidir: Rapor yazılırken eğitim paydaşlarının önerileri dikkate alınmalıdır Bu gündemle planlama toplantıları yapılmalıdır. Eylem planı ve takvime beraber karar verilmelidir. Bir diğer dikkat edilmesi gereken husus, bu toplantıların amacının evrak üretmekten ziyade eğitim ortamlarının kalitesinin arttırılması olduğunun açıkça belirtilmesidir. 5. ÖZ-DEĞERLENDİRME RAPORU (ÖDR) DÖNGÜSÜ 1 Haziran – 30 Haziran 2013 Zümre raporlarının yazılması ve toplanması Okul Aile Birliği raporunun yazılması ve toplanması 1 Temmuz – 15 Ağustos 2013 Okul Liderliğinin Öz-Değerlendirme raporunun (ÖDR) hazırlanması ve Edirne İl Milli Eğitim Müdürlüğüne sunulması İLGİLİ MEVZUAT: MEB DENETİM VE REHBERLİK DAİRE BAŞKANLIĞI LİSE DENETİM REHBERİ Md 16: Okulun varsa bölümlerin özelliğine göre yapılacak diğer faaliyetler ile ilgili görüşmelere yer verilmesi Md 17: Öğrencilerin hazır bulunuşlukları dikkate alınarak, öğrenmelerini engelleyen eksikliklerin tamamlanması; kapasiteleri doğrultusunda yetişmeleri hususunda gerekli görüşmelere yer verilmesi Md 28: Eğitim-Öğretimin planlanması, zümre ve branşlar arası bilgi akışı ve paylaşımı ile öğrenci başarısının arttırılması, derslerin öğretim programlarında ortak hedeflere ulaşılması, eğitimde niteliğin yükseltilmesine yönelik gerekli önlemlerin alınmasına yönelik kararlar alınması Md 5/e: Eğitim Standartlarının Yükseltilmesi ve Eğitimde Kalite: Eğitim bölgelerinde hizmet veren personel, kullanılan bina, tesis ve araç ve gereç ile eğitim uygulamalarında, ulusal ve uluslararası en üst düzeyde kabul gören eğitim standartlarına ulaşılmasına, eğitimde kalitenin arttırılmasına ve bunun sürekliliğinin sağlanmasına özen gösterilmesi Md 20: Öğretim programlarının uygulanması ve geliştirilmesi yönünde oluşturulan görüşleri okul yönetimine bildirir. Kaynakça 1. www.rand.org 2. http://www.broadfoundation.org/ 3. Sabancı Üniversitesi Eğitim Reformu Girişimi: Uluslararası Akreditasyon Sistemleri Allensworth, Elaine, and John Q. Easton, The On-Track Indicator as a Predictor of High School Graduation, Chicago, Ill.: Consortium on Chicago School Research, June 2005. As of February 16, 2011: http://ccsr.uchicago.edu/content/publications.php?pub_id=10 ———, What Matters for Staying On-Track and Graduating in Chicago Public Schools, Chicago, Ill.: Consortium on Chicago School Research, July 2007. As of February 16, 2011: http://ccsr.uchicago.edu/content/publications.php?pub_id=116 Altman, J. R., S. S. Lazarus, R. F. Quenemoen, J. Kearns, M. Quenemoen, and M. L. Thurlow, 2009 Survey of States: Accomplishments and New Issues at the End of a Decade of Change, Minneapolis, Minn.: University of Minnesota, National Center on Educational Outcomes, 2010. As of February 16, 2011: http://www.cehd.umn.edu/NCEO/onlinepubs/StateReports/2009_survey_of_s tates.htm Baker, Eva L., Paul E. Barton, Linda Darling-Hammond, Edward Haertel, Helen F. Ladd, Robert L. Linn, Diane Ravitch, Richard Rothstein, Richard J. Shavelson, and Lorrie A. Shepard, Problems with the Use of Student Test Scores to Evaluate Teachers, Washington, D.C.: Economic Policy Institute, Briefing Paper 278, August 27, 2010. As of February 16, 2011: http://www.epi.org/publications/entry/bp278 Baker, Eva L., Robert L. Linn, Joan L. Herman, and Daniel Koretz, Standards for Educational Accountability Systems, Los Angeles, Calif.: National Center for Research on Evaluation, Standards, and Student Testing, Policy Brief 5, Winter 2002. As of February 16, 2011: http://www.cse.ucla.edu/products/policy/cresst_policy5.pdf