geçerlik ve güvenirlik

Transkript

Ölçme
GEÇERL K VE GÜVEN RL K
Validity and Reliability
L.Akgün-S.Çelik
Ölçme, birey ya da
nesnelerin
niteliklerinin uygun
araçlar kullanılarak
gözlenip, gözlem
sonuçlarının
sembollerle
gösterilmesidir.
Eğitimde Araştırma Yöntemleri
Temel Kavramlar...
!  Niteliklerin kendileri ile aynı türden
araçlarla ölçülmesi do rudan ölçmedir.
Metre ile uzunlu un, terazi ile a ırlı ın
Temel Kavramlar...
! Ölçme düzeyi (ölçek türü), birey ya da
nesnelerin ölçülen özelliklerine ili kin elde
edilen ölçme sonuçlarının matematiksel
nitelikleridir. Sınıflama, sıralama, aralık ve
oran olmak üzere dört ölçme düzeyi vardır.
ölçülmesi gibi.
!  Niteliklerin göstergeleri ile ölçülmesi
dolaylı ölçmedir. Test ile ba arının,
anket ile görü lerin ölçülmesi böyledir.
! Ölçme hatası, gözlenen puanların gerçek
puanlardan olan sapma miktarıdır. Ölçmelere
karı an hatalar sabit, sistematik ve
tesadüfi (seçkisiz) olmak üzere üç grupta
incelenir.
1
Güvenirlik...
Güvenirlik...
! Ölçme sonuçlarının tesadüfi
hatalardan arınık olma derecesidir.
! Aynı bireyler üzerinde aynı ya da
paralel formlar kullanılarak yapılan
ölçmelerin tutarlılı ıdır.
! Bir özelli in do ru olarak
ölçülebilme derecesidir.
Güvenirlik...
(Fraenkel & Wallen, 2000)
Not - Güvenirlik...
Farklı ara tırmacılar aynı yöntemleri kullanarak ara tırmayı
tekrar edebiliyor ve benzer sonuçlar elde edebiliyorsa veriler
güvenilirdir.
Güvenirlik" Tekrarlanabilirlik
•  Güvenirlik, aracın kendisine değil, bir ölçme aracıyla
elde edilmis ölçümlere (veya sonuçlara) isaret eder.
Güvenirlik testin kendisinin değil, eldeki veriler veya
ölçümlerin bir özelliğidir. Böylelikle, testin güvenirliği
veya aracın güvenirliği ya da test güvenilirdir diye
ifade etmek doğru değildir.
• Güvenirlik, yalnızca kullanılmıs olan ölçme aracı
tarafından değil, örneklem tarafından da
etkilenmektedir.
• Bir test güvenilir veya güvenilmez değildir ve test
ölçümleri veya eldeki veriler güvenilir veya
güvenilmezdir.
2
Güvenirlik ve Üç Kavram...
Tutarlılık: Bir ölçme aracındaki (test) maddelerin
(soruların) test bütünü ile olan uyumudur
Kararlılık: Ölçme konusu olan özellik aynı ölçme
aracıyla farklı zamanlarda birkaç defa
ölçüldüğünde aynı değerleri vermesi durumudur.
Duyarlılık: Ölçme aracının veya ölçme sonuçlarının
biriminin büyüklülüğü ile ilgilidir. Birimi aralığı
küçük olan ölçme daha güvenilirdir.
Güvenirli i inceleme yöntemleri...
II. İki uygulamaya dayalı yöntemler
!  Eşdeğer (Alternatif, Paralel) Formlar
!  Test-Tekrartest: Aynı test ya da eş formlar belli
aralıklarla
I. Tek uygulamaya dayalı yöntemler
! Kuder Richardson (KR) 20-21: D/Y, E/H ikili
cevap seçenekleri –Maddelerin birbiriyle
tutarlılığı! Cronbach Alpha: Derecelemeli cevap (Likert)
seçenekleri
! Testi Yarılama: Spearman Brown ve Rulon
formülleri
III. Değerlendirmeciler Arası Tutarlılık: İki veya
daha çok uzmanın aynı nitelikleri aynı yönergeye
dayalı değerlendirmeleri arasındaki uyumun düzeyidir.
IV.Ölçmenin Standart Hatası. Bireysel puanların
yorumlanmasında kullanılır. Belli güven düzeyleri için
bireyin teste ilişkin gerçek puanının (performansının)
hangi sınırlar içinde kalacağını tahmin etmede
kullanılanılır.
3
Güvenirli i etkileyen faktörler
# Ölçme aracı
# Ölçme yöntemi / aracı ve kullanılan soru sayısı
# Soruların homojenliği
# Yönerge
# Puanlama nesnelliği
# Testi alan birey ve gruba bağlı faktörler
# Bireyin sağlık durumu
# Grubun heterojen olması
# Uygulama koşulları ve zaman
Geçerlik
• Ölçülmek istenen özelliğinin diğer
özelliklerle karıştırılmaksızın ölçülebilme
derecesidir.
• Ölçme sonuçlarının geçerliği, amaçlanan
ölçmenin gerçekleştirilebilme derecesidir.
Geçerli i Etkileyen Faktörler
! Ölçme sonuçlarının güvenirliği
! Ölçme yöntemi ve soru sayısı
! Puanlayıcı yanlılığı
! Uygulama koşulları
Geçerlik Türleri
•  Ölçülmek istenen özelliğin diğer özelliklerle
karıştırılmadan ölçülebilme derecesidir. Geçerlik
sonuçlarımızın, yaptığımız çıkarımların veya
önerilerimizin gücüdür.
–  Internal Validity (İç Geçerlik): Bir araştırmanın
doğruluğu ile ilgilidir. Araştırmacı düşündüğü şeyi
doğru olarak gözlüyor veya ölçüyor mu?
–  External Validity (Dış Geçerlik): Çalışmanın
sonuçlarının diğer örneklere ve durumlara
genellenebilirliği ile ilgilidir.
4
Ara tırmada Geçerlik
Validity " Accuracy
Geçerlik-Do ruluk
Geçerlik- Güvenirlik li kisi
Bir ölçüm güvenilir olabilir, fakat geçerli de ildir,
(Kafatasi Ornegi).
Bir ölçüm geçerlikten önce ilk olarak güvenilir olmalıdır.
Bu yüzden güvenirlik gereklidir, fakat yeterli de ildir,
(geçerlik artı)
Bir ölçüm sürekli olarak bir olguyu ölçebilir, fakat ölçüm
istedi iniz eyi test etmedikçe, geçerli de ildir.
Geçerlik- Güvenirlik
Alanyazın bu konuda ikiye ayrılır:
• Nicel ara tırma gelene ini kullanan ara tırmacılar
• N itel ara tırmanın alternatif terimlerini kullanan
ara tırmacılar
Merriam, S. B. (1998)
•  Internal Validity
•  Reliability(Güvenirlik)
–  Çe itleme
–  Ara tırmacıların
pozisyonu
–  Üye kontrolleri
–  Çe itleme
–  Uzun süreli gözlem
–  Denetim yolu
–  Akran de erlendirmesi
–  Ara tırmacı önyargıları •  External Validity
–  Zengin,ayrıntılı anlatım
–  Çoklu durumlar
5
Lincoln & Guba (1985)
•  Credibility (inandırıcılık)
•  Confirmability (teyit
–  Çe itleme
edilebilirlik)
–  Uzun süreli gözlem
–  Çe itleme
–  Sürekli gözlem
–  Çoklu yöntemler
•  Transferability (Aktarılabilirlik)
–  Denetim yolu
–  Zengin, ayrıntılı anlatım
•  Dependability
(tutarlık)
–  Denetim yolu
Nitelde Güvenirlik
•  Nitel ara tırmalarda güvenirlik= teyit edilebilirlik (objektiflik)
anlamında kullanılır.
–  Farklı ara tırmacılar benzer sonuçlara ula ırlar
–  Tekrarlanan çalı malar benzer gözlemler üretirler
–  Çoklu ara tırmacılar aynı veriden benzer yorumlar
yaparlar (üretirler)
Terimler
–  Pozitivist kavramlar güvenirlik ve geçerlik
–  Güvenirlik ve geçerlik için alternatif kavramlar
•  Credibility(inandırıcılık) equivalent to internal validity
•  Transferability(aktarılabilirlik) equivalent to external
validity
•  Dependability(tutarlık) equivalent to reliability
•  Confirmability(teyit edilebilirlik) equivalent to
objectivity
Nitelde ç Güvenirlik
•  ç güvenirlik: Ba ka ara tırmacıların aynı veriyi
kullanarak aynı sonuçlara ula ıp ula amayaca ına
ili kindir.
•  Verilerin Betimsel Bir Yolla Do rudan Sunulması
•  Çoklu Ara tırmacılar
•  Çoklu Yöntemler
•  Akran De erlendirmesi
•  Kavramsal Çerçeveye Ba lı Olarak Yapılan Veri
Analizi
6
Nitelde Dı Güvenirlik
•  Dı Güvenirlik: Ara tırma sonuçlarının benzer
ortamlarda aynı ekilde elde edilip edilemeyece ine
bakar.
• Ara tırmacının Pozisyonu
• Veri Kaynaklarının Seçimi ve Tanımlanması
• Sosyal Ortamlar ve artlar
• Kavramsal Çerçevenin Tanımlanması
• Veri Toplama ve Analiz Yöntemleri
– Nitel veriyi analiz etmek belirsiz, sezgisel ve
ki iseldir.
Nitelde güvenilir bir veri için
1. 
2. 
3. 
4. 
Görü melerin, gözlemlerin, vs. detaylı kayıtları
Yazılı alan notları
Analizlere ve yorumlara grup yakla ımları
Güvenilir bir transkript için
a. Transkriptlerin ba ımsız de erlendirilmesi
b. Ba kaları tarafından denetime açık kayıtlar ve transkriptler
c. Aynı ki i veya farklı ki iler tarafından video-kasetlerin çoklu izlenimleri
d. Aynı ki i veya farklı ki iler tarafından ses-kasetlerin çoklu dinlenimleri
e. Aynı ki i veya farklı ki iler tarafından ses-kasetlerin çoklu transkriptleri
5.  Gözlemci güvenirli ini de erlendirmek için
a. ki gözlemci gerçekle mekte olan ey üzerinde fikir birli inde mi?
b.Gözlemcileri e itme
c. Gözlemcileri izleme
Nitelde güvenilir bir veri için
1.  Triangulation (Çe itleme)
2.  Peer Examination (Akran De erlendirmesi)
3.  Audit Trail (Denetim Yolu)
Nitel Ara tırmada Geçerlik
• Bulguların ve verilerin geçerli i ara tırmanın do rulu u ve
tamlı ı (mükemmelli i) anlamına gelir(Lewis J. & Ritchie J.).
•  Nitel ara tırmada çalı ılan olgu, ara tırma popülasyonu
tarafından algılandı ı gibi do ru bir ekilde yansıtılmalıdır.
7
Nitel Ara tırmada Geçerlik (devam)
• Bir problemi ara tırmayı veya bir durumu , bir süreci,
sosyal bir grubu, veya etkile imli bir modeli açıklamayı
amaçlayan nitel bir çalı manın gücü onun geçerli i ile
ilgilidir(Marshall & Rossman).
• N itel literatürde geçerlik için bazen credibility,
transferability or plausibility gibi alternatif terimler kullanılır.
Nitel Ara tırmada Geçerlik (devam)
• Ara tırmacı dü ündü ü eyi gerçekten gözlemliyor veya ölçüyor
mu?"
Internal Validity
• Bir ara tırmanın sonuçları benzer ortamlara ve durumlara
genellenebiliyor mu?"
External Validity
(LeCompte & Goetz)
ç Geçerlik
ç Geçerlik (devam)
• Ara tırma bulguları kendi içinde tutarlı ve anlamlı mıdır?
• Bulguları teyit etmede kullanılan kurallar stratejiler var mı?
• Açık olmayan olgular ya da olaylar belirlenmi midir?
• Bulgular ara tırmaya katılan bireyler tarafından gerçekçi
bulunmu mudur?
ç geçerli i artırmak için;
1.  Çe itleme -Triangulation
2.  Üye kontrolleri- Member checks
3.  Uzun süreli gözlem-Long-term observation
4.  Akran de erlendirmesi-Peer examination
5.  Ara tırmanın katılımcı ve i birlikçi a amaları-Participatory
or collaborative modes of research
6.  Ara tırmacının önyargıları-Researcher’s biases
(Merriam, S. B.)
(Lewis & Ritchie).
8
1.  Çe itleme : çok sayıda ara tırmacı, çoklu veri kaynakları, veya
4.Akran de erlendirme: bulgularda ortay çıkan yorumların
2.  Üye kontrolleri: elde edilen sonuç veya çıkarımlar makul ve
5.Ara tırmanın katılımcı ve i birlikçi a amaları:
bulguları do rulamak için çoklu yöntemler kullanmak.
mantıklı mı? bunları elde etti imiz veri kaynaklarına tekrar kontrol
ettirme
3.  Uzun süreli gözlem: bulguların geçerli ini artırmak için aynı
olguyu uzun süreli veya tekrarlı gözlemlere tabii tutmak
Dı Geçerlik
meslekta lar tarafından de erlendirilmesi
çalı manın kuramsal a amasından bulguların yazım a amasına kadar
tüm a amalarda katılımcıların yer alması
6. Ara tırmacı ön yargıları: çalı manın ba ında ara tırmacının
varsayımları, dünya görü ü, ve teorik e ilimi açıklı a kavu turulmalı.
Dı Geçerlik (devam)
• Dı geçerlik ara tırma sonuçlarının genellenebilirli ine
ili kindir. E er bir ara tırmanın sonuçları benzer ortamlara
ve durumlara genellenebiliyorsa ara tırmanın dı
geçerli inin oldu u söylenebilir.
• N itel ara tırmada, ara tırmacı özel bir durumu
derinlemesine anlamak istedi inden (ço unlu un gerçe ini
bulmak istemedi inden) tek bir durum veya küçük rastgele
olmayan bir örneklem seçer(Merriam, S. B.).
Sosyal olayların, içinde bulunan ortama göre
de i ti i varsayımından hareketle hiçbir ara tırmanın
sonuçları ba ka bir duruma do rudan genellenemez.
Ancak bir dereceye kadar benzetilerek genellenebilir.
Nicel ara tırmada bu genelleme do rudan
olabilirken nitel ara tırmada genelleme dolaylı
olarak yapılabilir.
• “Üretilen, i lenen veya test edilen soyut yapıların veya
postulatların” popülasyon içindeki di er gruplara
uygulanabilirli i ile ilgilidir(LeCompte & Goetz).
9
• Ara tırma örnekleminin ortamının ve süreçlerinin
özellikleri ba ka örneklemlerle kar ıla tırma
yapabilecek düzeyde ayrıntılı olarak tanımlanmı
mıdır?
• Ö rneklem genellemeye izin verecek ölçüde
çe itlendirilmi midir?
Nitel ara tırma sonuçlarının olasılı ını artırmak için;
1.  Zengin, ayrıntılı anlatım:
2. Özgün ve kalıcı kategori:
3. Çoklu durumlar:
• Ara tırma sonuçları ara tırma sorusu ile ilgili
kuramlarla tutarlı mıdır?
• Ara tırma bulguları benzer ortamlarda kolaylıkla
test edilebilir mi?
Geçerliliği Ve Güvenirliği Sağlamak
Amacıyla Kullanılan Stratejiler
Her nitel ara tırmacının bu soruların tümüne do ru
yanıtlar vermesi güç olabilir. Ancak ara tırma
sonuçlarının benzer ortamlara genellenebilmesi için
ara tırmacının okuyucuyu yaptı ı çalı manın tüm
a amaları hakkında ayrıntılı bir ekilde bilgilendirmesi
gerekmektedir.
Ölçüt
Nicel araştırma
Nitel araştırma
Kullanılan
yöntemler
Araştırma
sonuçları yoluyla
gerçeğin doğru
temsili
İç geçerlik
İnandırıcılık
Uzun süreli
Etkileşim, derinlik
odaklı veri
toplama ,
Çeşitleme, uzman
İncelemesi,
katılımcı teyidi
Sonuçların
uygulanması
Dış geçerlik
(genelleme)
Aktarılabilirlik
Ayrıntılı
betimleme ,
amaçlı
örnekleme
Tutarlılığı
sağlama
İç güvenirlik
Tutarlılık
Tutarlılık
incelemesi
Nesnel olma
Dış güvenirlik
Teyit edilebilirlik
Teyit incelemesi
10
Nitel ve Sosyal Bilimlerde Geçerlik ve Güvenirlik
Kolay De ildir?
Özet Olarak Geçerlik ve Güvenirlik
–  Do al yapılar ve tekli durumlar tekrarlanabilir de ildir
–  Ara tırmacının ki isel stratejileri
–  nsan davranı ı dura an de ildir
–  Etkile im günden güne de i ir
Eğitimde
Araştırma
Yöntemleri2000)
(Fraenkel
& Wallen,
peki biz ne yapmalıyız?
1. Consistent Observation
Guidelines
2. Triangulation
Guidelines
Tutarlı/uyumlu Gözlem
Çe itleme/Güçlendirme
Helps:
•  Katılımcılara güven telkin etme
•  Kültürü ö renme
•  De i imleri gözleme
•  De i imleri anlama
Helps:
•  Bulguların niteli ini artırma
How:
•  Ara tırmacı ve katılımcıları e itme
How:
•  Çoklu ara tırmacılar kullanma
•  Çoklu veri kayna ı kullanma
•  Çoklu yöntemler kullanma
11
3. Peer Review
Guidelines
4. Negative Case Analysis
Akran De erlendirmesi
Ters Durum Analizi
Helps:
•  Ara tırma sürecinin dı denetimini sa lama
Helps:
•  Hipotezlerin işlerliğini kontrol etme
How:
•  Elde edilen bulgular üzerinde akranların yorumunu alma
•  Akran sorgulaması ara tırmacı dürüstlü ünü ortaya koyar
How:
•  Negatif ve doğrulanmayan kanıtlar ışığında
5. Clarifying Researcher Bias
Guidelines
Guidelines
6. Member Checks
Guidelines
Ara tırmacının Yanlılı ını ve Önyargılarını Açıklama
Çıkarımları Veri Kayna ına Kontrol Ettirme
Helps:
•  Ara tırmayı etkileyen önyargıları veya
ddiaları anlama
Helps:
•  Bulgular ve yorumların inandırıcılı ı ile ilgili veri kaynaklarının
görü lerine ba vurma
How:
•  Ara tırmacı çalı maya yakla ımında ve yorumunu
ekillendirmede geçmi deneyimlerini, önyargılarını ve
e ilimlerini katıyor mu?
How:
•  Katılımcılardan ara tırmacının çalı masının kaba tasla ını
incelemeleri ve alternatif dil, ele tirel gözlemler veya
yorumlar yapmaları istenebilir.
12
7. Rich, Thick Description
Guidelines
8 - External Audits
Guidelines
Yöntemin Zengin ve Ayrıntılı Anlatılması
Dı Denetime Açma
Helps:
•  Aktarılabilirlik ile ilgili kararlar alma
Helps:
•  Hem süreci hem de sonucu inceleme,
onların do rulu unu de erlendirme
How:
•  çalı madaki katılımcıları ve kuramsal
yapıyı detaylı bir ekilde tanımlama
How:
•  Dı bir uzman
•  Sonucu de erlendirmede, denetçi bulguların, yorumların,
ve sonuçların veriler tarafından desteklenip
desteklenmedi ini inceler
Instrument
Strategy
1. Validity
Study
Strategy
1. Internal
Validity /
Credibility
Criteria
1.1.Triangulatio
n
1.2.Member
checking
1.3.Peer
examination
1.4.Researcher’s
biases
2. External
Validity /
Transferability
2.1.Nominated
sample
2.2.Dense
description
3. Reliability /
Dependability
3.1.Dependabilit
y audit
3.2.Methodolog
y Triangulation
3.3.Peer
examination
3.4.Evaluation
3.5. Reliable
transcribe
Application
1.1. The questionnaires (Q1, Q2, and Q4) and all interview guides
were developed after doing a literature review.
1.2. Each of the questionnaires and interview guides were examined
by at least three peers (graduate students).
1.3. Each of the questionnaires and interview guides were reviewed
by at least four experts.
1.4. Pilot tests were conducted to decrease the researcher’s biases
for the questionnaires (Q2 and Q4) and all guides.
1.5. All instruments were checked by a Turkish language expert for
clarity of the language.
2. Reliability
1.6. Each question on the questionnaires and interview guides had
just one thought.
2.1. The questionnaires (Q1, Q2, and Q4) and all interview guides
were developed after doing a literature review.
2.2. Pilot tests were conducted to check reliability of the
questionnaires (Q2 and Q4) and all guides.
2.3. Most of the questions on the questionnaires and guides were
relevant to answering the research questions.
4. Objectivity /
Conformatibilit
y
Application
1.1.1. The data collection methods, data analysis, and literature review
were used to verify interviews and categorization of the data gathered.
1.2.1. Interview participants reviewed the accuracy of the details in the
transcriptions of each interview. Transcripts and open-ended responses
were also triangulated with literature.
1.3.1. The synthesis of all data gathered was reviewed by peers,
advisor, and co-advisor of the study.
1.4.1. The researcher’s assumptions, limitations, delimitations, and
theoretical orientation at the outset of the study were clarified.
1.4.2. The results of the study were compared to the literature in the
chapter 5.
2.1.1. Every used sampling technique and the criteria for selecting
participants were provided in “population and sample” sections.
2.2.1. A complete description of methodology was given in this chapter
(3).
3.1.1. All questions in the instruments were developed after doing a
literature review and conducting pilot interviews. A full description of
the data analysis protocol is provided in this chapter (3). In addition,
advisor and co-advisor of the study provided valuable input with
respect to interview and open-ended material.
3.2.1. The research methodology was fully described. The data
collection methods and data analysis were used to triangulate and
verify interviews and categories were identified from the data gathered.
3.3.1. The synthesis of all data gathered was reviewed by peers,
3.4.1. A consensus discussion of the synthesized data was held with the
researcher, advisor, and co-advisor of the study.
3.5.1. Tapes/transcripts open to inspection by others.
3.5.2. Multiple listenings and transcriptions of audio tape by the
researcher and a different person.
4.1.Confirmabili 4.1.1. The synthesis of all data gathered was reviewed by peers,
ty Audit
13
KAYNAKLAR
Büyüköztürk, ., Kılıç Çakmak, E., Akgün, Ö.E., Karadeniz, . ve Demirel, F. (2008). Bilimsel ara tırma yöntemleri.
Ankara: Pegem Yayınları.
Bogdan, R. C. & Biklen, S. K. (1998). Qualitative research methods for education: An introduction to theory and methods.
Needham Heights, MA: Allyn and Bacon.
Cohen, L., Manion, L., & Morrison, K. (2000). Research methods in education (5thed.). New York: RoutledgeFalmer.
Creswell, J. W. (1998). Qualitative inquiry and research design: Choosing among five traditions.Thousand Oaks, CA: Sage.
Fraenkel, J. R., & Wallen, N. E. (2000). How to design and evaluate research in education (4 ed.). New ork:McGraw Hill.
Le Compte, M. D. & Goetz, J. P. (1982). Problems of reliability and validity in ethnographic research. Review of
Educational Research, 52, 31-60.
Marshall, C. & Rossman, G. B. (1999). Designing qualitative research (3rd ed.). Thousand Oaks, CA: Sage.
Merriam, S. B. (1998). Qualitative research and case study applications in education. (2 ed.) San Francisco: Jossey-Bass.
Stake, R. E. (1995). The art of case study research. Thousand Oaks, CA: Sage Publications.
Strauss, A. L. & Corbin, J. (1990). Basics of qualitative research: Grounded theory procedures and techniques. Thousand
Oaks, California: Sage.
Yıldırım, A. & Şimşek, H. (2000). Sosyal bilimlerde nitel araştırma yöntemleri [Qualitative research methods in social
sciences] (2nd ed.). Ankara: Seçkin Yayıncılık.
Yin, R. K. (1996). Case study research: Design and methods. (2nd ed.) Thousand Oaks, CA: Sage.
Bu sunum; yukarıdaki sunu ve kaynaklardan yararlanılarak hazırlanmı tır.
Emek sahiplerine te ekkür ederiz...
14

geçerlik ve güvenirlik

Transkript

Benzer belgeler

EBAP İlçe Okul Müdürleri Bilgilendirme/İstişare Toplantıları

Pınar Türker

Reliability and Validity Study of Turkish Form of the Psychological

ebiko şartname

Akademik ve Mesleki Özgeçmiş Verdiği Dersler Eğitimi

Ölçeklerde Güvenirlik ve Geçerlik - Uludag Üniversitesi Tip Fakültesi

Çocuk ve Drama

Eğitimde Teknoloji Kullanımı - BTO 305