test verifikasyonu - Düzen Laboratuvarlar Grubu

KULLANICI TARAFINDAN
TESTİN DOĞRULANMASI
(VERİFİKASYON)
Dr. Murat Öktem
Düzen Laboratuvarlar Grubu
Kaynaklar
• CLSI EP5-A2: Evaluation of Precision Performance of Quantitative
•
•
•
•
•
•
•
Measurement Methods (2004)
CLSI EP6-A2: Evaluation of the Linearity of Quantitative Measurement
Procedures: A Statistical Approach (2003)
CLSI EP9-A2: Method Comparison and Bias Estimation Using Patient
Samples (2002)
CLSI EP10-A3: Preliminary Evaluation of Quantitative Clinical Laboratory
Measurement Procedures (2006)
CLSI EP15-A2: User Verification of Performance for Precision and
Trueness (2005)
CLSI EP17-A: Protocols for Determination of Limits of Quantitation
(2004)
CLSI EP28-A2: How to Define and Determine Reference Intervals in the
Clinical Laboratory (2000)
CAP Laboratory General Checklist, 2007
2
Geçerli Kılma (Validasyon) – Doğrulama (Verifikasyon)
• Mühendislik
• Yazılım
• Eğitim
• İlaç endüstrisi
• İstatistik
• Dokümantasyon
• Sosyoloji
• Test metotları
• Öngörü / Tahmin
3
Testin Geçerli Kılınması (Validasyon)
• Tanım
• Referans
Testin Doğrulanması (Verifikasyon)
• Kullanıcı tarafından kesinlik (precision) ve doğruluk
(trueness) yönünden üretici beyanının doğrulanması
• Sadece üretici bilgileri ve validasyonu yeterli değildir, her
laboratuvar kendi verifikasyonunu yapmalıdır
• Verifikasyon rutin çalışma öncesi yapılmalıdır
• Yılda iki kez tekrarlanmalıdır
4
Testin Doğrulanması (Verifikasyonu)
• Analitik doğruluk (accuracy)
• Metot karşılaştırma
• Tekrarlanabilirlik (precision)
• Analitik duyarlılık (sensitivity) (Alt ölçüm sınırı)
• Analitik etkileşim (interference)
• Rapor edilebilir aralık
• Analitik ölçüm aralığı (analytical measurable range)
• Klinik rapor edilebilir aralık (clinical reportable range)
• Referans aralığı
5
Analitik doğruluk (accuracy)
1. Referans metotla karşılaştırma
2. Kontrol materyali ile karşılaştırma
(QC1, QC2, QC3)
6
Metot Karşılaştırma – 1
• En basiti 20 örnek çalışılmasıdır (CLSI-EP15-A2)
Bu örnekler beklenen aralıkta olmalıdır (M1-M20)
• Aynı örnekler 2 metotla da çalışılır
• Ortalama bias hesaplanır ve değerlendirilir
• Temel kitaplar (Tietz, Kaplan, vb.), CLIA limitleri,
Westgard web sitesi gibi kaynaklarla karşılaştırılır
7
Metot Karşılaştırma – 2
• Regresyon analizi ile karşılaştırma yapılması çok daha
iyidir. İdeal sonuç slope=1, intercept=0, r=0,99
• Slope: Proportional bias, genellikle metotlar arası kalibrasyon
farkına bağlıdır
• Intercept: Constant bias, kalibrasyon veya set pointe bağlı
olabilir
• r: Çizilen çizgiye yakınlığı gösterir. Outlier ve tekrar gereklilikleri
gözden geçirilmelidir
• Ör: y= 1,28x – 44,6
• Slope 1,28
Demek ki yeni metot %28 daha yüksek sonuç veriyor
• Intercept -44,6
Demek ki yeni metotla absolute fark 44,6 birim daha düşük
8
Metot Karşılaştırma – 3
• Bias plot: İki metot arası % farklarla ayrı bir grafik
de hazırlanabilir. Bu sayede hangi düzeyde ne
kadar fark var görülebilir
• Bias varsa öncelikle kalibratör gözden geçirilmelidir
• Daha fazla örnek ile karşılaştırma yapmak gerekir
• Problem olan düzeye odaklanmak faydalı olabilir
• Dış kalite kontrol verileri de takip edilmelidir
9
Tekrarlanabilirlik (Precision)
• 2 düzey, 5 gün, 3’er çalışma yap (EP15-A2) (QC1, QC2)
• SS hesapla ve üretici verisi ile karşılaştır. SS yüksekse
neden araştır
• Klinik olarak karşılaşılabilecek düzeydeki örnekleri kullan.
Referans aralığı içinde olması şart değil
• Stabil olmayan analitler için hasta örnekleri yerine, ticari
kontrol veya kalibratörler kullanılabilir
10
Analitik Duyarlılık (Sensitivity)
(Alt ölçüm sınırı)
• Blank ve düşük düzey pozitif örnekler kullanılır
• Blank: Zero kalibratör
• Düşük düzey pozitif örnek ise üretici verilerine göre seçilir
• 20 blank çalış. ≥17 alt ölçüm sınırından düşük ise blank
valide edilmiştir (BL1-BL20)
• 20 düşük düzey çalış, >17 blank’in üzerinde ise alt ölçüm
sınırı valide edilmiştir (LP1-LP20)
11
Analitik Etkileşim (Interference)
• Bu madde için onaylanmış bir prosedür yoktur
• Hemolizli (H1-H5), Lipemik (L1-L5), Diyaliz (D1-D10)
• Toplam 20 çalışma yap
12
Rapor Edilebilir Aralık
• Analytical measurable range (AMR) (QC1, QC2, QC3)
• Cihazın direkt olarak rapor edebileceği sınırlar
• Linearite olarak da adlandırılır
• Metot kullanıma girmeden teyit edilmelidir
• 3 düzey kullanılır (düşük, orta, yüksek)
• Hasta örneği, kontrol, vb. kullanılabilir
• Clinically reportable range (CRR)
• Dilüsyon, vb. ile rapor edilebilecek sınırlar
• Laboratuvar yöneticisinin kararıdır, teyit gerektirmez
13
Referans Aralığı
• Her laboratuvarın kendi referans aralığını belirlemesi gerekmez
ama belirlenmiş referans aralığını teyit etmesi gerekir
• Kullanılabilecek kaynaklar
• Üretici önerileri
• Referans laboratuvarlar
• Makaleler
• Daha önce kullanılan/belirlenmiş referans aralıklar
• 20 sağlıklı olduğunu düşündüğün birey seç ve çalış (N1-N20)
• <2 limit dışı ise referans aralığı teyit edilmiştir
• ≥2 limit dışı ise yeni bir 20’li set çalış
• Teyit edilemezse yeniden referans aralık belirlenmesi gerekir
• Gaussian dağılım gösteriyorsa 120 örnek, göstermiyorsa 200 örnek ile
çalışma yapılmalıdır
14
Testin Doğrulanması (Verifikasyonu)
• Ticari kitler
• Laboratuvar içi geliştirilmiş, kalitatif dahil
uyarlanan tüm metotlar
• İlaç analizleri
15
Ticari kitlerin metot doğrulaması
sırasında tüm bu işlemlerin
yapılması şart değildir
Yapılması mecbur olanlar
• Analitik doğruluk (Accuracy)
• Tekrarlanabilirlik (Precision)
• Rapor edilebilir aralık
• Analytical measurable range (AMR)
• Clinically reportable range (CRR)
• Referans aralığı
16
*
* Yoksa, firmanın sağladığı kontrol örneği sadece o cihaz ve reaktif için kullanılabilir
17
18
Hazırlanacak örnekler (Mecburi)
QC1
QC2
QC3
N1-N20
15
15
7
20
Çalışma programı (n= minimum 30 + 20)
Çarşamba
Perşembe
Cuma
QC1, QC2, QC3 QC1, QC2
QC1, QC2
QC1, QC2
QC1, QC2
QC1, QC2, QC3 QC1, QC2
QC1, QC2
QC1, QC2
QC1, QC2
QC1, QC2, QC3 QC1, QC2
QC1, QC2
QC1, QC2
QC1, QC2
Pazartesi
QC1, QC2, QC3
Salı
N1-N20
QC1, QC2, QC3
QC1, QC2, QC3
QC1, QC2, QC3
19
Hazırlanacak örnekler (Genişletilmiş)
QC1
20
QC2
20
QC3
7
M1-M20
20 (rastgele seçilmiş serum)
BL1-BL20
20
L1-L20
20
H1-H5
5
LP1-LP5
5
D1-D10
10
20
Çalışma programı (n=125)
Çarşamba
Perşembe
Cuma
QC1, QC2, QC3 QC1, QC2
QC1, QC2
QC1, QC2
QC1, QC2
QC1, QC2, QC3 QC1, QC2
QC1, QC2
QC1, QC2
QC1, QC2
QC1, QC2, QC3 QC1, QC2
QC1, QC2
QC1, QC2
QC1, QC2
BL-BL20
L1-L20
H1-H5
Pazartesi
QC1, QC2, QC3
Salı
M1-M20
QC1, QC2, QC3
LP1-LP5
QC1, QC2, QC3
D1-D10
QC1, QC2, QC3
21
Kaynaklar
• CLSI EP5-A2: Evaluation of Precision Performance of Quantitative
•
•
•
•
•
•
•
Measurement Methods (2004)
CLSI EP6-A2: Evaluation of the Linearity of Quantitative Measurement
Procedures: A Statistical Approach (2003)
CLSI EP9-A2: Method Comparison and Bias Estimation Using Patient
Samples (2002)
CLSI EP10-A3: Preliminary Evaluation of Quantitative Clinical Laboratory
Measurement Procedures (2006)
CLSI EP15-A2: User Verification of Performance for Precision and
Trueness (2005)
CLSI EP17-A: Protocols for Determination of Limits of Quantitation
(2004)
CLSI EP28-A2: How to Define and Determine Reference Intervals in the
Clinical Laboratory (2000)
CAP Laboratory General Checklist, 2007
22