Öğrenme hedefleri
Bu haftanın sonunda:
- 1 İç, zamansal, coğrafi ve alan-dışı doğrulama düzeylerini ayırır; TRIPOD+AI'ye uygun bir doğrulama planı yazar.
- 2 Kovaryat, etiket ve kavram kaymasını tanır; üretimde kayma izleme (PSI, KS testi, performans izleme) kurar.
- 3 Bir model kartı (kullanım amacı, veri, başarım alt-grupları, sınırlılıklar, etik) hazırlar ve MLOps yaşam döngüsünü (sürümleme, izleme, yeniden eğitim) tanımlar.
- 4 Federe öğrenmenin (FedAvg) çalışma ilkesini ve mahremiyet sınırlarını açıklar; diferansiyel mahremiyet ve güvenli toplama kavramlarını tanır.
- 5 AB YZ Yasası ve FDA çerçevelerinin bir klinik YZ ürününe getirdiği yükümlülükleri özetler.
Ön Okuma ve Hazırlık
Genel sınav için tüm haftaların ‘Temel Kavramlar’ bölümleri ve uygulama defterleri kapsam dâhilindedir. Son derste 45 dakikalık genel tekrar ve soru–cevap yapılır.
Ders Notları
Ayrıntılı notlar ve türetimler ders yaklaştıkça buraya eklenecektir.
Temel Kavramlar
- Dış doğrulama — Modelin geliştirildiği kurum/zaman dışındaki bağımsız veride sınanması; yayın ve klinik kullanım için asgari kanıt.
- Dağıtım kayması — Kovaryat kayması (girdi dağılımı değişir), etiket kayması (prevalans değişir), kavram kayması (girdi–çıktı ilişkisi değişir: yeni tedavi kılavuzu).
- Model kartı — Modelin ‘prospektüsü’: amaç, eğitim verisi, alt-grup başarımı, bilinen sınırlılıklar, etik hususlar.
- Federe öğrenme — Verinin kurumdan çıkmadan, yalnızca model güncellemelerinin paylaşılmasıyla çok merkezli eğitim; mahremiyeti artırır ama tek başına garanti etmez.
- Diferansiyel mahremiyet — Tek bir bireyin varlığının çıktıyı ölçülebilir sınırın (ε) üzerinde değiştirmemesi garantisi; gürültü ekleme yoluyla sağlanır.
Biyomedikal Uygulama Örnekleri
- Epic Sepsis Model’in dış doğrulaması (Wong ve ark., 2021): satıcının bildirdiği AUC 0.76–0.83 yerine bağımsız kurumda 0.63 ve yüksek alarm yükü.
- COVID-19 döneminde göğüs röntgeni modellerinde kavram kayması; pandemi öncesi eğitilmiş modellerin çöküşü.
- Çok merkezli beyin tümörü segmentasyonunda federe öğrenme (FeTS girişimi): veri paylaşılmadan 70+ kurumla eğitim.
Uygulama / Laboratuvar
Dönem boyunca kurduğunuz bir modeli (tablo veya görüntü) farklı kaynaktan bir veri setinde dış doğrulayın; ayırt edicilik ve kalibrasyon düşüşünü raporlayın. PSI ile öznitelik kaymasını ölçün. Flower ile iki-üç ‘kurum’ simülasyonunda FedAvg çalıştırıp merkezî eğitimle karşılaştırın. Son teslim: modelinizin TRIPOD+AI uyumlu bir model kartı (2 sayfa).
Tartışma Soruları
- Bir hastane, satıcının sağladığı yapay zeka modelini kullanmaya başlamadan önce hangi asgari doğrulama kanıtını istemeli?
- Federe öğrenme veriyi kurumdan çıkarmıyorsa mahremiyet sorunu çözülmüş sayılır mı? Model güncellemelerinden ne sızabilir?
Haftanın Özeti
Dönemi, bir modelin klinik uygulamaya hazır sayılması için gereken kanıt ve süreçlerle kapattık: dış doğrulama, kayma izleme, model kartı, mahremiyet-koruyucu öğrenme ve regülasyon. Genel sınav dönem sonunda; tüm dönem içeriğini kapsar.
Bu haftanın veri setleri
- İki farklı kaynaktan aynı görev (ör. MIMIC-III Demo + eICU örneği) — Coğrafi dış doğrulama.
- 10. haftanın CNN'i + farklı hastane röntgenleri — Kovaryat kayması.
Araçlar ve kütüphaneler
- scikit-learn
- evidently / alibi-detect
- Flower (federe öğrenme)
- Opacus
- Model Card Toolkit
Okuma listesi
- DokümantasyonCollins GS ve ark. TRIPOD+AI statement. BMJ 2024. — Raporlama standardı.
- MakaleMitchell M ve ark. Model Cards for Model Reporting. FAT* 2019.
- MakaleWong A ve ark. External validation of a widely implemented proprietary sepsis prediction model. JAMA Intern Med 2021.
- MakaleRieke N ve ark. The future of digital health with federated learning. npj Digit Med 2020.
- MakaleFinlayson SG ve ark. The clinician and dataset shift in artificial intelligence. NEJM 2021.
Etiketler:dış doğrulamadağıtım kaymasımodel kartıTRIPOD+AIMLOpsfedere öğrenmediferansiyel mahremiyetregülasyonAB YZ YasasıFDA