Öğrenme hedefleri
Bu haftanın sonunda:
- 1 Çok katmanlı algılayıcıyı bileşimsel fonksiyon olarak kurar; aktivasyon ve kayıp fonksiyonlarını probleme göre seçer.
- 2 Geri yayılımı zincir kuralı olarak türetir; PyTorch autograd ile bağlantısını kurar.
- 3 Öğrenme oranı, yığın boyutu, düzenlileştirme (L2, dropout) ve erken durdurmanın etkisini deneyle gösterir.
- 4 Eğitim/doğrulama eğrilerinden aşırı/eksik öğrenmeyi tanır; tekrarlanabilir bir PyTorch eğitim döngüsü yazar.
Ders Notları
Ayrıntılı notlar ve türetimler ders yaklaştıkça buraya eklenecektir.
Temel Kavramlar
- Evrensel yaklaşım — Yeterli genişlikte tek gizli katmanlı ağın sürekli fonksiyonlara yaklaşabilmesi; pratikte derinlik daha verimlidir.
- Geri yayılım — Kayıp fonksiyonunun her parametreye göre gradyanının zincir kuralıyla çıkıştan girişe hesaplanması.
- Kaybolan/patlayan gradyan — Derin ağlarda gradyanın katmanlar boyunca çarpımsal küçülmesi/büyümesi; ReLU, BatchNorm ve artık bağlantılar çözüm sunar.
- Düzenlileştirme — Aşırı öğrenmeyi frenleyen her şey: L2 cezası, dropout, veri artırma, erken durdurma.
Biyomedikal Uygulama Örnekleri
- Klinik tablo verisinde MLP ile XGBoost’un karşılaştırılması: küçük veride ağaçların üstünlüğü, çok-modaliteli veride ağın esnekliği.
- Sinyal özniteliklerinden nöbet tespiti için MLP: öğrenme oranı çok yüksekken kayıp eğrisinin salınımı.
Uygulama / Laboratuvar
NumPy ile iki katmanlı bir ağın ileri ve geri geçişini elle yazın; aynı ağı PyTorch autograd ile doğrulayın. Ardından PyTorch’ta tam bir eğitim döngüsü (DataLoader, kayıp, optimizer, doğrulama, erken durdurma) kurup Heart Disease verisinde XGBoost ile karşılaştırın. Öğrenme oranı taraması yapıp eğrileri çizin.
Tartışma Soruları
- Aynı veri setinde MLP her çalıştırmada farklı sonuç veriyorsa tekrarlanabilirlik için hangi adımlar gerekir?
- Tablo hâlindeki klinik veride derin öğrenme ne zaman gerçekten haklı çıkar?
Haftanın Özeti
Derin öğrenmenin çekirdeğini kurduk: ağ, kayıp, gradyan, optimizasyon ve eğitim disiplini. Sonraki iki hafta bu çekirdeği görüntü ve dizilere uyarlıyor.
Bu haftanın veri setleri
- UCI Heart Disease / Breast Cancer — Tablo verisinde MLP.
- 7. haftanın EEG öznitelik matrisi — Kendi ürettiğiniz öznitelikler.
Araçlar ve kütüphaneler
- PyTorch
- torchmetrics
- scikit-learn
Okuma listesi
- KitapGoodfellow, Bengio, Courville. Deep Learning. Bölüm 6 (Deep Feedforward Networks) ve 8 (Optimization). — Ana kaynak.
- DokümantasyonPyTorch: Learn the Basics
- MakaleSmith LN. Cyclical learning rates for training neural networks. WACV 2017. — Öğrenme oranı bulucu.
Etiketler:YSAMLPgeri yayılımPyTorchAdamdropoutbatch normerken durdurmaöğrenme oranı