Biyomedikal Veri ve YZ
11 Derin Öğrenme 2 Aralık 2026

Dizisel Modeller: RNN/LSTM, Transformer ve Klinik Metin Analizi

Tekrarlayan ağlar ve LSTM, dikkat mekanizması ve Transformer, ham sinyal ve düzensiz EHR zaman serileri, klinik metin için BERT-tabanlı modeller ve de-identifikasyon.

  • LSTM / GRU
  • 1D-CNN
  • Transformer / dikkat
  • BERT ince ayarı
  • Klinik NLP

İzlencedeki başlık: Dizisel modeller: RNN/LSTM ve Transformer'ların biyomedikal uygulamaları; klinik metin (NLP) analizine giriş

Öğrenme hedefleri

Bu haftanın sonunda:

  • 1 RNN/LSTM'in dizisel bağımlılığı nasıl modellediğini ve uzun bağımlılık sorununu açıklar.
  • 2 Öz-dikkat mekanizmasını matris biçiminde türetir; Transformer'ın RNN'e göre avantajlarını sıralar.
  • 3 Düzensiz örneklenmiş EHR zaman serilerini (eksik, farklı aralıklı) dizisel modele hazırlar; maske ve zaman kodlaması kullanır.
  • 4 Ön-eğitimli biyomedikal dil modelleriyle (ClinicalBERT, BioBERT) klinik not sınıflandırması yapar; de-identifikasyon ve mahremiyet gereklerini tanır.

Ders Notları

Ayrıntılı notlar ve türetimler ders yaklaştıkça buraya eklenecektir.

Temel Kavramlar

  • Tekrarlayan ağ (RNN) — Gizli durumu her zaman adımında güncelleyen ağ; LSTM/GRU kapılarla uzun bağımlılığı korur.
  • Öz-dikkat — Her konumun diğer tüm konumlarla ilişkisini sorgu–anahtar–değer çarpımıyla ağırlıklandırma; paralel ve uzun menzilli.
  • Düzensiz zaman serisi — EHR’de ölçümlerin farklı zamanlarda ve sıklıkta olması; eksiklik deseni bilgi taşır.
  • Klinik metin — Serbest metin notlar, radyoloji raporları; kısaltma, olumsuzlama (‘pnömoni yok’) ve mahremiyet zorlukları.
  • De-identifikasyon — Kişisel tanımlayıcıların metinden çıkarılması; NLP çalışmasının yasal ön koşulu.

Biyomedikal Uygulama Örnekleri

  • Yoğun bakım vital ve laboratuvar serilerinden 6 saat önceden sepsis tahmini: GRU ile öznitelik-temelli XGBoost karşılaştırması.
  • Ham tek derivasyon EKG’den atriyal fibrilasyon tespiti: 1D-CNN + LSTM (PhysioNet 2017).
  • Radyoloji raporlarından bulgu çıkarımı: ClinicalBERT ince ayarı ve olumsuzlama hataları.

Uygulama / Laboratuvar

PhysioNet 2017 EKG verisinde 1D-CNN ve LSTM modellerini kayıt-bazlı bölme ile eğitip 7. haftanın öznitelik-temelli modeliyle karşılaştırın. Hugging Face’ten bir biyomedikal BERT modelini indirip küçük bir klinik metin sınıflandırma görevinde ince ayar yapın; olumsuzlama içeren örneklerde hataları inceleyin.

Tartışma Soruları

  1. Dikkat ağırlıkları bir ‘açıklama’ sayılır mı? 12–13. haftalarda bu soruya geri döneceğiz.
  2. Klinik notlarla çalışırken de-identifikasyon yeterli midir; yeniden tanımlama riski nereden gelir?

Haftanın Özeti

Zamanı ve dili modelleyen ağları biyomedikal dizilere uyguladık. Modül 4 tamamlandı; artık elimizde açıklanması gereken güçlü kara kutular var.

Bu haftanın veri setleri

Araçlar ve kütüphaneler

  • PyTorch
  • Hugging Face transformers
  • scikit-learn

Okuma listesi

Etiketler:RNNLSTMGRUTransformerdikkatBERTklinik NLPClinicalBERTEHR zaman seriside-identifikasyon