Not — kalite analitiği
Şampiyon model değişmedi. AUC düz. Yanlış redler düştü. Sonra kaçışlar artar ve tutma kuyruğunun neden boşaldığı kimseye açıklanamaz.
Hat temizlendi. Fikstür ve aydınlatma MoC’sinden sonra taban kusur oranı %1,8’den %0,4’e indi. Model hâlâ eski prevalans üzerinde eğitilmiş logit basar. Kalibre edilmemiş skorlar yüksek kümelenir; geçen çeyrekte ayarlanan eşikler eski haftalardan kurulmuş kesinlik grafiklerinde hâlâ “işe yarar”. İncelemeciler daha az öğe görür çünkü skorlar eski kesimi geçmez—model daha az risk gördüğü için değil.
Bu karmaşıklık matrisi tiyatrosu değildir, aktif öğrenme kuyruk yanlılığı değildir, look-ahead birleştirmeleri de değildir. Olasılık kalibrasyonu vs. hareket eden taban oranıdır.
Haftalık çizilecekler
- Güvenilirlik diyagramı: üretim örneklerinde kutulanmış tahmin olasılığı vs. gözlenen kusur oranı.
- Eşik geçişlerinin yanında taban oranı trendi.
- Bin birim başına manuel denetim sayısı—prevalans düşerken eşikler sabitse artmalıdır.
Her eşik değişiminden önceki kapı
Doğrulanmış etiketli güncel skorlanmış satırlarda yeniden kalibre edin (Platt, izotonik veya tesis standardınız). Taban oranı penceresini belgeleyin. Yalnızca eşiği kalibrasyon olmadan oynatırsanız tahmin edersiniz.
Karar: Bilinen son taban oranı kaymasından sonra tarihli kalibrasyon raporu olmadan eşik yükseltmesi yok.