Sistem: Hat içi görüş QC · kozmetik + kritik kusur sınıfları (anonim)
İddia: “%99 doğru”
Sevkiyat olayı: Kritik kusur kaçtı
Biçim: Confusion-matrix otopsisi. Tedarikçi doğruluk slaytı değil.
Matris (doğrulama haftası, adetler)
Pred OK Pred NG
Actual OK 9800 120
Actual NG (cos) 40 600
Actual NG (crit) 14 26
Doğruluk = (9800+600+26) / total ≈ %99,1.
Kritik kaçış oranı = 14 / (14+26) = kritiklerin %35’i kaçırıldı.
Doğruluk kendini tebrik etti. Müşteri etmedi.
Tehlikeli hücre nadiren doğruluğun reklamını yaptığı hücredir.
Eşik ne yaptı
Çalışma noktası yanlış NG’yi (görünür hurda maliyeti) minimize etmek için ayarlandı.
Kritik yanlış OK KPI panosunda kalmadı.
Eşik tiyatrosu yanlış hücreyi optimize etti.
Sınıf dengesizliği dürüstlüğü
OK baskın. Model uyuyabilir ve doğru görünür.
İleriye dönük gerekli metrikler:
| Metrik | Kapı | | --- | --- | | Kritik recall | ≥ mutabık % | | Kozmetik precision | ≥ mutabık % | | Kaçış bütçesi / hafta | sert tavan | | Doğruluk | kapı değil |
Bulunan veri günahları
- Eğitimde kritik örnekler nadir; artırılmış kozmetikler seti doldurdu.
- Eğitimden sonra aydınlatma değişti; görüntü istatistiklerinde drift monitörü yok.
- Operatör NG→OK override’ları etiket geri beslemesi olarak beslenmedi.
Etiket geri beslemesi olmayan override bir sonraki kaçışı eğitir.
Disposition
- Kritik sınıf için model karantina; recall kapısı sağlanana kadar yalnızca kozmetik
- Çift kapı: görüş NG veya kritik özellikler için örnekleme planı
- Kaçış bütçesi sahibi adıyla haftalık matris incelemesi
Komşu sınırlar
Soft-sensor model kartları proses CV vekillerine sahiptir. Denetimsiz drift etiketsiz hipotezlere sahiptir. Write-path red-team’leri aktuasyona sahiptir. Sentetik veri görüş makaleleri eğitim hilelerine sahiptir. Bu otopsi doğruluğun neden yalan söylediğine sahiptir. Kritik recall kanarken %99’u kutlama.
Kapanış
Kaçış hücresi daire içine alınmış matrisi yayınlayın—ya da müşterinin kusurunu hiç karşılamayan güven aralıkları sevk etmeye devam edin.