Bir kusur modeli holdout’ta güçlü görünüp zemin her sınır çizik üzerine tartışırken çoğu zaman eğitim setinin hiç kararlı bir tanımı olmamıştır. Aynı görüntü kohortunu işaretleyen iki annotator uyuşmaz, “altın” etiket en son tıklayandır ve ağ o yazı turasını gerçek diye öğrenir.
Görüntü annotation etiket gürültüsü bozuk etiketleri ve active learning kolay-vaka yanlılığını kapsar. Değerlendirme seti sızıntısı kirli holdout’ları kapsar. Bu not tesis görüntü etiketleri için annotatorlar arası uyum kapısıdır—champion metrikleri hava almadan önce.
Pratik desen: sabit bir örtüşme seti ayırın. En az iki nitelikli annotator, yazılı kusur sözlüğü altında bağımsız etiketlesin. Uyumu hesaplayın (yüzde uyum artı kategorik kusur kodları için Cohen’s κ gibi şans-düzeltilmiş bir ölçü—kalite sisteminizin standartlaştırdığı metriği kullanın). Daha fazla görüntü satın almadan önce düşük uyumlu sınıfları araştırın. κ kötüyse model eğitimini durdurun; tanımı, aydınlatma SOP’unu veya annotator eğitimini düzeltin.
Uyum ne değildir
Kamera sisteminde gauge R&R’nin yerine geçmez. Sözlüğün müşteri kaçışlarıyla uyuştuğunun otomatik kanıtı değildir. Çelişen etiketleri soft hedefe ortalayıp disposition kuralı olmadan bitmiş sayma izni değildir.
Modelleri, herhangi bir MoC artifact’i gibi tarihli ve sahipli bir uyum kapısından geçmiş veri setlerine karşı yayımlayın. Kapıyı atlayın; model denetçilerin zaten yaptığı tartışmayı—yalnızca daha hızlı ve her vardiyada—otomatikleştirir.