Continual-retrain holdout’ları gece unutmaya karşı uyarır. Hard-negative mining ihtiyat öğretir. Uncertain kuyrukları zorla yazı turasını durdurur. Birçok tesisin atladığı operasyonel tutkal daha basittir: her etiketleme partisinde ve her terfi adayında yeniden sunulan—hakemli accept, reject ve zor vakalar—sürümli bir gold set.
Yeniden ekim olmadan etiket tedarikçileri kayar, taksonomiler sessizce genişler ve geçen çeyreğin kaçışlarında başarısız “daha iyi” bir model çıkar. Gold recall veya precision yanlış yöne gidince terfiyi engelleyen kapı olmadan panolar AUC kutlarken hat eski hurda modlarını yeniden keşfeder.
Gold set’i SOP revize olunca yeniden etiketlenecek kadar küçük, her hata ailesini ve sınırı tanımlayan hard negative’leri kapsayacak kadar büyük tutun. Gold üzerinde annotatorlar arası uyumu periyodik ölçün; anlaşmazlık model değil kılavuz sorunudur. Hat ağırlıkları görmeden önce her adaptörü ve her vendor drop’u mühürlü sete karşı skorlayın. Taksonomi değişince ya gold’u yeniden etiketleyin ya da maddeyle artık uyuşmayan kartları emekli edin—yeni tanım altında sessiz yeniden kullanım, “hâlâ gold set’imiz var”ı sahte güvenceye çevirir.
Gold hiç aday düşürmüyorsa kapı lastiktir. Gold hiç partide görünmüyorsa set ölüdür. Canlı tutun, yoksa sürece yönetilmiş demeyi bırakın.