Çevrimdışı raporda şüpheli yüksek skorlayan, sonra ilk canlı haftada hayal kırıklığı yaratan bir kalite veya soft-sensör modeli genellikle bir gecede “unutmamıştır.” Daha sık, değerlendirme eğitim dünyasını hiç terk etmemiştir. Her iki bölmede aynı lot’lar, gelecekteki etiketlerle hesaplanan özellikler veya takvimle kesilmesi gereken bir zaman serisinde rastgele karıştırma—bunların herhangi biri AUC’yi şişirirken hat soğuk kalır.
Kavram kayması, training–serving çarpıklığı ve kanarya yüzde kapıları zaten gerçek bir şey ölçtüğünüzü varsayar. Bu not tesis modelleri için değerlendirme seti sızıntısı—holdout’ların nasıl kirlendiği ve nasıl dürüst tutulacağı.
Yaygın tesis-özgü sızıntılar:
- Lot ve soy ağacı kopyaları. Bölme yalnızca satır ID’sine bağlandığı için kardeş wafer’lar veya yeniden işlenmiş seriler train ve test’te görünür.
- Zaman sızıntısı. Sürekli bir prosesten dakikaları karıştırmak komşu örnekleri her iki tarafa koyar; model yerel rejimi ezberler.
- Etiket lookahead. Skor anında var olmayacak “nihai disposition” veya geç lab sonucundan üretilmiş bir özellik.
- Paylaşılan ön işleme fit’i. Ölçekleyiciler veya encoder’lar tüm tabloya fit edilip bölmeden önce uygulanır—test satırları dönüşümü tanımlamaya yardım eder.
- Skoru ilan etmek için kullanılan aynı holdout üzerinde champion-ayarlı eşikler, iç içe veya taze dondurulmuş set olmadan.
Tesis MoC’sine uyan hijyen
Önce rastgele satırlara değil, zamana veya üretim kampanyasına göre bölün. Lot, seri ve reçete ailesinde tekilleştirin. Değerlendirme setini tarih ve sahibiyle dondurun; metriği gördükten sonra sessizce “birkaç zor vaka daha” eklemeyin. Çıkarım saatinde hangi özelliklere izin verildiğini belgelendirin. Bir notebook metriği “küçük veri düzeltmesi”nden sonra sıçrarsa, aksi kanıtlanana kadar sızıntı varsayın.
Soğuk-başlangıç SKU planları ve champion–challenger mücadeleleri temiz skor kartları ister. Sızıntı her kapıyı iyimser yapar. Holdout’u kontrollü bir artifact sayan tesisler modelin ne kazandığını öğrenir. Onu test_final_v3 adlı bir klasör sayanlar hurdada öğrenir.