Concept drift yazıları, özelliklerin eskiden anlama geldikleri şeyi bırakmasını açıklar. Training–serving skew, canlı özellik boru hattının eğitim tablosundan sapmasını açıklar. İkisi de ekiplerin hâlâ yanlış yaptığı operasyonel soruyu cevaplamaz: yeni bir modeli, üç hafta sonra yanlış red veya kaçan hataların kötüleştiğini keşfetmeden tesise nasıl koyarsınız?
Bu not champion–challenger değerlendirmesi hakkındadır—aday modeli, kanıt—iyimserlik değil—terfi ettirene kadar mevcut üretim modelinin yanında çalıştırmak.
Çevrimdışı metrikler neden kibarca yalan söyler?
Holdout AUC ve karışıklık matrisleri gereklidir. Yeterli değildir. Tesis trafiği ürün karışımı, vardiya ve tedarikçi lotuna göre kayar. Annotasyon kuralları sapar. Geçen çeyreğin etiketli setinde kazanan bir challenger, bu haftanın canlı akışında kaybedebilir—özellikle yanlış red ile kaçış maliyeti asimetrikken. Çevrimdışı raporlar bu asimetrinin fiyatını hattın yaptığı gibi nadiren koyar.
Adil bir çevrimiçi mücadele ne ister?
- Aynı özellikler, aynı saat. Challenger ve champion, hizalı zaman damgalarıyla özdeş canlı özellik vektörlerini skorlamalıdır. Yaklaşık anahtarlarla birleştirmek zafer uydurur.
- Önce gölge. Challenger çıktıları kaydedilir ve karşılaştırılır; bir kapı söyleyene kadar red, set noktası veya iş emri sürmez.
- Eşleştirilmiş metrikler. Anlaşma oranı, ürün ailesine göre anlaşmazlık kümeleri, kalibre skor farkları ve—etiketler geç geldiğinde—terfi kohortuna göre gecikmeli precision/recall.
- İnsan adjudication örneği. Anlaşmazlıklar yalnızca dashboard değildir; sabit haftalık örnek kaliteye ground truth için gider.
- Terfi ve geri alma bir MoC’tir. Promote/rollback eşikleri deneyden önce yazılır. “Veri bilimciye daha iyi görünüyor” kapı değildir.
Champion–challenger ne değildir?
Güvenlik kritik sert interlock’larda sonsuz A/B değildir. Tarif ve model dondurmalarını atlama bahanesi değildir. Sessizce “onay”a zaman aşımı yapan gölge modu değildir ve bir notebook accuracy hücresi yeşile döndü diye üretim artefaktı değiştirmek değildir.
İsimli bir champion, tarihli bir challenger koşusu ve geri alma yolu tutan tesisler, hangi modelin yazma yolunu gerçekten hak ettiğini öğrenir. Yalnızca en son dosyayı tutan tesisler bunu hurda ve kaçışlarda, daha sonra öğrenir.