메모 — 품질 분석
챔피언 모델 불변. AUC 평탄. 오검출 감소. 그다음 유출이 tick up하고 홀드 큐가 왜 비었는지 아무도 설명 못 한다.
라인이 깨끗해졌다. 픽스처·조명 MoC 후 기저 결함률 1.8%→0.4%. 모델은 여전히 옛 prevalence로 학습된 logit을 출력한다. 미교정 점수는 높게 몰린다. 지난 분기에 맞춘 임계값은 낡은 주간의 정밀도 차트에서 “통하는” 것처럼 보인다. 검토자는 점수가 옛 컷을 넘지 않아 항목이 줄어든다—모델이 위험을 덜 본 게 아니라.
혼동 행렬 연극이 아니고, 액티브 러닝 큐 편향이 아니며, look-ahead 조인도 아니다. 확률 교정 vs. 이동하는 기저율이다.
주간으로 그릴 것
- 신뢰성 다이어그램: 생산 샘플에서 구간화된 예측 확률 vs. 관측 결함률.
- 임계값 교차와 함께 기저율 추세.
- 천 단위 수동 감사 건수—prevalance가 떨어지면 임계값이 고정일 때는 올라야 한다.
임계값 변경 전 게이트
검증 레이블이 있는 최근 스코어 행으로 재교정(Platt, isotonic, 또는 공장 표준). 기저율 창을 문서화하라. 교정 없이 임계값만 움직이면 추측이다.
결정: 알려진 마지막 기저율 이동 이후 날짜의 교정 보고 없이는 임계값 승격 없음.