오프라인 AUC가 섬뜩할 만큼 높은 스크랩 예측 모델은 라이브 스코어링 첫 주에 자주 무너진다. 흔한 변명은 드리프트와 누락 태그다. 더 조용한 실패는 look-ahead다. 학습 조인이 피처가 대표한다고 주장하는 결정 시각에 아직 없던 최종 시험·처분 레이블을 붙인 것이다. 오프라인에서는 레이블이 상관된 늦은 센서로 샌다. 온라인에서는 그 열이 비거나 여전히 0이다. 정확도가 붕괴한다. 아무도 “잘못 재학습”한 게 아니다—테이블이 세상이 언제 알려졌는지에 대해 거짓말했다.
히스토리언 간 NTP 시계 왜곡이 아니고, 스크랩 코드 택소노미 병합이 아니며, 작업자 오버라이드 텔레메트리도 아니다. 조인의 이벤트 시간 정직성이다.
거짓이 만들어지는 방식
로트 행에는 t0…tn 공정 태그와 수 시간 뒤 최종 시험에 찍힌 불합격 플래그가 있다. 데이터 엔지니어가 시리얼로 조인하고 “편의상” 불합격 플래그를 모든 초기 창에 유지한다. 실제로는 늦은 계측 결과인 피처가 같은 프레임에 스며든다. 교차검증은 여전히 좋아 보인다. 모든 폴드가 같은 오염 테이블을 보기 때문이다.
포인트인타임 올바른 학습이란, 각 결정 타임스탬프에 대해 그때 알 수 있었던 열만 쓰는 것이다. 레이블은 미래에서 올 수 있다. 피처는 올 수 없다.
챔피언 모델 전 게이트
포인트인타임 감사를 요구하라. 학습 행 표본에 대해 각 피처의 소스 이벤트 시각이 ≤ 결정 시각임을 증명하라. 스코어링 코드가 절대 읽지 않는 명시적 “레이블 전용” 채널 없이 처분 코드를 이전 스테이션에 방송하는 조인을 금지하라.
온라인 경로가 열을 만들 수 없으면 그 열은 학습에도 없어야 하거나, 오프라인 평가에서 동일하게 마스킹되어야 한다. 학습–서빙 패리티는 구호가 아니라 스키마 계약이다.
대시보드가 드러내야 할 것
학습–서빙 왜곡을 추적하라. 오프라인에서 빽빽했던 피처가 스코어 행에서 null인 비율, 주간 결정시각 감사 표본. 오프라인 지표가 “데이터 파이프라인 개선” 후 뛰면 미래 열이 프레임에 내려앉았는지 물어라.
짧은 규칙: 모델은 어제의 실패에서 배울 수 있다. 내일의 답을 센서 옷으로 받아서는 안 된다.