Continual-retrain holdout은 야간 망각을 경고한다. Hard-negative mining은 신중함을 가르친다. Uncertain 큐는 강제 쓰기 라운드를 멈춘다. 많은 현장이 빠뜨리는 운영 접착제는 더 단순하다. 모든 라벨링 배치와 모든 승격 후보에 다시 제시되는—합의된 accept·reject·난이 사례—버전 관리된 골드셋.
재심기 없이 라벨 공급자는 드리프트하고, 택소노미는 조용히 넓어지며, 지난 분기의 탈출 사례에서 실패하는 “더 나은” 모델이 나온다. 골드 recall이나 precision이 잘못된 방향으로 갈 때 승격을 막는 게이트가 없으면 대시보드는 AUC를 축하하는 동안 라인은 옛 스크랩 모드를 다시 발견한다.
골드셋을 SOP가 개정될 때 재라벨할 수 있을 만큼 작게, 각 결함 가족과 경계를 정의하는 hard negative를 덮을 만큼 크게 유지하라. 골드에서 annotator 간 합의를 주기적으로 측정하라. 불일치는 모델이 아니라 가이드 문제다. 라인이 가중치를 보기 전에 모든 어댑터와 벤더 드롭을 봉인된 세트에 대해 채점하라. 택소노미가 바뀌면 골드를 재라벨하거나 조항과 더 이상 맞지 않는 카드를 폐기하라—새 정의 아래 조용한 재사용은 “아직 골드셋이 있다”를 가짜 보증으로 바꾼다.
골드가 후보를 한 번도 떨어뜨리지 않으면 게이트는 고무다. 골드가 배치에 한 번도 안 보이면 세트는 죽었다. 살려 두라. 그렇지 않으면 공정이 관리된다고 말하는 것을 그만두라.