결함 모델이 홀드아웃에서는 강해 보이는데 현장은 경계선 스크래치마다 싸운다면, 대개 학습 세트에 안정된 정의가 없었다. 같은 이미지 코호트를 표시한 두 주석자가 어긋나고, “골드” 라벨은 마지막에 클릭한 사람이며, 네트워크는 그 동전 던지기를 진실로 배운다.
비전 주석 라벨 노이즈는 잘못된 태그와 액티브 러닝의 쉬운 케이스 편향을 다룬다. 평가 세트 누출은 오염된 홀드아웃을 다룬다. 이 노트는 플랜트 비전 라벨의 주석자 간 합의 게이트—챔피언 지표가 공기 시간을 얻기 전이다.
실무 패턴: 고정 중복 세트를 남겨라. 자격 있는 주석자 최소 둘이 문서화된 결함 사전 아래 독립 라벨한다. 합의를 계산하라(퍼센트 합의 더하기 범주형 결함 코드에 대한 Cohen’s κ 같은 우연 보정 지표—품질 시스템이 표준화한 지표를 써라). 이미지를 더 사기 전에 합의가 낮은 클래스를 조사하라. κ가 나쁘면 모델 학습을 멈추고 정의·조명 SOP·주석자 교육을 고쳐라.
합의가 아닌 것
카메라 시스템의 게이지 R&R 대체가 아니다. 사전이 고객 이스케이프와 맞는다는 자동 증거가 아니다. 충돌 라벨을 소프트 타깃으로 평균내고 처분 규칙 없이 끝났다고 해도 된다는 허가가 아니다.
다른 MoC 산출물처럼 날짜·소유자가 있는 합의 게이트를 통과한 데이터셋에 대해 모델을 출하하라. 게이트를 건너뛰면 모델은 검사자들이 이미 하던 논쟁을—더 빠르고 매 교대마다—자동화한다.