Confusion matrix post-mortem: ‘99% accurate’였던 vision model

System: Inline vision QC · cosmetic + critical defect class(익명)
Claim: “99% accurate”
Shipment incident: Critical defect escape
형식: Confusion-matrix autopsy. Vendor accuracy slide가 아님.

Matrix (validation week, counts)

                 Pred OK    Pred NG
Actual OK          9800        120
Actual NG (cos)      40        600
Actual NG (crit)     14         26

Accuracy = (9800+600+26) / total ≈ 99.1%.
Critical escape rate = 14 / (14+26) = critical의 35% miss.

Accuracy는 스스로를 축하했다. Customer는 그렇지 않았다.

False-negative cell에 동그라미가 쳐진 인쇄 confusion matrix

위험한 cell은 accuracy가 광고하는 곳이 거의 아니다.

Threshold가 한 일

Operating point가 false NG(보이는 scrap cost)를 최소화하도록 튜닝됨.
Critical false OK는 KPI board 밖에 남음.
Threshold theater가 잘못된 cell을 optimize했다.

Class imbalance 정직성

OK가 지배한다. 모델은 잠자도 accurate해 보일 수 있다.
앞으로 필수 metric:

| Metric | Gate | | --- | --- | | Critical recall | ≥ agreed % | | Cosmetic precision | ≥ agreed % | | Escape budget / week | hard cap | | Accuracy | gate 아님 |

발견된 data sins

Training에서 critical example이 희귀; augmented cosmetic이 set을 채움.
Training 후 lighting 변경; image stats에 drift monitor 없음.
Operator의 NG→OK override가 label로 feedback되지 않음.

Moving production line 위의 inline vision camera

Label feedback 없는 override는 다음 escape를 훈련한다.

Disposition

Critical class에 대해 모델 quarantine; recall gate 충족까지 cosmetic-only
Dual-gate: vision NG 또는 critical feature용 sampling plan
Escape budget owner가 지명된 weekly matrix review

Adjacent fences

Soft-sensor model card는 process CV proxy를 소유한다. 비지도 drift는 unlabeled hypothesis를 소유한다. Write-path red-team은 actuation을 소유한다. Synthetic-data vision 에세이는 training trick을 소유한다. 이 autopsy는 accuracy가 거짓말한 이유를 소유한다. Critical recall이 출혈하는 동안 99%를 축하하지 말라.

Close

Escape cell에 동그라미가 쳐진 matrix를 공개하라—아니면 customer의 defect를 만난 적 없는 confidence interval을 계속 ship하라.