제어 주기를 놓치는 엣지 GPU 배칭은 ‘효율적 추론’이 아니라—늦은 조언이다

엣지 박스가 벤더 동적 배칭 후 GPU 사용률 92%에 달했다. 스크랩이 올랐다. 원인: 추론 p99가 소프트 센서가 가정한 200 ms 특징 창을 넘었다. PLC는 계속 제어했고, 모델은 과거를 계속 해설했다.

공장 바닥 엣지 AI 데모는 종종 “온프레미스 추론”을 판다. 이 브리프는 더 좁다: 제어 주기 데드라인을 깨는 배칭·큐잉.

사용률 앞의 데드라인

특징 시각 vs 결과 시각. 특징이 t0에 타임스탬프되고 결과가 PLC 이동 후 t1에 오면 폐루프 지원이 아니라 일기다.

지터로서의 배칭. 큰 배치는 처리량을 올리고 꼬리 지연을 망친다. 주기를 치는 것은 꼬리 지연이다.

백프레셔 정직성. 추론 드롭·홀드는 명시적이어야 한다. 조용한 큐 성장은 오퍼레이터 신뢰를 통해 늦은 세팅값을 만든다.

traveler에 넣을 것

1. 루프 샘플 시간에 묶인 하드 지연 SLO(p50/p95/p99)—“실시간처럼 느껴짐”이 아니라.
2. 배치 크기·최대 큐 깊이를 MoC 통제 파라미터로.
3. “낡은 결과” 폐기 규칙을 ML 서비스 로그만이 아니라 PLC/OPC 경로에.
4. 폐기율 상승 시 알람; GPU 온도만 알람하지 마라.

일반 엣지 배포 설화·비전 조명 드리프트가 아니다. 루프 옆에 앉았다고 주장하는 AI의 타이밍 건전성이다.

p99가 이미 주기를 먹으면 GPU 대시보드를 초록으로 만들려 배치를 키우지 마라.