HBM 공급·하이브리드 본딩·글래스 코어는 다이를 어떻게 쌓고 먹일지 싸웁니다. 프로세싱-인-메모리(PIM)·니어메모리 가속기는 다른 세금을 칩니다. 추천·검색·엣지 추론을 위해 가중치·활성값을 메모리 벽 너머로 옮기는 비용. 메모리 벤더와 AI 칩 스타트업은 대역폭이 어레이에 남도록 PIM DRAM·로직-니어-DRAM 블록을 출하합니다.
산업적 요점은 토큰당 줄과 랙 밀도입니다—새 솔더 피치가 아닙니다. 소프트웨어 스택이 PIM 커널을 겨냥하지 못하면 실리콘은 랩 데모로 남습니다.
PIM이 바꾸는 것
- 대역폭 지역성 — 메모리 바운드 레이어에서 비트가 이미 있는 곳에서 연산.
- 전력 엔벨로프 — 임베딩·희소 워크로드의 왕복 에너지 감소.
- 시스템 설계 — GPU 중심 CUDA 옆의 새 프로그래밍 모델.
도입을 막는 것
툴체인·수치 정밀 quirk·실제로 이득 보는 레이어. PIM을 CXL 풀링·HBM 용량 경쟁과 혼동하는 로드맵은 요점을 놓칩니다. 하이브리드 본드 수율·CoPoS 패널·LPO/CPO 광학이 아닙니다.
앞으로 볼 포인트
- 어떤 메모리 OEM이 지원 프레임워크와 함께 양산 PIM SKU를 내는지.
- 실제 검색/임베딩 서비스에서 측정된 추론당 에너지 차이.
- AI 서버가 HBM GPU 옆에 PIM DIMM 소켓을 확보하는지.
패키징은 다이를 가깝게 합니다. PIM은 데이터를 아예 옮기지 않으려 합니다.