HBM arzı, hibrit bağlama ve cam çekirdekler die’ların nasıl yığılıp beslendiği için savaşır. Bellek-içi işleme (PIM) ve belleğe-yakın hızlandırıcılar farklı bir vergiye saldırır: öneri, retrieval ve kenar çıkarımı için ağırlık ve aktivasyonları bellek duvarı boyunca taşımak. Bellek satıcıları ve AI çip girişimleri, bant genişliğinin diziye yerel kalması için PIM yetenekli DRAM ve mantık-yakın-DRAM blokları sevk ediyor.
Endüstriyel nokta token başına jul ve raf yoğunluğudur—yeni bir lehim pitch’i değil. Yazılım yığınları PIM çekirdeklerini hedefleyemezse silikon laboratuvar demosunda kalır.
PIM’in değiştirdiği
- Bant genişliği yerelliği — Bellek-sınırlı katmanlar için bitlerin zaten durduğu yerde hesap.
- Güç zarfı — Embedding ağırlıklı ve seyrek iş yüklerinde daha az mekik enerjisi.
- Sistem tasarımı — GPU-merkezli CUDA yollarının yanında yeni programlama modelleri.
Benimsemeyi hâlâ sınırlayan
Araç zincirleri, sayısal hassasiyet tuhaflıkları ve hangi katmanların gerçekten fayda gördüğü. PIM’i CXL havuzlama veya HBM kapasite yarışlarıyla karıştıran yol haritaları noktayı kaçırır. Bu hibrit bağlama verimi, CoPoS panelleri veya LPO/CPO optik değildir.
Bundan sonra izlenecekler
- Hangi bellek OEM’lerinin desteklenen çerçevelerle üretim PIM SKU’ları yayımladığı.
- Gerçek retrieval/embedding servislerinde ölçülen çıkarım başına enerji farkları.
- AI sunucularının HBM GPU’ların yanında PIM DIMM’lere soket ayırıp ayırmadığı.
Paketleme die’ları yaklaştırır. PIM veriyi hiç taşımamaya çalışır.