Společnost Nvidia chce posunout výkon a efektivitu HBM pamětí o kus dál, a tak představuje NVHBM. Ta toho chce řešit integrovaným řadičem pamětí.
Paměti HBM se ve velkém používají u AI serverů, přičemž Nvidia nyní představuje nový typ pamětí NVHBM, které mají za úkol dále navýšit přenosové rychlosti i zvýšit efektivitu nových pamětí. Celý vtip spočívá v tom, že paměťový řadič je integrován v samotné HBM paměti a nikoli v čipu XPU/GPU, jak je dnes běžné. Mělo by to mít několik výhod.
Tím, že je řadič v paměťovém čipu, měla by se o 30 % navýšit paměťová propustnost, což je nemalé zlepšení. Současně by se měla spotřeba HBM pamětí snížit o 15 % oproti HBM4E (zajímavé, že se mluví o spotřebě a nikoli efektivitě). Další výhodou je to, že díky absenci řadiče pamětí v XPU čipu se toto místo uvolní pro samotné XPU, tedy pro výpočetní část čipu a může se u stejně velkého čipu zvýšit počet výpočetních jednotek. NVHBM má být navíc kompatibilní s různými paměťovými čipy od různých poskytovatelů.
Jako první by nový typ pamětí mělo využít Annapurna Labs od Amazonu. Annapurna Labs bude podporovat sběrnici NVLink Fusion u svých nových čipů Trainium, konkrétně generace Trainium 4. Toto dovolí čipů od Amazonu i GPU od Nvidie fungovat dohromady v jedné architektuře serverů.
