Logika se vkrádá do pamětí: chytré DDR i HBM od Samsungu

Nyní se tak Samsung opět připomenul se svými HBM-PIM a podobnými produkty, které se mohou dobře uplatnit v rámci budoucích platforem. Myšlenka je to v zásadě velice jednoduchá: není třeba přesouvat kvanta "surových" dat z paměti po sběrnici do procesoru či akcelerátoru, či dokonce ještě navíc zdlouhavým způsobem například ve stylu SSD > CPU > RAM > dekomprimace > CPU > grafická karta. Samotná úložná zařízení, nebo dle Samsungu zatím jen volatilní paměti jako HBM2, GDDR6, DDR4 či LPDDR5X by mohly se svými uloženými daty pracovat, k čemuž budou ovšem potřebovat svou logickou vrstvu, čili vlastní výpočetní výkon. Právě tím se může jednak ulehčit práce hlavnímu CPU či jinému čipu a také omezit zbytečné přesuny dat po sběrnicích, aby tyto zdroje mohly být využity účelněji. 

 

 

Zmíněné HBM-PIM dokáží poskytnout výkon 1,2 TFLOPS využitelný pro AI, který by si jinak muselo vyhradit CPU, ale spíše nějaké GPU či ASIC. Nyní Samsung představuje další vývoj v tomto směru, který se ubírá i k chystaným HBM3 a na stole je pochopitelně i další zvyšování výkonu.

 

V případě pamětí HBM půjde pochopitelně především o AI, neboť produkty využívající tento typ pamětí zpravidla slouží pro AI/ML. Nicméně stejná technologie by šla využít i jinak, a to třeba i v grafice. Představit si můžeme kartu s paměťmi oplývajícími výpočetním výkonem, které jej využijí pro upscaling obrazu pomocí AI, což by mohlo být celkově výrazně efektivnější než v případě dnešního DLSS a z toho zase koukají potenciálně i lepší výsledky. Ostatně s GDDR6 se také počítá.

 

 

Samsung představuje konkrétně produkty Aquabolt-XL, čili HBM2 s vlastní logikou a dále tu máme nové moduly AXDIMM DDR4 i LPDDR5 rovněž s výpočetním výkonem. Každá DRAM bank tak je vybavena vlastním malým AI enginem, který je schopen uložená data přímo na místě zpracovávat, což tak logicky krom výkonu hlavního čipu šetří i propustnost sběrnice a čas. Na druhou stranu je zřejmé, že AI logika zabírá na pamětích prostor, který by byl jinak využit pro buňky, čili tím utrpí celková kapacita. V éře pamětí HBM3 už ale dle Samsungu budou mít "hloupé a chytré" verze identické kapacity, jen ty "chytré" budou nejspíše využívat větší čipy. 

 

 

Ovšem už dnešní verze HBM2 s PIM nevyžadují vůbec žádné hardwarové změny v rámci cílové platformy či jejích pam. kontrolerů. To samé platí také pro AXDIMM, které se dle Samsungu mohou využít v jakékoliv serverové platformě pro LRDIMM či UDIMM. V praxi pak lze očekávat v AI aplikacích i cca dvojnásobek výkonu při jen poloviční spotřebě a také výrazné snížení latencí.

 

 

Samsung evidentně postupuje ve vývoji této technologie velice rychle, a tak zatím ani nezískal certifikaci od JEDEC. V případě HBM3 ale očekává, že specifikace verze PIM budou přijaty ještě letos. Tyto paměti přitom mají zvládnout i FP64 (HBM2-PIM jsou určeny pro SIMD v FP16). Pro LPDDR5, DDR5 a GDDR6 jsou zase vyhrazeny formáty INT16 a INT8.