Paměťová krize neovlivňuje jen DRAM paměti, ale také NAND. TLC čipy vzrostly na několikanásobek a konec uklidňování má na svědomí i Nvidia Rubin. Ceny totiž zase stoupají.
O paměťové krizi budeme psát pravidelně asi ještě několik let, než se situace uklidní. Dnes se ale nebudeme věnovat pamětem DRAM, ale NAND. Tyto paměti se většinou používají v SSD nebo paměťových kartách, nejde ale o jediná možná nasazení. V případě serverů je velký zájem o podniková SSD, na nichž jsou uložená data nutná pro běh AI algoritmů a o další zdražování se nyní zasadila i platforma Nvidia Rubin, která využívá TLC NAND paměti jako KV cache pro AI algoritmy. KV cache slouží k tomu, aby si model pamatoval, co už v promptu četl a nemusel ho číst s každým dalším tokenem znova.
Tato paměť je normálně v hlavní VRAM, nicméně Nvidia u platformy Rubin přidává tzv. CMX (Context Memory eXtension), přičemž jde o samostatnou paměť, která obsahuje KV cache všech GPU na úrovni celého podu. Jednotlivé GPU tak přes ní mohou sdílet svůj kontext. Co se týče kapacity, tak ta je po přepočtu ve stovkách GB na výpočetní rack a v řádech petabajtů (PB) na celý pod. Není divu, že potřeba paměti je tak obrovská.
Zatímco 512Gb (64GB) TLC NAND čip ještě do října 2025 stál okolo 3 USD, v březnu se vyšplhal až k cca 23 USD, což je zhruba 7-8násobek původní ceny. Poslední dobou to mírně klesalo ke zhruba 20 USD, nicméně právě příchod Nvidia Rubin situaci opětovně zhoršuje, zájem o tyto paměti se zvyšuje. Cena se tak už opět otáčí směrem vzhůru, překonává 21 USD, a dá se čekat, že dále poroste. Pokud jde o QLC čipy, ty jsou cenově zatím relativně v klidu.
