Dnešní lokální AI systémy ve smartphonech jsou stále docela nedokonalé a omezeny jsou malou a pomalou pamětí. To druhé by mohlo pomoci vyřešit nové pouzdření čipů WMCM.
Pro efektivní fungování lokální AI v mobilních telefonech je důležitá dostatečná a rychlá paměť, což je oblast, kde současný hardware naráží na své limity. I když společnosti jako Apple, Qualcomm nebo MediaTek vyvíjejí stále výkonnější procesory, jejich potenciál brzdí omezení v oblasti propustnosti DRAM. Např. u čipu Apple A19 Pro se paměťová propustnost zastavuje na 75,8 GB/s, což je sice na úrovni RAM v PC, ale daleko pod tím, co je propustnost VRAM i u slabších GPU (např. Radeon RX 9060 má 288 GB/s).
Společnost SK hynix proto vyvíjí nové řešení 3D vrstvení čipů a jiné metody jejich pouzdření. Zatímco stávající řečení PoP (Package-on-Package) umísťuje jeden čip nad druhý, nová metoda přímého vrstvení výrazně zkracuje vzdálenost mezi součástkami a v rámci stejné plochy lze použít mnohem více I/O kanálů a s tím širší paměťovou sběrnici. Ve výsledku to znamená vyšší propustnost, nižší latenci, vyšší energetickou efektivitu a lepší využití prostoru uvnitř zařízení.
SK hynix už k vývoji nové generace začal pro svou americkou pobočku v San Jose nabírat inženýry pro společný vývoj s jedním nejmenovaným zákazníkem. Spekuluje se o společnosti Apple, která by mohla u čipu A20 Pro opustit starší pouzdření InFO-PoP ve prospěch novějšího WMCM (Wafer-Level Multi-Chip Module). Nicméně vzhledem k tomu, že čipy pro iPhone 18 Pro se už pár týdnů vyrábí, tyto spekulace nezní moc pravděpodobně a spíše půjde o procesory pro rok 2027.
SK hynix ale není jediný, kdo vyvíjí něco podobného. Qualcomm vyvíjí 3D DRAM určenou přímo pro NPU ve spolupráci s čínskou firmou CXMT. Samsung se zase zaměřuje na Low Latency Wide DRAM (LLW), která má napodobit HBM paměti, ale bez problémů s vysokými teplotami, přičemž cílem je dosáhnout až o 150 % vyšší propustnosti než u tradičních LPDDR5X. Huawei se pokouší do telefonů dostat přímo HBM paměti.
Cílem tohoto všeho je, aby byla pro běh lokálních AI algoritmů dostupná vysoká paměťová propustnost a zároveň nízká spotřeba energie. Jenže narážíme ještě na jeden, a to závažnější problém. Kapacita pamětí. A to je v dnešní paměťové krizi obří potíž. Rychlá paměť ovlivní rychlost modelů, ale jejich inteligence je do značné míry dána i tím, kolik paměti tyto modely zabírají (tedy kolik mají parametrů a jak jsou kvantizované).
