Diskuze: MSI PRO MAX Edge AI+ 11M s Ryzenem a 128 GB RAM zvládne lokálně i 120B modely

Milan Šurkala

SHW

dnes 15:17

Komentáře tohoto uživatele máš zablokované.

@bRUM23 Vy se na to díváte jen na základě rychlosti, ale není to jen o rychlosti, ale i o inteligenci modelu. Jeho inteligence je v zásadě dána tím, kolik paměti zabírá. To, kolik zabírá, je dáno počtem parametrů a tím, kolik má každý parametr (kvantizace), v podstatě kolik bitů tam máte na parametr. Jak počet parametrů, tak jejich bitová hloubka ovlivňují to, jak přesné odpovědi budou, co ten model bude znát, jak moc bude dělat chyby, jak moc bude halucinovat. Ideálně chcete co nejvíce parametrů a co největší bitovou hloubku.

Takže si dejme příklad. Máme PC s 32 GB RAM a cca 15 GB je volných, ať se nám to dobře počítá. Do něj dáme RTX 5080 s 16GB VRAM, takže máme cca 15 GB VRAM volných. Jako druhou možnost do něj dáme Arc Pro B70 s 32GB VRAM, takže máme 30 GB VRAM volných.

A teď to přijde. Pokud má model těch 15 GB, vleze se nám do obou VRAM, RTX 5080 to díky výrazně rychlejší paměti (960 vs 608 GB/s) a rychlejšímu čipu (450 vs 367 v INT8) zpracuje rychleji.

Ale teď tam budete chtít inteligentnější model třeba s 20 GB místo 15 GB (ať už větším počtem parametrů nebo větší bitovou hloubkou, případně nějakou kombinací). Do Intelu se vejde v pohodě, pořád to běží na plný výkon. Jenže RTX 5080 to nepobere a 5 GB modelu bude muset do RAM. A to už najednou nemáte 960 GB/s, ale třeba jen 90 GB/s (DDR5-5600), rychlost při stejné inteligenci může spadnout třeba na pětinu.

Pokud budu mít 30GB model a výsledky budou "inteligentnější", ten se v Intelu pořád vejde do VRAM, poběží na plný výkon, u RTX 5080 to spadne na méně než desetinu původního výkonu.

A ještě jedna věc. Řekněme, že chci co nejinteligentnější model nehledě na výkon. V případě Intelu můžu použít 45GB model (30 GB ve VRAM, 15 GB v RAM), zatímco u RTX 5080 musím použít hloupější 30 GB model, protože nemám více paměti (15 GB ve VRAM a 15 GB v RAM).

Takže k Vaší otázce. Ryzen se 128GB to udělá rychle a přesně, protože tam můžete použít až 96GB model s relativně rychlou pamětí (256 GB/s). Radeon s 16GB VRAM a 32 GB RAM bude výrazně hloupější, protože budete moci použít jen cca 30GB model (15 GB ve VRAM, 15 GB v RAM) a podstatně pomalejší, protože půlka toho modelu poběží v RAM s rychlostí 90-100 GB/s.