Diskuze: GMKtec uvádí mini-PC s Intel Panther Lake: 180 TOPS a 60W TDP

maraou

Level

dnes 13:20

Komentáře tohoto uživatele máš zablokované.

“Díky tomu by mini PC mělo rozběhnout LLM s až 70 miliardami parametrů.”

Myslim ze je to znacne mateni lidi, mylset si ze je k necemu nahrat do pameti co nejvetsi model… ten je stejne prakticky nepouzitelny.

Potrebujete tam dostat cely potrebny kontext a to je skutecny problem.

Napr qwen 3.5 umozni 256k kontext coz znamena, ze v pripade:

9B modelu (7GB ram pro model + az 9GB ram pro kontext)

27B model (18 GB model + az 28GB kontext)

U 70B modelu by nejspis sebrala celou ram jenom kontext.

Je pak otazkou, jestli je vubec k necemu dobry slozity model, ktereho se muzete ptat jenom na jednoduche otazky?!