Facebook X
Zpět na článek

Diskuze: MSI PRO MAX Edge AI+ 11M s Ryzenem a 128 GB RAM zvládne lokálně i 120B modely

Nejsi přihlášený(á)

Pro psaní a hodnocení komentářů se prosím přihlas ke svému účtu nebo si jej vytvoř.

Rychlé přihlášení přes:

Roob
Roob
Level Level
dnes 09:10

Komentáře tohoto uživatele máš zablokované.

ok, ale naco je to dobre? Bude to v realnom case dabovat Hobbit 1ku do slovenciny original hlasom herca pre vsetkych hercov, a keby to malo len 16GB RAM, tak by to stihalo len hlavneho hrdinu, alebo naco je to dobre?

Milan Šurkala
Milan Šurkala
SHW SHW
Windows
AMD
NVIDIA
dnes 10:09

Komentáře tohoto uživatele máš zablokované.

@Roob Na spoustu věcí, zejména když jde o data, která se nemají dostat ven, nebo kde by klasický webový chatbot skončil na spotřebě tokenů. Může jít třeba o analýzu osobních dokumentů, smluv nebo dokumentů organice. U firem práce s interními daty zaměstnanců a klientů. Čištění a filtrace datasetu (to třeba používám já pomocí hlasování více LLM a nalézání konsenzu), klíčová slova pro fotky (taktéž, nechal jsem tím projet celou databázi svých fotek pro fotobanky, kdy to doplnilo chybějící klíčová slova faktická i koncepční), OCR, lokální pomoc s programováním, evaluace promptů pro velký LLM, lokální překladač, generování obrázků (např. do aplikací, na web, ikonky,...).

Roob
Roob
Level Level
dnes 11:46 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

@Milan Šurkala cize ked mam 1TB fotiek, tak mi ich to prejde so 16GB kartou za 10 hodin, a s tymto zazrakom z clanku za 1 hodinu, alebo ako si ten prinos mam predstavit? Takze otazka zostava, naco je to dobre, co tak spravit clanok s testom, aby to bolo jasnejsie..

Proste to bude stat nezmysel, tak co dostanem za tie $$$ naviac?

bRUM23
bRUM23
Level Level
Linux
dnes 14:26

Komentáře tohoto uživatele máš zablokované.

@Roob Mužete to využít na:
- větší LLM model (více parametrů -> detailnější znalosti)
- lepší qantizaci LLM (přesněší odpovědi, méně přeřeků, halucinací).
- větší kontext (komplexněší/kompetentnější rozhodování na základě lokální DB, delších chunků, více dat, víc vstupního kódu)

Každý kdo se s LLM někdy alespoň hrál, ví, že paměť se vyplýtvá velmi snadno karty 16 GB jsou velmi omezující.

Roob
Roob
Level Level
dnes 14:47

Komentáře tohoto uživatele máš zablokované.

@bRUM23 to je zas odpoved, ktora mi nic neda, lebo neviem co je LLM, quantizace, kontext, chunk... Skusme to takto.. https://pctuning.cz/article/prenosna-3d-tistena-mri-vyjde-do-70-tisic-usd-pomaha-ji-ai tu je clanok, ze AI prepocita obrazok z CTcka, ktory clovek nevie odcitat a zrazu sa da odcitat. OK, vyborne vyuzitie AI.. a teraz ma zaujima.. s pocitacom z clanku a 128GB RAM bude 1 obrazok prepocitavat 26sekund, keby si mal 16core ryzen + 32GB Ram + pro radeon so 16GB RAM, tak by to trvalo napr. hodinu. Toto ma zaujima, to viem uchopit. To vase "vetsi model LLM" netusim co je.

Reklama

Nejnovější komentáře

Milan Šurkala
MSI PRO MAX Edge AI+ 11M s Ryzenem a 128 GB RAM zvládne lokálně i 120B modely
Milan Šurkala
dnes 15:17
Vy se na to díváte jen na základě rychlosti, ale není to jen o…
Roob
MSI PRO MAX Edge AI+ 11M s Ryzenem a 128 GB RAM zvládne lokálně i 120B modely
Roob
dnes 14:47
to je zas odpoved, ktora mi nic neda, lebo neviem co je LLM,…
jt
Microsoft zatlačil na LG, to vypnulo reklamy na McAfee na svých monitorech
jt
dnes 14:44
Vy ste to asi dosť dobre nepochopil.LG dávalo reklamy na McAfee a od…
bRUM23
MSI PRO MAX Edge AI+ 11M s Ryzenem a 128 GB RAM zvládne lokálně i 120B modely
bRUM23
dnes 14:26
Mužete to využít na:- větší LLM model (více parametrů ->…
vlad258
Indie dala do provozu svůj první vodíkový vlak
vlad258
dnes 12:56
Indie by mala investovať do ekológie a spracovanie odpadu a budovanie…
Další komentáře
Reklama
Reklama
Reklama
Reklama