Zpět na článek

Diskuze: AMD uvažuje nad dedikovanými NPU kartami, speciálními AI akcelerátory

Nejsi přihlášený(á)

Pro psaní a hodnocení komentářů se prosím přihlas ke svému účtu nebo si jej vytvoř.

Rychlé přihlášení přes:

haunter

Level

3. 8. 2025 20:32

Komentáře tohoto uživatele máš zablokované.

Ten Qualcomm je hezký, 32GB ale s rychlostí 137GB. Tzn. se investice do 5090 vrátí násobně rychleji... To už má skoro takovou rychlost lepší DDR5...

Milan Šurkala

SHW

4. 8. 2025 12:33

Komentáře tohoto uživatele máš zablokované.

@haunter "32GB ale s rychlostí 137GB. Tzn. se investice do 5090 vrátí násobně rychleji"

No počkat, tady ale nejde o konkurenci RTX 5090, ale slabším kartám. Proti RTX 5090 to má i podstatně nižší výkon v TOPS, tam to nemá být v čem výhodou. Tohle může být výhodou tam, kdy nabídne podstatně větší paměť pro podobné TOPS, např. proti RTX 5050-5060 Ti.

AI 100: 400 TOPS, 32GB 136GB/s, 75W
RTX 5050: 421 TOPS, 8GB 320 GB/s, 130W
RTX 5060: 614 TOPS, 8GB 448 GB/s, 145W
RTX 5060 Ti: 759 TOPS, 16GB 448 GB/s, 180W

Když dáte do systému dvě takové karty AI 100, výkonem překonáte RTX 5060 Ti (800 vs 759 TOPS) při nižší spotřebě (150 proti 180 W) a 4krát tak větší kapacitě paměti (64GB proti 16 GB), akorát ta paměť bude pomalejší (efektivně 272 proti 448 GB/s). Jenže RTX 5060 Ti sice bude pamětí rychlejší, když ta data budou v oné paměti, ale kvůli čtvrtinové kapacitě tam často nebudou, takže bude muset často do RAM, a to už půjde přes PCIe 5.0 x8, takže 32 GB/s. To jste o řád pomalejší.

haunter

Level

12. 8. 2025 18:44

Komentáře tohoto uživatele máš zablokované.

@Milan Šurkala To teoreticky možná jo, ale prakticky na ničem slabším, než 5070 nemá smysl nic pouštět... kromě domácího šolichání bez výsledku.

Don Q

Level

1. 8. 2025 13:09

Komentáře tohoto uživatele máš zablokované.

Poptávka po speciálních AI akcelerátorech je nízká, ale asi se bude zvyšovat. Proto kupředu, ale opatrně.

Tech-boy.lukas

Level

1. 8. 2025 15:33

Komentáře tohoto uživatele máš zablokované.

@Don Q po takových dle mě moc né, když se nad tím člověk zamyslí, je to celkem k ničemu. Já si lokální ai nainstaloval, pak se zamyslel že tento obor jde právě mílovými kroky kupředu a zase odinstaloval. I kdybych ten soubor měnil každý týden bude zastaralý. Toto nejlépe on-line

haunter

Level

12. 8. 2025 18:48

Komentáře tohoto uživatele máš zablokované.

@Tech-boy.lukas Já na programování apod. používám zásadně lokální LLM. Na Cloudu bych se nedoplatil a člověk potřebuje mít model, ke kterému ví jak má přistupovat a má RAG a MCP na celý kontext projektu a dokumentaci. GPT5 je zatím třeba neschopný moloch, lokálně jsem se Scoutem a technologiemi schopný programovat efektivněji, než s Claude...

honza1616

Level

1. 8. 2025 11:01

Komentáře tohoto uživatele máš zablokované.

Bylo by zajímavé udělat nějaký akcelerátor na m.2 oni sice už jsou, byl zde článek že se používají v NASu.
Ale šlo by to udělat aby ten rozšiřující slot byl přímo na GPU třeba ze zadu? Pak by to byl výkonný akcelerátor zaměřený přímo na AI, ne jako široce využívané GPU, ale měl by přímo přístup k rychlé paměti s vysokou kapacitou na GPU.

Dejvi_cz

Level

1. 8. 2025 11:44

Komentáře tohoto uživatele máš zablokované.

@honza1616 Pak to nedává smysl, i v článku je psáno že výkon AI není až tak důležitý jako pamět a proč bych přidával na GPU něco co mi bude dělat to samé jako GPU a navíc když to bude omezené velikostí VRAM stejně jako ta GPU.
Karta s obrovskou pamětí (32GB a víc) do PCIE slotu se spotřebou do 100W by byla naprosto parádní věc.

honza1616

Level

4. 8. 2025 20:39

Komentáře tohoto uživatele máš zablokované.

@Dejvi_cz Nebude ti dělat to samé co GPU,
GPU je široce využitelný HW, můžeš na tom hrát hry, stříhat videa, těžit krypton, a mimo jiné i trénovat AI,.
Ale ten výkon nebude takový jako u specializovaného čipu.
Proto se využívají k trénování AI (zlatý důl Nvidie) akcelerátory a ne běžné grafiky
Proto se na těžbu krypta vyrábějí Asic minery s čipy pouze pro těžbu.
...
...
Jen by sis koupil samostatnou kartičku s 1 čipem a žádných zbytečnosti okolo na PCB,
jako volitelné rozšíření svého PC a místo vlastní paměti by to využilo tu z grafické karty, navíc o to větší by ten čip mohl být když by mu místo na kartě nezabírala paměť

Milan Šurkala

SHW

1. 8. 2025 17:33

Komentáře tohoto uživatele máš zablokované.

@honza1616 "ale měl by přímo přístup k rychlé paměti s vysokou kapacitou na GPU."

Tak tomu nerozumím. Jaká vysoká kapacita na GPU? Vždyť to je právě ta hlavní nevýhoda GPU, že mají tu paměť strašně malou.

Tech-boy.lukas

Level

2. 8. 2025 11:38

Komentáře tohoto uživatele máš zablokované.

@Milan Šurkala přeložím, on si totiž myslí že pro ai je 8-12GB hodně. Neví o tom že se ty soubory takto pohybují, nevím jak je nazvat, index? to dle mě není.

honza1616

Level

4. 8. 2025 20:52

Komentáře tohoto uživatele máš zablokované.

@Milan Šurkala Kdo mluvil o lowend kartách s 8GB? Máme snad karty s 32GB je ?
Navíc RTX 5000Super má mít o 50% víc paměti (alespoň u rtx5080 a nižší) o tom jsi ještě nečetl?

"....Kde ale řešení Qualcommu vítězí, to je paměť. Vrcholná varianta má 32 GB RAM...."

Vem ten největší čip, bez zbytečné paměti, tu máš už na grafice, LLM by samozřejmě neběžel na vysoce žravém GPU ale na specializovaném NPU a jako paměť by využíval připojenou VRAM
Dá se předpokládat že budoucí generace grafických karet budou mít ještě víc paměti než ty současné (pravděpodobně jako nadcházející refresh SUPER karet)
A mnou navrhované řešení zde není a pokud ho náhodou některá z firem má už na papíře, tak se objeví (nejdřív☝🏻) s další generací grafických karet

Diskuze: AMD uvažuje nad dedikovanými NPU kartami, speciálními AI akcelerátory

Nejnovější komentáře

Nejčtenější obsah

Nejaktivnější čtenáři

Pokračujte ve čtení