Zpět na článek

Diskuze: Odemčené GeForce RTX 3000 získaly 70-80 % více výkonu pro AI

Nejsi přihlášený(á)

Pro psaní a hodnocení komentářů se prosím přihlas ke svému účtu nebo si jej vytvoř.

Rychlé přihlášení přes:

Jan Belka

Level

dnes 12:40

Komentáře tohoto uživatele máš zablokované.

bohuzel to jenom vyzene cenu bazarovych karet a hraci zas ostrouhaji.. hrozna doba, clovek si nekopupi novou kartu protoze AI, a kdyz se podiva na bazary tak si nekoupi za levno ani roky a roky stary modely protoze opet AI..

FrankHorigan

Level

dnes 14:07 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

@Jan Belka Ale zase se dá hrát na 9070 s DLSS5... 😉 Tohle bude AMD nativně šmudlit ještě minimálně rok a kdoví s jakou kvalitou... Ferda z garáže je předběhnul o stovky dní s vypůjčeným modelem. RDR2 běží aktuálně na 9070XT v cca 32fps a každý týden se to zrychlí..

FrankHorigan

Level

včera 18:51

Komentáře tohoto uživatele máš zablokované.

Jop získaly. Ale naprosté většině chybí VRAM, takže pro “komerční” AI je to v podstatě kromě 3090 pasé..

Dilinozravec

Level

včera 19:04

Komentáře tohoto uživatele máš zablokované.

@FrankHorigan 3060 s 12 GB je snad v pohode a zabagatel. Ak sa teda bavime o AI.

FrankHorigan

Level

včera 20:43 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

@Dilinozravec Jednak úplně za pakatel není a pro komerční segment je potřeba 24-32GB VRAM. Proto stojí 5080 "jen" 45000 a 5090 už 220000Kč.

5080 je jim na nic a její cenu zvedá pouze chybějící 5090.

12GB na 3060 je fajn třeba "AI upscalovátko" jako je třeba "Video2X", na doma je to fajn. Ale na větší věci to nestačí.

Dilinozravec

Level

včera 23:53 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

@FrankHorigan A neda sa nahodou pouzit viac tych kariet? za zlomok ceny 5090?

Aktualna cena u zeleneho je 363 Eur bez DPH za rtx 3060 12GB, ceny 5090 sa hybu uz medzi 6-8k Eur + bez DPH.

FrankHorigan

Level

dnes 08:54 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

@Dilinozravec Dá se využít víc karet. Jeden AI model je ale nahraný v jedné VRAM. A pokud potřebuje 24GB, nejde ho rozdělit mezi dvě RTX3060 s 12GB nějakým "SLI"

Můžete mít v PC dvě 24GB karty a mít zároveň v běhu dva modely. Ale nejde mít 4x 8GB starou plečku na jeden model co vyžaduje 32GB VRAM..

Máme ve firmě dvě 5090 a v nich dva modely. modelů ale provozujeme i 8. Takže v případě potřeby je nutné ty modely ve VRAM "vyměnit" a běžet zase na jiném..

Milan Šurkala

SHW

dnes 10:19

Komentáře tohoto uživatele máš zablokované.

@Dilinozravec Dá i nedá. To lépe využijete na běh více modelů (každý na své kartě), než že by jeden model sdílel více karet najednou (jde to, ale s omezeným přínosem). Můžete sice rozdělit jeden model na více karet a získat větší kapacitu, ale další karta nepřidává moc výkonu. Ty se totiž většinou sekvenčně střídají a jsou zde jen omezené možnosti paralelismu.

Jinak řečeno, když budete mít třeba 4 RTX 5080, budete mít 64GB kapacitu pro cca 50-55GB model, ale výkon bude stále někde na úrovni RTX 5080 (kdyby měla tak velkou paměť). Každopádně to bude i navzdory slabšímu čipu násobně rychlejší než jedna RTX 5090 s 32 GB, kde ten model bude přetékat do RAM a bude to výrazně bržděno kvůli offloadingu (čip se bude doslova flákat, protože bude stále čekat).

Dilinozravec

Level

dnes 17:35 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

@Milan Šurkala Dakujem za vysvetlenie Pan Surkala. Pytal som sa koli tomu, ze ci sa to neda nejakym sposobom skalovat. Este by som chcel vediet ako potom bezia tie AI data centra? tam sa ta "sada GPU" tvari ako cluster, cize ako jedno GPU, alebo ako dosahuju takeho vykonu. Zaujima ma to len z principu, ale mam doma este dost pouzitelneho zeleza a skusil by som nieco rozbehnut, len tak na osahanie.. Dakujem. Popripade nejaky link na podrobnejsie info.

Milan Šurkala

SHW

dnes 17:55

Komentáře tohoto uživatele máš zablokované.

@Dilinozravec Souvisí to s výše zmíněnými omezenými možnostmi paralelismu. Ty modely se dají dělit různě. V tomto případě je to dělení po vrstvách, nicméně je možné udělat i tensor paralelismus, kdy se jedna vrstva modelu rozdělí mezi všechna GPU. To pak dokážete skutečně navýšit rychlost výpočtu, jenže pak přichází ten druhý problém, výměna výsledků. A tady potřebujete extrémně rychlé propustnosti celého systému (NVLink, což je o řád rychlejší než PCIe, v případě PCIe 4.0 nebo x8 se už blížíme ke dvěma řádům) nemluvě o nemožnosti přímé komunikace spotřebitelských GPU mezi sebou (ty musí přes RAM). Jinak řečeno, i doma byste to takto rozchodil, ale rychlosti PCIe, RAM a především latence by očekávaný nárůst do značné míry zabily a nárůst by byl podstatně menší, než byste očekával vzhledem k hrubému výkonu karet.

V případě datových center je to ale v případě inference spíše o tom, že na několika kartách (třeba 8,16...) běží velký model, který se tam vejde a obslouží dávku uživatelů.

Reklama

Diskuze: Odemčené GeForce RTX 3000 získaly 70-80 % více výkonu pro AI

Nejnovější komentáře

Nejčtenější obsah

Nejaktivnější čtenáři

Pokračujte ve čtení