Zpět na článek

Diskuze: Odemčené GeForce RTX 3000 získaly 70-80 % více výkonu pro AI

Nejsi přihlášený(á)

Pro psaní a hodnocení komentářů se prosím přihlas ke svému účtu nebo si jej vytvoř.

Rychlé přihlášení přes:

Jan Belka

Level

dnes 12:40

Komentáře tohoto uživatele máš zablokované.

bohuzel to jenom vyzene cenu bazarovych karet a hraci zas ostrouhaji.. hrozna doba, clovek si nekopupi novou kartu protoze AI, a kdyz se podiva na bazary tak si nekoupi za levno ani roky a roky stary modely protoze opet AI..

FrankHorigan

Level

dnes 14:07 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

@Jan Belka Ale zase se dá hrát na 9070 s DLSS5... 😉 Tohle bude AMD nativně šmudlit ještě minimálně rok a kdoví s jakou kvalitou... Ferda z garáže je předběhnul o stovky dní s vypůjčeným modelem. RDR2 běží aktuálně na 9070XT v cca 32fps a každý týden se to zrychlí..

FrankHorigan

Level

včera 18:51

Komentáře tohoto uživatele máš zablokované.

Jop získaly. Ale naprosté většině chybí VRAM, takže pro “komerční” AI je to v podstatě kromě 3090 pasé..

Dilinozravec

Level

včera 19:04

Komentáře tohoto uživatele máš zablokované.

@FrankHorigan 3060 s 12 GB je snad v pohode a zabagatel. Ak sa teda bavime o AI.

FrankHorigan

Level

včera 20:43 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

@Dilinozravec Jednak úplně za pakatel není a pro komerční segment je potřeba 24-32GB VRAM. Proto stojí 5080 "jen" 45000 a 5090 už 220000Kč.

5080 je jim na nic a její cenu zvedá pouze chybějící 5090.

12GB na 3060 je fajn třeba "AI upscalovátko" jako je třeba "Video2X", na doma je to fajn. Ale na větší věci to nestačí.

Dilinozravec

Level

včera 23:53 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

@FrankHorigan A neda sa nahodou pouzit viac tych kariet? za zlomok ceny 5090?

Aktualna cena u zeleneho je 363 Eur bez DPH za rtx 3060 12GB, ceny 5090 sa hybu uz medzi 6-8k Eur + bez DPH.

FrankHorigan

Level

dnes 08:54 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

@Dilinozravec Dá se využít víc karet. Jeden AI model je ale nahraný v jedné VRAM. A pokud potřebuje 24GB, nejde ho rozdělit mezi dvě RTX3060 s 12GB nějakým "SLI"

Můžete mít v PC dvě 24GB karty a mít zároveň v běhu dva modely. Ale nejde mít 4x 8GB starou plečku na jeden model co vyžaduje 32GB VRAM..

Máme ve firmě dvě 5090 a v nich dva modely. modelů ale provozujeme i 8. Takže v případě potřeby je nutné ty modely ve VRAM "vyměnit" a běžet zase na jiném..

Milan Šurkala

SHW

dnes 10:19

Komentáře tohoto uživatele máš zablokované.

@Dilinozravec Dá i nedá. To lépe využijete na běh více modelů (každý na své kartě), než že by jeden model sdílel více karet najednou (jde to, ale s omezeným přínosem). Můžete sice rozdělit jeden model na více karet a získat větší kapacitu, ale další karta nepřidává moc výkonu. Ty se totiž většinou sekvenčně střídají a jsou zde jen omezené možnosti paralelismu.

Jinak řečeno, když budete mít třeba 4 RTX 5080, budete mít 64GB kapacitu pro cca 50-55GB model, ale výkon bude stále někde na úrovni RTX 5080 (kdyby měla tak velkou paměť). Každopádně to bude i navzdory slabšímu čipu násobně rychlejší než jedna RTX 5090 s 32 GB, kde ten model bude přetékat do RAM a bude to výrazně bržděno kvůli offloadingu (čip se bude doslova flákat, protože bude stále čekat).

Dilinozravec

Level

dnes 17:35 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

@Milan Šurkala Dakujem za vysvetlenie Pan Surkala. Pytal som sa koli tomu, ze ci sa to neda nejakym sposobom skalovat. Este by som chcel vediet ako potom bezia tie AI data centra? tam sa ta "sada GPU" tvari ako cluster, cize ako jedno GPU, alebo ako dosahuju takeho vykonu. Zaujima ma to len z principu, ale mam doma este dost pouzitelneho zeleza a skusil by som nieco rozbehnut, len tak na osahanie.. Dakujem. Popripade nejaky link na podrobnejsie info.

Milan Šurkala

SHW

dnes 17:55

Komentáře tohoto uživatele máš zablokované.

@Dilinozravec Souvisí to s výše zmíněnými omezenými možnostmi paralelismu. Ty modely se dají dělit různě. V tomto případě je to dělení po vrstvách, nicméně je možné udělat i tensor paralelismus, kdy se jedna vrstva modelu rozdělí mezi všechna GPU. To pak dokážete skutečně navýšit rychlost výpočtu, jenže pak přichází ten druhý problém, výměna výsledků. A tady potřebujete extrémně rychlé propustnosti celého systému (NVLink, což je o řád rychlejší než PCIe, v případě PCIe 4.0 nebo x8 se už blížíme ke dvěma řádům) nemluvě o nemožnosti přímé komunikace spotřebitelských GPU mezi sebou (ty musí přes RAM). Jinak řečeno, i doma byste to takto rozchodil, ale rychlosti PCIe, RAM a především latence by očekávaný nárůst do značné míry zabily a nárůst by byl podstatně menší, než byste očekával vzhledem k hrubému výkonu karet.

V případě datových center je to ale v případě inference spíše o tom, že na několika kartách (třeba 8,16...) běží velký model, který se tam vejde a obslouží dávku uživatelů.

jivy

Level

dnes 11:38

Komentáře tohoto uživatele máš zablokované.

@Dilinozravec Bazarové karty jsou relativně levné teď. Pokud se tato zpráva potvrdí, tak ceny GK s větší VRAM vystoupají také.

Martes

Level

dnes 07:07

Komentáře tohoto uživatele máš zablokované.

@FrankHorigan Tím spíš se teda ptám, proč to vůbev nVidia uměle omezuje, když tu i tak jsou jasné hatdwarové limity a profi karty to teda nijak neohrožuje... Já vím, omezení nViodia dobré, když ale AMD uvede něco o pár měsísů pozdejí, co taky prokazatelně funguje, tak to je fůj, zlý AMD :D

Milan Šurkala

SHW

dnes 07:23

Komentáře tohoto uživatele máš zablokované.

@Martes Ohrožuje. Vždyť tam vidíte ty 80% nárůsty výkonu. Jenže, ne ve všech oblastech je to omezeno a ne ve všech oblastech se to omezení projevuje. Že se to neprojevuje v jedné, neznamená, že se to neobjevuje v druhé. Ta nedostatečná paměťová propustnost (pokud to považujete za onen HW limit) to ovlivní stejně u GeForce i RTX PRO.

Otázkou samozřejmě je, nakolik je to v praxi úspěšné (kolik lidí kvůli tomu sáhne pro RTX PRO) a při dnešních cenách se více vyplatí vzít RTX PRO než GeForce. Pokud byste chtěl 32 GB od Nvidie, tak zatímco RTX 5090 je za 200 tisíc, RTX PRO 4500 je za 125 tisíc (na druhou stranu je to výkonem spíše RTX 5080 než RTX 5090, pojme ale větší modely).

FrankHorigan

Level

dnes 09:00

Komentáře tohoto uživatele máš zablokované.

@Milan Šurkala Paměťovou propustnost patrně pán nemyslel, ta je u RTX3xxx slušná. Spíše jde o nedostatečnou velikost VRAM u všech Ampere kromě xx90.

A ano, na AI je mnohem lepší než 5090 třeba miniPC Nvidia Spark. Má to sice hrubý výkon na úrovni 5070, ale až 128GB VRAM..

Je to sdílené s RAM jako u Playstation nebo APU v notebooku..

FrankHorigan

Level

dnes 08:57

Komentáře tohoto uživatele máš zablokované.

@Martes Dobrý den, to se musíte zeptat v Nvidii. Patrně je tak marketingově definovaná "spotřebitelská karta" na hraní her.

Jsou horší případy. V Mercedesu máte vyhřívané sedačky a zapnou se jen pokud si to předplatíte u nich "v eshopu".

Dilinozravec

Level

dnes 17:39

Komentáře tohoto uživatele máš zablokované.

@Martes AMD je fuj fuj zly, len v tom, ze caka...caka...caka, s cim pride konkurencia a az potom reaguje. A potom sa nedivme, ze jedna firma udava tempo a ostatni iba slepo nasleduju. Ale to je problem IT od sameho zaciatku.

Reklama

Diskuze: Odemčené GeForce RTX 3000 získaly 70-80 % více výkonu pro AI

Nejnovější komentáře

Nejčtenější obsah

Nejaktivnější čtenáři

Pokračujte ve čtení