Diskuze: Odemčené GeForce RTX 3000 získaly 70-80 % více výkonu pro AI

FrankHorigan

Level

dnes 08:54 (Upraveno)

Komentáře tohoto uživatele máš zablokované.

@Dilinozravec Dá se využít víc karet. Jeden AI model je ale nahraný v jedné VRAM. A pokud potřebuje 24GB, nejde ho rozdělit mezi dvě RTX3060 s 12GB nějakým "SLI"

Můžete mít v PC dvě 24GB karty a mít zároveň v běhu dva modely. Ale nejde mít 4x 8GB starou plečku na jeden model co vyžaduje 32GB VRAM..

Máme ve firmě dvě 5090 a v nich dva modely. modelů ale provozujeme i 8. Takže v případě potřeby je nutné ty modely ve VRAM "vyměnit" a běžet zase na jiném..

Milan Šurkala

SHW

dnes 10:19

Komentáře tohoto uživatele máš zablokované.

@Dilinozravec Dá i nedá. To lépe využijete na běh více modelů (každý na své kartě), než že by jeden model sdílel více karet najednou (jde to, ale s omezeným přínosem). Můžete sice rozdělit jeden model na více karet a získat větší kapacitu, ale další karta nepřidává moc výkonu. Ty se totiž většinou sekvenčně střídají a jsou zde jen omezené možnosti paralelismu.

Jinak řečeno, když budete mít třeba 4 RTX 5080, budete mít 64GB kapacitu pro cca 50-55GB model, ale výkon bude stále někde na úrovni RTX 5080 (kdyby měla tak velkou paměť). Každopádně to bude i navzdory slabšímu čipu násobně rychlejší než jedna RTX 5090 s 32 GB, kde ten model bude přetékat do RAM a bude to výrazně bržděno kvůli offloadingu (čip se bude doslova flákat, protože bude stále čekat).