Diskuze: Během 2 let prý mají přijít 4GB a 6GB čipy GDDR7

Milan Šurkala

SHW

dnes 10:53

Komentáře tohoto uživatele máš zablokované.

@Milan Šurkala @jivy Každý ten způsob má své opodstatnění. Jak předplatné, pay-as-you-go přes API, tak lokální model. Osobně používám všechny tři.

Lokální modely mají pár problémů. Za rozumnou cenu můžete mít tak 16 GB VRAM, takže max. tak 30-35B modely v Q4 a už i to přetéká do pomalé RAM. Inteligencí modelu končíte někde zde. Q6 nebo Q8 už znamenají desítky GB v RAM, což musíte prvně mít (pokud ne, tak desítky tisíc za RAM) a je to pak pomalé a ne o moc inteligentnější. Na něco chytřejšího prostě potřebujete více VRAM.

Takže 32GB karta, no Nvidia začíná s RTX 5090 nebo RTX PRO 4500 tak na 140 tisících. Intel Arc Pro B70 už vzrostl ze 30 na 40 tisíc, ale není na něj tak odladěný software, takže bude tak na úrovni RTX 5060 Ti (a i ta už z 12 tisíc vylezla na 20). Radeon AI PRO 32GB je za 50 tisíc. A to spíše jen umožní použít lepší kvantizaci než lepší model (s více parametry).

Paradoxně nejvíce VRAM za nejméně peněz dostanete v notebooku (ale musí mít sdílenou paměť, takže padají herní modely s výkonnou GPU, takže sice můžete mít hodně RAM, ale pomalé GPU a stále pomalou RAM, i když rychlejší než normálně) a pak Ryzen AI MAX, RTX Spark. Takže potřebujete alespoň 64GB RAM (aby bylo z čeho sdílet), což jsme zase na hodně vysokých desítkách tisíc u NTB (u těch krabiček tak 120-150), nemluvě o výše zmíněné nízké propustnosti.

Abyste se lokálně opravdu někam posunul, tak první rozumná volba je tak RTX PRO 5500 72GB nebo možná Mac Studio s M5 Ultra a 256GB pamětí za čtvrt mega. Následující 3-4 roky se nezdá, že by se dalo dostat k lokálnímu běhu za nějakou rozumnou cenu.

Teď elektřina. Pro jeden svůj projekt potřebuju dávkové zpracování dat. Nejprve jsem to jel lokálně a fungovalo to. Nicméně když jsem si spočítal náklady na elektřinu, vyšlo mi, že API volání je nejen několikrát rychlejší, ale také několikrát levnější, a to při lepší kvantizaci (tedy lepší kvalitě). Pro nekritická data tak lokální AI už nepoužívám, protože je to finanční sebevražda (jednak na to musíte koupit HW, jednak to stojí na elektřině násobně více než náklady na API).

Ono to v tom datovém centru pojede násobně efektivněji než u mně na PC. Pokud nevěříte ani ZDR u poskytovatele, že opravdu nic neuloží, pak je lokál samozřejmě cesta a v podnicích to bude jistě časté, nicméně si myslím, že pay-as-you-go je pro mnoho nasazení nejlepší možnost, jak dostat kvalitní modely nejlevněji. Např. pro mé potřeby tohoto projektu je pay-as-you-go zdaleka nejvýhodnější cesta, lepší než předplatné (tam je dávkové zpracování omezené, volání přes API na to neplatí) i lokální běh.

Takže ono velmi pravděpodobně to bude mix všech tří možností a všechny tři možností mají podobný problém, co se týče trhu s pamětmi. Ať se více prosadí jeden, druhý nebo třetí, je to v zásadě úplně jedno, protože všechny tři vyvolávají nedostatky pamětí.