@michalosss
RTX PRO 6000 má už dnes 96 GB na 512-bit sběrnici. Cena při uvedení zhruba 9000 $. U modelů, které vyjdou příští nebo přespříští rok, by za takovou cenovku mohlo paměti i přibýt.
Podle mnohem nudnějších, ale rovněž neověřených tvrzení jinde je rozdíl způsobený tím, že v Singapuru mají mnohé technologické firmy svoje regionální HQ, takže se nákupy účtují tam, i když pak jde karta jinam než do Singapuru nebo do Číny. Pokud jsou z tohoto historická data, dalo by se to ověřit.
Before Deepseek: "Well that's no surprise because Singapore has a lot of international companies HQ'd there and that's where it's billed"
> Jedním z nich jsou obavy o bezpečnost a soukromí.
Opět je potřeba připomenout a zopakovat, že na rozdíl od všech "Open"AI, Google a Anthropic, kteří si svoje modely pečlivě střeží uzavřené, nám DeepSeek svoje velké modely tak jako Meta vydává jako open-weights.
To znamená, že kdokoliv si ten model může stáhnout (nebojte se, nebudu vám navrhovat provozovat ~670B model lokálně) a tím pádem například může místní provozovatel LLM API v rámci EU, který splňuje GDPR regulaci, tenhle model hostovat u sebe a můžete ho používat bez strachu z čínského šmírování. Nebo z úniků dat původního provozovatele.
> nařčení z vykrádání jiných
Vykrádat jiné je špatné. Mohli bychom se tady v těchto článcích dočkat trochu širšího kontextu a třeba ukázat tabulku toho, kteří autoří těchto velkých LLM modelů svoje tréninková data získali legitimně? Vsadím se, že jich bude dost málo. Nemám v plánu obhajovat DeepSeek, byť copyright stížnosti zrovna od OpenAI mi přijdou úsměvné. Možná Google svoje data získal v souladu se svými ToS?
"dosáhl na přenosovou rychlost 10.470 MB/s, přitom spotřeba dosahovala jen na 4,97 W. To znamená efektivní přenosy s rychlostí 2,09 MBps na watt"
Tady ten zápis je pro mne trochu matoucí :) Čekal bych, že to bude "10 470 MB/s" a že to ve výsledku bude "2,09 GBps na watt". Jinak je to pěkná jednotka energetické efektivity (GBps/W), to by se mohlo ujmout.
@snajprik
V článku to zmíněné je, ale až na konci: "bude využito více těchto karet najednou a pracovní stanice jim zajistí dostatečný průtok vzduchu okolo"
Stroj s těmito pasivními grafikami tichý skoro určitě nebude, klidně jich může být X vedle sebe v nějakém serverovém šasi a vzduch přes ně budou tlačit poměrně uřvané server-grade větráčky :-)
@Milan Šurkala
Já tomu rozumím, ale chtěl jsem si rýpnout do argumentu "už je rok 2024". To přece vůbec nic neznamená, jak vidíte, když dlouholetý zavedený výrobce není schopen vyrobit pojízdné auto.
Pro mne to je reálné pochopit, ale hrozně těžké přijmout, že se něco takového dnes může stát. Doufám aspoň, že FW týmy celou tu dobu prostě pracovaly na novém modelovém ročníku, kde většina těch chyb už bude napravená, zatímco na starý model nezbyla kapacita a nějak se to postupně uplácá tak, že nová verze (auta) úplně nahradí tu starou a všichni budou spokojení.
> ne každý chce to auto vracet (nevadí jim to tolik, aby ho vraceli).
OK, to je fér argument, že to může být určitá laxnost i ze strany zákazníka, ne jenom výrobce.
@Milan Šurkala
Už je to tady v diskuzi aspoň třikrát, je rok 2024. Proč teda vykupujou auta místo aby to spravili OTA aktualizací, když máme rok 2024?
Jiná otázka - není to trochu v nepořádku u všech aut čekat, až se postupně znepojízdní, než aby se udělal mass recall a vrátily se peníze všem hned? Software mají snad stejný.
@komplikator
Kdo? Třeba já. Začal jsem na konci roku 2017 s 1700X a RX 570. Teď tam mám 5700X a RX 6700 XT, nárůst výkonu i na takhle staré desce je obrovský. Všechno ostatní zůstalo stejné a ničemu to nevadí. A nic by mi nebránilo udělat upgrade na 5950X a 7900 XTX... krom toho, že je to docela dost peněz a zas tak moc mi ten výkon navíc, jakkoliv by to byl další velký krok, nechybí. Mám tam pořád tu stejnou starou B350M základovku.
Upgrade na novou AM5 základovku a s tím spojené i nové paměti by mi určitě dovolil ještě lepší CPU a vyšší propustnost RAM, ale propustnost asi nedocením a znamenalo by to zaplatit tisíce jen za tu možnost pak zaplatit další tisíce za to CPU, když jsem ještě ani nevyužil možnosti mojí současné platformy.
Na běh LLM je to bohužel příliš pomalé (desítkykrát pomalejší než RAM, která je už tak trochu pomalá proti GPU). Jaké nároky na propustnost má trénování?
@Milan Šurkala
Komentátor se neptá, z čeho má Google náklady. Komentátor se ptá, proč by Googlu platil namísto sledování reklam zadarmo, když stejně i s placeným tarifem bude dál muset sledovat reklamy.
@jeriko
Vida. Uznávám chybu, je to jasně napsané i na wikipedii, hledal jsem jen potvrzení názvu EM64T a nedíval se moc okolo, tak jsem to nezachytil.
Říkejme tedy té intelí implementaci správně Intel 64, ale pokud chceme zmiňovat nějaké nestandardní vendor-specific názvy, pořád mi tam víc sedí to AMD64.
@jeriko
Vida. Uznávám chybu, je to jasně napsané i na wikipedii, hledal jsem jen potvrzení názvu EM64T a nedíval se moc okolo, tak jsem to nezachytil.
Říkejme tedy té intelí implementaci správně Intel 64, ale pokud chceme zmiňovat nějaké nestandardní vendor-specific názvy, pořád mi tam víc sedí to AMD64.
Prosím popisujme realitu jak se stala doopravdy. Intel si vymyslel svůj 64-bit projekt Itanium a tam všichni vidíme, jak trh rozhodl. Bylo to AMD, které dokázalo adaptovat stávající x86 na 64-bit funkci. Proto se tato instrukční sada oprávněně jmenuje buď x86-64 nebo AMD64, žádný Intel.
@jeriko
Vida. Uznávám chybu, je to jasně napsané i na wikipedii, hledal jsem jen potvrzení názvu EM64T a nedíval se moc okolo, tak jsem to nezachytil.
Říkejme tedy té intelí implementaci správně Intel 64, ale pokud chceme zmiňovat nějaké nestandardní vendor-specific názvy, pořád mi tam víc sedí to AMD64.
@Pavel Matějka
Proč by se měly generovat speciální odkazy pro Edge, když je to tím pádem webová stránka a umí ji zpracovat libovolný standardy podporující browser?
Na mém Androidu LineageOS žádné Chrome nebylo, dokud jsem ho tam sám nenainstaloval, normálně jsem fungoval i bez něj. Jakým naprosto libovolným způsobem si můžu to stejné zařídit pro Edge na Windows?
