Zpět na článek

Diskuze: Superpočítač Frontier s AMD rozběhal LLM s bil. parametrů na 3000 kartách MI250X

Nejsi přihlášený(á)

Pro psaní a hodnocení komentářů se prosím přihlas ke svému účtu nebo si jej vytvoř.

Rychlé přihlášení přes:

Google Facebook Seznam Discord

prasopras

Level

11. 1. 2024 12:24

Komentáře tohoto uživatele máš zablokované.

V originale trilion, wow.

test5

Level

11. 1. 2024 16:00

Komentáře tohoto uživatele máš zablokované.

@prasopras Ano, tento dvojí systém značení je matoucí, ale co už.
https://cs.wikipedia.org/wiki/Kr%C3%A1tk%C3%A1_a_dlouh%C3%A1_%C5%A1k%C3%A1la

jardadoma

Level

10. 1. 2024 12:33

Komentáře tohoto uživatele máš zablokované.

Asi lepší kšeft, než pár hráčů, co by chtěli nové Pc :o)

kutil05

Level

10. 1. 2024 12:45

Komentáře tohoto uživatele máš zablokované.

@jardadoma Z té dobíhající ještě stále aktuální řady 200 nejlevnější MI 210 což je polovina MI 250 což je níže taktovaná vzduchem chlazená varianta TOP MI 250X vodou chlazené. A ta 210. stojí u nás: 217 365 Kč bez DPH / 263 012 Kč s DPH.
https://smicro.cz/amd-instinct-mi210-64gb-hbm2-90skc000-m76an0
Takže cenu 300X si ani nepředstavuji raději.

stigma

Level

10. 1. 2024 13:28

Komentáře tohoto uživatele máš zablokované.

@kutil05 MI300X tam je taky. Noooo, slušná cena
https://smicro.cz/amd-instinct-mi300x-192gb-hbm3-100-300000045h

kutil05

Level

10. 1. 2024 13:37

Komentáře tohoto uživatele máš zablokované.

@kutil05 Ani jsem ji v ceníku nečekal, MI250 jsem tam předtím nikdy nenašel.

kutil05

Level

10. 1. 2024 12:25

Komentáře tohoto uživatele máš zablokované.

Což o MI 250X - to je nejvyšší model - dvoučip vodou chlazený ve spc. formátu, pod ní jsou ještě 250 a 210 první taky dvoučip, druhý jednočip (když nepočítám HBM) ale už chlazené vzduchem a do PCIe slotu a ty se dají snadno integrovat do běžných serverů a pracovních stanic. Řada 300 zatím obsahuje jen nejvyšší modely. Těch výsledků je hodně takže pro srovnání uvedu jen MI 250X a MI 300X a dál pak rozdíl mezi 300X a 300A.

300X:
Peak Eight-bit Precision (FP8) Performance 2.61 PFLOPs
Peak Eight-bit Precision (FP8) Performance with Structured Sparsity 5.22 PFLOPs
Peak Half Precision (FP16) Performance 1.3 PFLOPs
Peak Half Precision (FP16) Performance with Structured Sparsity 2.61 PFLOPs
Peak Single Precision (TF32 Matrix) Performance 653.7 TFLOPs
Peak Single Precision (TF32) Performance with Structured Sparsity 1.3 PFLOPs
Peak Single Precision Matrix (FP32) Performance 163.4 TFLOPs
Peak Double Precision Matrix (FP64) Performance 163.4 TFLOPs
Peak Single Precision (FP32) Performance 163.4 TFLOPs
Peak Double Precision (FP64) Performance 81.7 TFLOPs
Peak INT8 Performance 2.6 POPs
Peak INT8 Performance with Structured Sparsity 5.22 POPs
Peak bfloat16 1.3 PFLOPs
Peak bfloat16 with Strutured Sparsity 2.61 PFLOP

Ano je toho hodně. 300A má méně CU: 228 proti 304, ale navíc 24 jader ZEN 4 na taktu 3,7 GHz takty CU jsou stejné.
300X má 192 GB - 300A 128 GB, obojí s 5,3 TB/s.

kutil05

Level

10. 1. 2024 12:32

Komentáře tohoto uživatele máš zablokované.

@kutil05 250X:
Peak Half Precision (FP16) Performance 383 TFLOPs
Peak Single Precision Matrix (FP32) Performance 95.7 TFLOPs
Peak Double Precision Matrix (FP64) Performance 95.7 TFLOPs
Peak Single Precision (FP32) Performance 47.9 TFLOPs
Peak Double Precision (FP64) Performance 47.9 TFLOPs
Peak INT4 Performance 383 TOPs
Peak INT8 Performance 383 TOPs
Peak bfloat16 383 TFLOPs

Je vidět nárůst počtu formátů, 128 GB - 3,2 TB/s. Rozdíly ve výkonu uvedu v 16 a 64 bitech bez přípravy dat:
383 - 980,6 - 1300 tedy 2,18x a 3,39x
47,9 - 61,3 - 81,7 tedy 1,27x a 1,71x Je tedy zjevné, kde je větší zlepšení.

Dilinozravec

Level

10. 1. 2024 12:17

Komentáře tohoto uživatele máš zablokované.

V ktorom vesmire?

Tech-boy.lukas

Level

10. 1. 2024 10:23

Komentáře tohoto uživatele máš zablokované.

Jak vidno jde llm trénovat na MI250X velmi dobře. To není vůbec dobrá zpráva pro nvidii, která taky dodává podobné karty, a nyní je llm hype. Celkem bych řekl že momentálně se amd dost daří.

Diskuze: Superpočítač Frontier s AMD rozběhal LLM s bil. parametrů na 3000 kartách MI250X

Nejnovější komentáře

Nejčtenější obsah

Nejaktivnější čtenáři

Pokračujte ve čtení