Koukam, ze ty NVMe zerou jak plotnove disky 😄
Odpovědět0 0
Na běh LLM je to bohužel příliš pomalé (desítkykrát pomalejší než RAM, která je už tak trochu pomalá proti GPU). Jaké nároky na propustnost má trénování?
Odpovědět0 0
Opravdu tam není žádné "ale"? Opravdu je to za běžných podmínek?
Odpovědět3 0
Hm, jediné "ale" bude cena. Podle mě to udělali velice jednoduše. Vzali 16TB disk TLC a přepnuli do režimu SLC pro celou kapacitu. Tím se zvýší přenosová rychlost na maximum bez omezení a vzroste životnost na právě cca 100 000 přepsání. Samozřejmě se sníží kapacita, když buňky nemusí udržovat 3 stavy napětí, ale pouze jeden.
Odpovědět9 0
Jo, to by dávalo smysl. Díky.
Odpovědět2 0