Pro Linux se objevila nová utilita, která odemyká omezení výkonu grafických karet GeForce RTX 3000. Radostná zpráva to může být zejména pro ty, kteří chtějí provozovat lokální AI.
Nvidia má za sebou už nějakou tu historii umělého omezování výkonu svých herních karet GeForce, aby je mohla lépe segmentovat na trhu. V případě herních modelů řady GeForce RTX 3000 s architekturou Ampere tu máme např. omezení výpočetního výkonu Tensor jader v profesionálních úlohách. Nyní se objevil open-source projekt GPU Unlock, který vyvinul uživatel na GitHubu, Zagitta. Ten umožňuje těmto kartám uvolnit skrytý potenciál, který je standardně vyhrazen pro dražší karty profesionální řady Quadro nebo RTX A.
Jde o linuxový modul, který namísto trvalého flashe BIOSu dynamicky zasahuje do ovladače v jádru Linuxu a zachycuje požadavky na Device ID karty. Skutečný identifikátor následně nahrazuje identifikátorem profesionální karty, takže ovladač kartu rozpozná jako pracovní model a automaticky odemkne vyšší rychlost instrukcí FP16 a BF16. Provádí inicializaci předtím, než se ke GPU připojí samotný ovladač Nvidie, takže uživatelé nemusí řešit aktualizace ovladačů při každém novém vydání.
Pokud jde o konkrétní čísla, nárůsty výkonu jsou v některých případech velmi výrazné. V případě GeForce RTX 3090 Ti se BF16 compute performance zvedla z 87,5 na 157,41 TFLOPS, což představuje nárůst o 80 %. Výrazný posun je vidět i u TF32, kde výkon vzrostl z 42,58 na 82,61 TFLOPS (dokonce +94 %). U FP16 pak šlo o nárůst z 87,46 na 118,39 TFLOPS (+35 %).
Podobné zisky hlásí i majitelé jiných karet RTX 3000, kde se nárůst v BF16 pohybuje okolo 55-85 %, většinou pak okolo 70-80 %. V reálném nasazení jsou tyto změny znát především v úlohách s maticovými výpočty. U LLM inference tak došlo k nárůstu propustnosti při zpracování promptů (prefill) o 14 až 36 % a zkrátil se i čas do vygenerování prvního tokenu.V případě generování tokenů (decode) zůstal ale výkon víceméně stejný, protože zde je hlavním limitem propustnost paměti a nikoliv hrubý výkon Tensor jader. Stejně tak u INT8 byly zisky téměř nulové.
Pro hráče tato novinka v podstatě nemá žádný význam, protože odemknutí neovlivňuje FPS ve hrách nebo rychlost běhu DLSS. Výpočty, které tyto jednotky ve hrách provádí, jsou totiž časově velmi krátké, takže jejich zrychlení se na výkonu víceméně neprojevuje. Projekt aktuálně podporuje čipy GA102, GA103, GA104 a GA106.
