Aféra 3DMark 03

Ohledně syntetických benchmarků se vedlo již mnoho sporů, pro mnoho uživatelů přinášejí praktické srovnání výkonu grafických karet, někteří je naopak odsuzují pro neobjektivitu. Jenže za to, že výsledky nejsou objektivní, nemůžou vývojáři, ale výrobci grafických čipů. 3DMark 03, kterého se poslední aféra týká, je produktem vývojářského týmu FutureMark, jenž celou aféru potvrdil.

První záblesk možného podvádění přinesl již 14. května server ExtremeTech. V tomto článku uvádí, že nVidia využila přesně dané dráhy pohybu v 3D scéně u 3DMarku 03 a udělala úpravy, které vedly k chybám v renderování mimo viditelnou část scény (více, včetně screenshotů, ve zmiňovaném článku). Tyto domněnky byly více méně vyvráceny serverem Elite Bastards, který ovšem napsal, že počká na důkazy.

A ty přišly! Na webových stránkách FutureMarku se 23. května objevila studie, jež objevila celkem osm mechanismů v posledních ovladačích nVidie (verze 44.03 a 43.51), které detekují spuštění 3DMarku 03 a upravují jeho běh pro dosažení vyšších výsledků. Grafické karty nVidia např. nevyprazdňují buffery a přidávají vlastní pixel a vertex shadery, které snižují zátěž GPU, aniž by bylo něco viditelné. Proto vypustil FutureMark build 330 pro 3DMark 03, ve kterém znemožní ovladačům detekovat své spuštění.

Ve studii se uvádí, že v nové verzi 3DMarku dosahují grafické čipy GeForce FX až o 24% nižších výsledků!! Propad o necelá 2% zaznamenal FutureMark i u Radeonu 9800 Pro, což je efektem 8,4% ztráty u Game 4 (test na DirectX9) – ATi tedy také "optimalizovalo". Ovšem ve stejný den vyšla na ExtremeTech podrobnější zpráva, ve které jsou jednotlivé výsledky rozepsány. Jako vzorek uvádím několik grafů:

Podle ExtremeTechu je ztráta na celkovém skóre u karet ATi cca 11%, u nVidie v průměru 13%, z toho v Game 4 ztratilo ATi 20% a nVidia 38%. U pixel a vertex shaderů jsou optimalizace ATi téměř nulové, zatímco nVidia ztratila 20-56%! Na Virtual Zone se posléze objevil také test, ve kterém je ovšem cheatování přiznáno pouze nVidii (-22,2%), zatímco ATi ztratilo jen cca 1,7%.

Po těchto testech ovšem začala mediální přestřelka. Nejdříve nVidia obvinila FutureMark, že jeho testy poškozují jméno společnosti a že z důvodu statisícových poplatků nemá společnost šanci podílet se na vývoji 3DMarku 03. O podvádění v testech nepadlo slovíčka. Poté se k cheatování paradoxně přiznalo ATi (jež úpravami získalo mnohem méně než nVidia), konkrétně společnost uvedla, že "(…) bez vizuálních artefaktů (…) zamíchala instrukce, aby využila výhody své architektury." Ovšem i toto není v 3DMarku legitimní a ATi se rozhodlo tyto "optimalizace" z další verze ovladačů vypustit. Poté reagoval FutureMark na prohlášení nVidie a oznámil, že licence na vývojářskou verzi 3DMarku stojí pouze $5000 a nikoliv statisíce. Poslední prohlášení učinilo opět ATi, které upřesnilo, že svými optimalizacemi neubírá GPU zatížení, tedy že čip musí vykonat stejné operace, akorát je provede efektivněji. Výsledný efekt je stejný jako kdyby k optimalizacím nedošlo.

Jaký tedy bude osud syntetických benchmarků? Pokud by jejich vývojáři častěji kontrolovali, zda se grafický společnosti o podobné triky nepokouší, bude vše v pořádku. Ovšem lze vyloučit, že jde podobné machinace provádět i v herních testech? Myslím, že ne a protože marketing hraje stále významnější roli, půjde tu i nadále o takovéto podvody. Prozatím je 3DMark 03 čistý…