@Derryk
Ne to bych neřekl, teoreticky 50 TOPS Block FP16 je potenciál pro 100 TOPS INT8. Aspoň když se člověk dívá na výkony Instinc, ale i u grafik to tak bývá.
Potíž mám s jinou věcí. TOPS je výkon v celočíselném formátu. Ale pro FP16 tedy 16. bitovou přesnost v plovoucí řádové čárce snad máme jiný formát, nebo ne. Nemá to být TFLOPS?
@kutil05
No pozor, ale AMD říká, že to v Block FP16 nemá propad výkonu typický pro FP, ale že to má stejný výkon, jaký by to mělo v INT8. Takže by to mělo být 50 TOPS v INT8, ne 100 TOPS. Jinak by to tvrzení AMD nedávalo smysl a zas by to bylo 1:2, což není, když je hlavní prezentovanou výhodou Block FP16 poměr 1:1.
Tak nevím, u grafik je to u AMD možná stejné, ale u akcelerátoru ne. A v zásadě, když to umí pod 32 FP, ještě dva odlišné formáty 16 b Bloat a BFloat a pak 8 b Bloat a 8 b INT, tak logicky není problém, aby ten výkon s poloviční datovou šířkou byl dvojnásobný.
@kutil05
"Tak nevím, u grafik je to u AMD možná stejné, ale u akcelerátoru ne."
Znovu říkám, že právě ta rovnost 1:1 je tou novinkou, kterou to nyní dostalo. Takže do toho tahat něho, co vyšlo v minulosti, nic nedokazuje, když právě to, že se ten poměr mění, je to nové.
@kutil05
To by ale byla novinka k horšímu a reálně tím nějak výrazně tranzistory neušetří. Samozřejmě, není to primárně výpočetní řešení, ale pokud má pomáhat v AI výpočtech, je takové zjednodušení kontraproduktivní.