NVIDIA připravila AI tvořící zpomalená videa z normálních

Nyní budeme mluvit o jedné takové úzce zaměřené AI, která dokáže prostě vzít video natočené v běžné snímkovací frekvenci a udělat z něj plynulé zpomalené video. To se obvykle tvoří prostě tak, že se scéna natáčí ve vysoké snímkovací frekvenci, třeba ve 240 za sekundu a poté se přehraje v běžných 25 či 30 snímcích za sekundu. 

 

 

Je tak zřejmé, že AI od NVIDIE má za úkol prostě a jednoduše doplnit chybějící snímky ve zpomaleném videu tak, aby bylo plynulé. Stačí se podívat na následující video z YouTube, aby bylo zřejmé, že jí to jde velice dobře. 

 

 

AI si pochopitelně pouze domýšlí, jak vypadají chybějící snímky a v podstatě nejde o nic jiného než o pokročilou interpolaci. Pokud by se tak stalo, že by se v reálné scéně objevilo něco neočekávatelného, třeba že by světla automobilu blikla tak rychle, aby to standardní kamera vůbec nezachytila, pak nám AI samozřejmě nepomůže. Prostě a jednoduše, co je tak rychlé, že nelze zachytit běžnou kamerou, to nám umělá inteligence těžko realisticky ztvární, zato vysokorychlostní kamera to zachytit pochopitelně dokáže. V uvedeném videu se můžeme zaměřit třeba na vlasy tanečnice, které ve zpomaleném záběru dotvořeném AI přece jen vypadají trošku divně. Jinak jsou ale výsledky velice dobré, jen nejsou využitelné třeba pro vědecký výzkum, kde jde především o zachycení reality. 

 

Systém NVIDIA Super SloMo byl stejně jako mnohé jiné vytrénován s využitím velké databáze příkladů, v tomto případě videí zachycených ve 240 FPS. Ty byly prohnány frameworkem PyTorch akcelerovaném pomocí cuDNN na kartách Tesla V100 a výsledkem je predikční model, který umí dotvářet chybějící snímky. Jde navíc o vícesnímkový přístup, takže ty chybějící se netvoří pouze na základě bezprostředně sousedních, ale s využitím více okolních snímků. Je to ostatně logické, neboť pro čtyřnásobné zpomalení původně 30FPS videa potřebuje AI na každou sekundu vytvořit 190 snímků. 

 

Stejná umělá inteligence také dokáže ještě více zpomalit již velice zpomalená videa, k čemuž NVIDIA využila materiály od známých Slow Mo Guys.

 

Zdroj: Tom's Hardware