AI video komprese dle NVIDIE: vysoká kvalita videohovorů při nízkém bitrate

NVIDIA přichází s novou AI funkcí zvanou prostě AI Video Compression, která nám má poskytnout mnohem kvalitnější video při nízkém bitrate, než by to zvládly klasické kodeky jako h.264. 

 

 

Dle prvního srovnání jde sice o viditelně nižší kvalitu videa, což je znát především na celkové ostrosti obrazu, ovšem při kódování pomocí h.264 je využit bitrate s téměř 100 kB na snímek, přičemž v druhém případě je bitrate více než 800x nižší. 

 

 

Druhý snímek pak ukazuje srovnání kvality při téměř stejném bitrate, kde je h.264 už mnohem horší. Nicméně technologie NVIDIE se zaměřuje konkrétně na přenos obrazu při videokonferencích či obecně při videokomunikaci a ta mají svá specifika. Jde jednak o to, že se na nich zpravidla nemění pozadí (alespoň tomu tak je v ukázaných příkladech) a v záběru jsou především lidské obličeje. Tomu odpovídá i zpracování obrazu pomocí AI. 

 

 

AI Video Conferencing zde zcela nahrazuje klasický kodek pomocí neuronové sítě. Z na straně odesílatele si všímá pouze klíčových bodů v obraze, které se mění. Data o nich pak pošle druhé straně, která už pomocí AI rekonstruuje obraz do požadované podoby. Používají se zde obvyklé GAN (generative adversarial network), čili dvě neuronové sítě, které mezi sebou při trénování soupeří, čímž se postupně zlepšují. 

 

 

Znamená to ale také, že mají i velice úzké zaměření a i když technologie AI Video Conferencing zvládne třeba přenos obrazu uživatele se sluchátky nebo jiným předmětem v záběru, není využitelná třeba pro záběry krajiny a jiné. Má ale své jiné speciální schopnosti, jako třeba pozměnit obličej osoby v záběru tak, aby se z pohledu sledujícího koukala přímo do kamery, anebo je možné rovnou vyměnit celý obličej a komunikovat s protistranou coby kdokoliv jiný a zde už záleží jen na fantazii. 

 

AI Video Conferencing je pouze jedna ze součástí platformy NVIDIA Maxine pro video streamování. Další funkce umožní převod obrazu do vyššího rozlišení pomocí AI, odstranění šumu, překlady a jiné.