Stabilizace v Google Pixel 2 (XL): tolik výpočtů, že si AI video spíše vymýšlí

Nové mobilní telefony Google Pixel 2 a Pixel 2 XL jsou vybaveny novou pokrokovou Fused Video Stabilization. Google se totiž zaměřil na to, aby telefony natáčely pokud možno co nejkvalitnější video a ktomu je potřeba, aby bylo stabilní i bez stativu nebo jiných pomůcek. Když se ale podíváme na seznam všeho, co obrazové algoritmy v tomto telefonu vlastně řeší a korigují, reálná scéna se už stává jen jakýmsi předobrazem pro generování výsledného videa.

Výše zmíněná stabilizace kombinuje optickou stabilizaci v objektivu (OIS) a tu elektronickou (EIS). Tato kombinace je schopna potlačit třes rukou (a tedy i telefonu), vyřešit pohybové rozmazání (motion blur efekt delších expozic), rolling shutter efekt (kácení svislic nebo gumovatění obrazu při rychlém pohybu) i focus breathing (změna zoomu při přeostření). Na stabilizační systém docela pěkná řádka funkcí.

Základem je tak optická stabilizace obrazu, která dokáže uklidnit některé pohyby telefonu, nicméně sama o sobě nezvládá více než zhruba 1 až 2 stupně a navíc ještě jen ve dvou osách. Objektiv je schopen systému předat i informace o zaostření, ale pak už je většina věcí v rukou elektroniky. K informacím poskytovaným systémem optické stabilizace se přidávají i další výstupy z gyroskopu s frekvencí 200 Hz (změny natočení) a jiných senzorů, aby systém věděl co nejvíce informací o poloze a změně polohy telefonu.

Tady už nastupuje systém umělé inteligence a na základě předchozích snímků se snaží předpovědět další pohyb telefonu (virtuální pohyb) a s ním i potřebné korekce, aby celé video bylo prosté různých nepříjemných škubnutí. Na rozdíl od standardních systémů OIS, které reagují na vzniklý třes, zde se Google snaží směr a míru třesu předpovědět a reagovat tak už v době jeho vzniku a ne až poté.

Na základě virtuálního pohybu a předchozích snímků stabilizace potlačuje i focus breathing, rolling shutter i rozmazání pohybem. Pro potlačení rolling shutter efektu telefon synchronizuje údaje z gyroskopu a snímače, aby věděl, kdy přesně se který řádek na čipu vyčítal a jak je posunutý. Rozmazání pohybem se pak opět řeší systémem umělé inteligence, která bere signály z OIS a gyroskopu, vytváří snímek s virtuálním pohybem, který pak prolíná s původním pro vznik lepšího dojmu. Součástí tohoto procesu je identifikování místa, kde expozice rozmazaného snímku začala a kde skončila.

Jak je vidět, rozhodně nejde o jednoduchý proces (spoustu detailů jsme ještě vynechali) a je zde spousta nejrůznějších výpočtů a transformací, které by měly dopomoci k méně roztřeseným výsledkům. Otázkou pak je, jak moc videa vlastně bylo natočeno a jak moc vymyšleno pokročilými algoritmy.

Zdroj: googleblog.com