Stabilizace v Google Pixel 2 (XL): tolik výpočtů, že si AI video spíše vymýšlí

Stabilizace v Google Pixel 2 (XL): tolik výpočtů, že si AI video spíše vymýšlí
, , aktualita
Google poodkryl tajemství stabilizace v telefonech Pixel 2 a Pixel 2 XL. Tato Fused Video Stabiilization řeší problémy třesu, rolling shutter efektu, focus breathingu a dalších, takže těžko říci, zda ještě vůbec točíte nebo si video telefon sám generuje.



reklama
Nové mobilní telefony Google Pixel 2 a Pixel 2 XL jsou vybaveny novou pokrokovou Fused Video Stabilization. Google se totiž zaměřil na to, aby telefony natáčely pokud možno co nejkvalitnější video a ktomu je potřeba, aby bylo stabilní i bez stativu nebo jiných pomůcek. Když se ale podíváme na seznam všeho, co obrazové algoritmy v tomto telefonu vlastně řeší a korigují, reálná scéna se už stává jen jakýmsi předobrazem pro generování výsledného videa.

Google Pixel 2 XL

Výše zmíněná stabilizace kombinuje optickou stabilizaci v objektivu (OIS) a tu elektronickou (EIS). Tato kombinace je schopna potlačit třes rukou (a tedy i telefonu), vyřešit pohybové rozmazání (motion blur efekt delších expozic), rolling shutter efekt (kácení svislic nebo gumovatění obrazu při rychlém pohybu) i focus breathing (změna zoomu při přeostření). Na stabilizační systém docela pěkná řádka funkcí.

Google Fused Video Stabilization

Základem je tak optická stabilizace obrazu, která dokáže uklidnit některé pohyby telefonu, nicméně sama o sobě nezvládá více než zhruba 1 až 2 stupně a navíc ještě jen ve dvou osách. Objektiv je schopen systému předat i informace o zaostření, ale pak už je většina věcí v rukou elektroniky. K informacím poskytovaným systémem optické stabilizace se přidávají i další výstupy z gyroskopu s frekvencí 200 Hz (změny natočení) a jiných senzorů, aby systém věděl co nejvíce informací o poloze a změně polohy telefonu.

Tady už nastupuje systém umělé inteligence a na základě předchozích snímků se snaží předpovědět další pohyb telefonu (virtuální pohyb) a s ním i potřebné korekce, aby celé video bylo prosté různých nepříjemných škubnutí. Na rozdíl od standardních systémů OIS, které reagují na vzniklý třes, zde se Google snaží směr a míru třesu předpovědět a reagovat tak už v době jeho vzniku a ne až poté.


Na základě virtuálního pohybu a předchozích snímků stabilizace potlačuje i focus breathing, rolling shutter i rozmazání pohybem. Pro potlačení rolling shutter efektu telefon synchronizuje údaje z gyroskopu a snímače, aby věděl, kdy přesně se který řádek na čipu vyčítal a jak je posunutý. Rozmazání pohybem se pak opět řeší systémem umělé inteligence, která bere signály z OIS a gyroskopu, vytváří snímek s virtuálním pohybem, který pak prolíná s původním pro vznik lepšího dojmu. Součástí tohoto procesu je identifikování místa, kde expozice rozmazaného snímku začala a kde skončila.

Jak je vidět, rozhodně nejde o jednoduchý proces (spoustu detailů jsme ještě vynechali) a je zde spousta nejrůznějších výpočtů a transformací, které by měly dopomoci k méně roztřeseným výsledkům. Otázkou pak je, jak moc videa vlastně bylo natočeno a jak moc vymyšleno pokročilými algoritmy.



Ceny souvisejících / podobných produktů:


Nejnovější články
Fotograf ve videu rozebírá svůj Canon EOS 1D X Mark II Fotograf ve videu rozebírá svůj Canon EOS 1D X Mark II
Někteří fotografové na svůj přístroj nedají dopustit, jiným už poškození fotoaparátu tak těžkou hlavu nedělá. Když zrcadlovka Petera McKinnona vypověděla po nehodě službu, rozhodl se ji před opravou sám rozebrat a vše zdokumentovat.
Včera, aktualita, Kateřina Hoferková1 komentář
Při předobjednávce Panasonicu Lumix GH5s dostanete 5 let záruky Při předobjednávce Panasonicu Lumix GH5s dostanete 5 let záruky
Nový CSC fotoaparát Panasonic Lumix GH5s vyvolal zájem nejen díky nižšímu rozlišení snímače a menšímu šumu. Aby byl ještě atraktivnější, připravil si Panasonic akci, kdy při předobjednávce fotoaparátu dostanete 5letou záruku.
19.1.2018, aktualita, Milan Šurkala
Časosběrné video ukazuje obálky National Geographic během 130 let Časosběrné video ukazuje obálky National Geographic během 130 let
Časopis National Geographic, který je známý svými fotografiemi, slaví kulaté výročí a k tomuto milníku se rozhodl vydat časosběrné video na YouTube, kde ukazuje vývoj titulních stránek, který za tu dobu proběhl. 
19.1.2018, aktualita, Kateřina Hoferková1 komentář
Středoformát Hasselblad H6D-400c MS umí 400MPx fotky Středoformát Hasselblad H6D-400c MS umí 400MPx fotky
Společnost Hasselblad představila nový středoformátový fotoaparát H6D-400c MS. Ten umí díky multiexpozici fotit snímky s neuvěřitelně vysokým rozlišením 400 megapixelů. To je přes 23.000 pixelů na delší straně.
18.1.2018, aktualita, Milan Šurkala9 komentářů
Leica uvedla CSC objektivy APO-Summicron-SL 75mm F2 a 90mm F2 Leica uvedla CSC objektivy APO-Summicron-SL 75mm F2 a 90mm F2
Německý výrobce fotoaparátů a objektivů Leica představil dva nové pevné objektivy pro svůj full frame CSC systém. Jde o APO-Summicron-SL 75mm F2 ASPH a 90mm F2 ASPH. Určeny jsou zejména pro focení portrétů. 
16.1.2018, aktualita, Milan Šurkala