Proč kamery s umělou inteligencí mění způsob, jakým jsou navrženy objektivy

Vývoj fotoaparátu se dlouhou dobu řídil poměrně jednoduchou logikou:

Lepší snímač → vyšší rozlišení → lepší fotoaparát.

Pak do obrázku vstoupila AI.

Najednou už kamera nezaznamenávala jen to, co se stalo.

Očekávalo se, že to pochopí.

Bezpečnostní kamera může potřebovat odlišit osobu od vozidla. Robot možná bude muset rozpoznat překážku. Dron může potřebovat porozumět svému okolí, když se pohybuje vysokou rychlostí.

A to vytváří problém, kterému není věnována dostatečná pozornost:

Umělá inteligence může pracovat pouze s vizuálními informacemi, které jí poskytuje kamera.

Brilantní algoritmus nedokáže obnovit detaily, které optický systém nikdy nezachytil.

To je důvod, proč umělá inteligence potichu mění způsob, jakým jsou navrženy objektivy fotoaparátů.

AI nezpůsobuje mizení špatné optiky

Je lákavé si myslet, že stále výkonnější modely AI vykompenzují průměrné fotoaparáty.

Někdy může pomoci výpočetní fotografie.

Redukce šumu může zlepšit obraz.

Ostření může způsobit, že hrany vypadají pevnější.

Vylepšení AI dokáže rekonstruovat vizuálně věrohodné detaily.

Je ale rozdíl mezi tím, aby obrázek vypadal lépe, a zachytil více skutečných informací.

Pokud je objekt silně rozmazaný kvůli špatnému optickému rozlišení, software nemůže spolehlivě obnovit původní jemné detaily.

Pokud noční snímek neobsahuje téměř žádný použitelný signál, algoritmus nemůže jednoduše vymyslet spolehlivý vizuální důkaz.

To je důležité zejména pro bezpečnostní a průmyslové aplikace, kde není obraz sledován pro zábavu.

Používá se k rozhodování.

Výkon při slabém osvětlení se stává požadavkem na umělou inteligenci

Jednou z největších výzev pro AI kamery je slabé osvětlení.

Lidé mohou často dělat rozumné úsudky v temném prostředí.

Systémy počítačového vidění jsou méně shovívavé.

Jak se osvětlení snižuje, kamery obvykle čelí:

Zvýšený šum senzoru

Nižší kontrast

Rozostření pohybu

Ztráta barevných informací

Snížená definice hran

Tyto problémy mohou přímo ovlivnit detekci a klasifikaci AI.

Představte si osobu, která v noci prochází parkovištěm.

Ve světlé scéně může mít AI jasné informace o obrysu osoby, oblečení, pohybu a okolí.

Ve špatně osvětlené scéně se ze stejné osoby může stát hlučná silueta.

Algoritmus se nestal náhle hloupým.

Vstup se prostě stal mnohem obtížnějším interpretovat.

To je jeden z důvodů, proč jsou optické konstrukce s velkou aperturou a při slabém osvětlení stále důležitější pro systémy vidění AI.

Menší pixely vytvářejí větší optické požadavky

Moderní senzory pokračují ve zvyšování hustoty pixelů.

To vytváří více obrazových dat, ale také to klade větší nároky na objektiv.

Menší pixely mohou vyžadovat, aby optický systém rozlišil jemnější prostorové detaily.

Pokud objektiv nemůže držet krok, přidávání pixelů vede ke snížení návratnosti.

To je důležité zejména pro kamery AI, protože systém může záviset na relativně malých vizuálních prvcích.

Člověk může rozpoznat předmět podle jeho obecného tvaru.

Model AI se může spoléhat na jemné vzory, okraje, textury nebo vztahy barev.

Čočka proto musí poskytovat dostatečně čistý obraz, aby tyto funkce přežily celé zobrazovací potrubí.

To je jeden z důvodů, proč optický design a výběr senzoru musí stále více probíhat společně.

Širokoúhlé objektivy vytvářejí zajímavý kompromis s umělou inteligencí

AI kamery často potřebují široké zorné pole.

Roboti musí rozumět svému okolí.

Drony potřebují situační povědomí.

Bezpečnostní kamery musí pokrýt velké plochy.

Proč tedy jednoduše nezvětšit objektiv širší?

Protože širokoúhlá optika přináší své vlastní výzvy.

Jak se zorné pole zvětšuje, návrháři musí řídit:

 Zkreslení

 Rozlišení hran

Relativní osvětlení

Chromatická aberace

Geometrie obrazu

Velmi širokoúhlý objektiv může zachytit větší část prostředí, ale produkuje horší kvalitu obrazu u okrajů.

Pro lidské pozorování to může být přijatelné.

U AI to může být složitější.

Pokud jsou objekty blízko okraje obrazu silně zkreslené nebo rozmazané, je algoritmus požádán, aby interpretoval vizuální informace, které jsou již degradované.

To vytváří základní designový kompromis:

Více zorného pole versus více použitelných detailů.

Správná odpověď závisí na aplikaci.

Robotika: Čočky se stávají součástí systému vnímání

Vzestup vtělené umělé inteligence posouvá tento problém ještě dále.

Robot nemá ten luxus zeptat se:

"Může někdo prosím rozsvítit světla?"

Musí fungovat v prostředí, které je mu dáno.

Toto prostředí může obsahovat:

 Stíny

Nerovnoměrné osvětlení

Reflexní plochy

Úzké mezery

 Stěhování lidí

 Předměty v různých vzdálenostech

Kamera je tedy součástí systému vnímání robota.

Pro robotické vidění je třeba při návrhu čočky vzít v úvahu:

 Zorné pole

 Zkreslení

 Výkon při slabém osvětlení

Rozlišení

Požadavky na vnímání hloubky

 Velikost a hmotnost

Čočka, která vytváří krásný laboratorní obraz, nemusí být nutně tou správnou čočkou pro pohybujícího se robota.

Skutečná spolehlivost je důležitější než dokonalé demo.

UAV a drony potřebují jiné optické vyvážení

Drony představují další zajímavou výzvu.

Kamera dronu může potřebovat:

Široké zorné pole + nízká hmotnost + dobré rozlišení + schopnost slabého osvětlení.

To je těžká kombinace.

Široké zorné pole pomáhá dronu pochopit jeho prostředí.

Nízká hmotnost přispívá k efektivitě letu.

Dobré rozlišení pomáhá identifikovat objekty.

Výkon při slabém osvětlení se stává důležitým za úsvitu, soumraku, letu v hale nebo za obtížných povětrnostních podmínek.

Systémy FPV přidávají další požadavek:

Obraz musí působit okamžitě.

Pohybová neostrost, špatná expozice nebo nadměrné zkreslení obrazu mohou negativně ovlivnit zrakové vnímání pilota.

To je důvod, proč se design čočky dronu stále více stává problémem optimalizace, spíše než pouhým výběrem ohniskové vzdálenosti.

AI Surveillance se posouvá od detekce k porozumění

Bezpečnostní kamery představují jeden z nejjasnějších příkladů tohoto přechodu.

Tradiční dohled se zeptal:

"Pohnulo se něco?"

Moderní dohled AI se ptá:

Kdo se přestěhoval?

Co je to za vozidlo?

Jakým směrem se pohybuje?

Jaký předmět se nese?

Je chování neobvyklé?

Co se stalo před a po události?

Čím pokročilejší je analýza, tím cennější se stává původní obrázek.

To je důvod, proč plnobarevné zobrazování při slabém osvětlení přitahuje pozornost.

Barva může poskytnout užitečné informace pro:

Klasifikace vozidel

Identifikace oblečení

Rozpoznávání objektů

Pochopení scény

Infračervené záření zůstává extrémně užitečné ve velmi tmavých prostředích, ale když je k dispozici viditelné okolní světlo, může optický systém s velkou aperturou pomoci zachovat informace, které by jinak zmizely, když se kamera přepne na monochromatické noční vidění.

Objektiv se stává komponentou datové kvality

Toto je možná největší změna, kterou AI přináší do optického inženýrství.

Historicky byly čočky často považovány za zobrazovací komponenty.

Nyní by měly být stále více považovány za komponenty datové kvality.

Kamera snímá data.

Objektiv určuje, kolik užitečných optických informací se dostane ke snímači.

Senzor převádí tyto informace na elektrické signály.

ISP to zpracuje.

Model AI to interpretuje.

Pokud je první fáze slabá, každá další fáze musí pracovat tvrději.

To není vždy dobrá strategie.

Obvykle je lepší zachytit lepší informace na začátku, než utrácet obrovské výpočetní zdroje na jejich pozdější opravu.

Co to znamená pro design objektivu?

Objektivy budoucích fotoaparátů s umělou inteligencí budou pravděpodobně stále více navrhovány podle aplikačních požadavků spíše než izolovaných specifikací.

Inženýři možná budou muset zvážit:

Optická konstrukce specifická pro senzor

Namísto pouhé podpory formátu snímače musí objektivy odpovídat skutečným charakteristikám snímače.

Lepší výkon při slabém osvětlení

Systémy AI potřebují použitelné vizuální informace, i když je osvětlení omezené.

Konzistentnější okrajový výkon

Širokoúhlé systémy potřebují použitelné informace v celém obrazu, nejen ve středu.

Kontrolovánozkreslení

Některé aplikace mohou tolerovat zkreslení. Ostatní nemohou.

Tepelná stabilita

Roboty, vozidla, drony a venkovní kamery mohou pracovat ve velkém rozsahu teplot.

Optimalizace specifická pro aplikaci

Ideální bezpečnostní čočka nemusí být nutně ideální robotická čočka.

Budoucnost patří optickým systémům navrženým pro práci, kterou potřebují vykonávat.

Co se učíme v Optika Boshi

NaOptika Boshipracujeme v oblasti bezpečnostního dohledu, automobilového zobrazování, lékařského zobrazování, chytrých zařízení a dalších optických aplikací. Z této řady aplikací je jedna věc obzvláště zřejmá:

Neexistuje žádná univerzální definice „dobrého objektivu“.

Širokoúhlý objektiv může být pro jeden fotoaparát vynikající a pro jiný zcela nevhodný.

Čočka s vysokým rozlišením může být zbytečná pro levný monitorovací systém, ale nezbytná pro strojové vidění.

Objektiv s velkou aperturou může být kritický pro aplikace nočního sledování, ale méně důležitý v kontrolovaném průmyslovém prostředí.

Tento přístup založený na aplikacích je stále důležitější, protože se kamery stávají součástí systémů umělé inteligence.

Objektiv by měl být navržen s ohledem na informace, které AI potřebuje přijímat – ne pouze na základě specifikací, které vypadají působivě na produktovém listu.

Budoucnost: Od „jasného vidění“ k „vidět užitečně“

AI mění účel kamer.

Fotoaparát již neexistuje jen proto, aby produkoval atraktivní obraz.

Existuje, aby poskytoval informace.

To mění optické priority.

Otázka už není jen:

"Jak ostrý je tento objektiv?"

Stává se:

"Poskytuje tato čočka spolehlivé vizuální informace pro skutečný úkol systému?"

Kvůli bezpečnosti to může znamenat zachování vzhledu osoby v noci.

Pro robotiku to může znamenat zachování rozpoznávání objektů v širokém zorném poli.

Pro drony to může znamenat vyvážení širokoúhlého vnímání s výkonem při slabém osvětlení.

Pro průmyslové vidění to může znamenat důsledné řešení drobných defektů.

Revoluce umělé inteligence může být poháněna algoritmy, ale algoritmy se stále potřebují na co dívat.

A proto budoucnost AI vize bude utvářet také optika.