Inovacije

Novi algoritem odstranjuje podvodna popačenja za jasne barvite slike

Novi algoritem odstranjuje podvodna popačenja za jasne barvite slike


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Ste že kdaj posneli podvodno sliko samo zato, da je prišla v zeleno in modro? To je zato, ker se svetloba v vodi obnaša drugače.

Čeprav je pri fotografiranju osebnih slik morda le neprijetno, je ta pojav dejansko večji posel v znanstveni skupnosti, kjer nezmožnost natančnega fotografiranja morskega življenja ovira bistven napredek. Zdaj sta oceanograf in inženir Derya Akkaynak in inženir Tali Treibitz z univerze v Haifi ustvarila nov algoritem umetne inteligence, ki morda vse to le reši.

Kako izgleda #ocean brez vode? Oglejte si algoritem Sea-thru, ki odstranjuje vodo z vaših podvodnih slik tukaj: https://t.co/bHJq73gWVF#CVPRpic.twitter.com/VAWubfSPsQ

- Derya Akkaynak (@dakkaynak) 14. junija 2019

Odstranjevanje vode

Najboljši način za opis delovanja algoritma je, da odstranimo vodo. To pa zato, ker omogoča snemanje slik pod vodo, kot da bi bile posnete na suhem.

Raziskovalci so svoj novi sistem poimenovali Sea-thru in ni nič drugega kot izreden. Za razliko od Photoshopa, ki umetno popravlja slike, je Sea-thru fizično natančen popravek v realnem času.

Ta slika, ki jo delimo z raziskovalci, resnično kaže, kaj lahko algoritem doseže:

Pridobivanje pravih barv

POVEZANE: NVIDIA AI IZDELA UMETNIKE IZ VSEH

Algoritem je navdušil znanstveno skupnost morskega življenja. "Pri tem pristopu mi je všeč, da gre v resnici za pridobivanje pravih barv," je povedal Pim Bongaerts, koralni biolog s Kalifornijske akademije znanosti.Znanstveni ameriški. "Pridobitev prave barve bi nam lahko resnično pomagalo, da iz naših trenutnih podatkovnih nizov pridobimo veliko več vrednosti."

IE je imel priložnost intervjuvati Akkaynak o njenem delu.

IE: Kako ste se lotili iznajdbe algoritma?
Akkaynak: Algoritem Sea-thru sem razvil med postdoktorskim štipendiranjem na Univerzi v Haifi, Marine Imaging Lab, kot rezultat treh let teoretičnega in eksperimentalnega dela. Digitalni fotoaparati (skupaj s podvodnimi ohišji) so v prodaji resnično šele od zgodnjih devetdesetih let, zato je bilo od takrat dosledno popravljanje barv na podvodnih slikah izziv in odprt problem na našem področju. To je bila težava, s katero sem začel delati leta 2015, ko sem se prvič pridružil Univerzi v Haifi.

Sčasoma so se razlogi za pomanjkanje trdnega in doslednega algoritma za korekcijo barv razjasnili - raziskovalci so z enačbo, ki opisuje, kako se svetloba premika v ozračju, ustvarili sliko na senzorju kamere in popravili barve na podvodnih fotografijah. Kaj se zgodi s svetlobo pod vodo, se zelo razlikuje od tega, kar se zgodi z njo v zraku. Ko sem odkril, da sem oblikoval (bolj) fizično natančno enačbo posebej za ocean, in ta enačba je resnični preboj, ki je pripeljal do algoritma Sea-thru. Ta enačba je razlog, zakaj algoritem Sea-thru deluje bolje kot obstoječi algoritmi in je lahko naredil osupljive popravke (algoritmično), kot ste jih videli.

IE: Kako deluje algoritem?
Akkaynak: Edini nestandardni podatek, ki ga potrebuje, je "zemljevid razdalje" - kar
pove razdaljo vsakega predmeta v sceni od kamere. Razen tega deluje na surove slike RGB, posnete pod naravno svetlobo. Na slikah ne potrebuje barvne karte. To ni algoritem AI - torej ne gre za nevronske mreže ali usposabljanje.

Zemljevid razdalje lahko dobite na različne načine. Ocenjujemo, da uporablja več slik prizora. Uporabite lahko tudi nastavitev stereo kamere in pridobite razdaljo od enega para slik, pri čemer ne potrebujete več slik. Ko ima algoritem razdaljo, na podlagi enačbe, ki sem jo omenil, oceni vse potrebne parametre za odstranjevanje "megle" in obnovo barv.

IE: Katere aplikacije predvidevate za algoritem?
Akkaynak: Sea-thru že deluje na videu, kar je zelo kul, saj odpravlja potrebo po več slikah, saj so video okvirji že po sebi več slik iste scene. Prav tako odvzame potrebo po prenašanju umetnih luči, kar mnogim fotografom pomeni manj stroškov in opreme.

Toda kjer bo to dodalo izjemno vrednost, bo avtomatizacija analiznih slik in video posnetkov, ki so jih posneli morski znanstveniki. Ko bodo te slike (npr. Raziskave grebenov, morskega dna, staležev rib itd.) Predhodno obdelane s programom Sea-thru, bodo znanstveniki nato lahko uporabili zmogljive metode računalniškega vida in strojnega učenja, da bodo lahko šteli, prepoznavali, segmentirali in klasificirali živali in druge predmete v njih. Trenutno pridobimo ogromno slik, vendar večino analiz opravimo ročno, kar je dolgočasno, počasi in drago.

Trenutno Sea-thru deluje samo na slikah, posnetih pod naravno svetlobo, vendar ga bomo razširili na primer umetne svetlobe, saj tako raziskujemo večino oceana. In seveda ga vidim kot modul v Photoshopu, integriran v potrošniške kamere in celo potapljaške maske. Samo vprašanje časa je!


Poglej si posnetek: Mega Tsunami scenes from the film - Haeundae 2009 1080p (Januar 2023).