Z odrazu objektu možno získať cenné a často skryté informácie o bezprostrednom okolí človeka. Ak ich zmeníte na fotoaparáty, môžete vykonávať dovtedy nepredstaviteľné výkony, ako napríklad pozerať sa cez steny alebo do neba. Je to náročné, pretože odrazy ovplyvňujú mnohé faktory vrátane geometrie objektu, materiálových vlastností, 3D prostredia a pohľadu pozorovateľa. Dekonštrukciou geometrie objektu a jeho vnútorným zosvetlením od zrkadlového žiarenia, ktoré sa od neho odráža, môžu ľudia odvodiť hlboké stopy a závery o zahalených častiach okolitého prostredia.

Výskumníci počítačového videnia na MIT a Rice vyvinuli spôsob, ako využiť odrazy na vytváranie obrázkov skutočného prostredia. Pomocou odrazov menia lesklé predmety na „fotoaparáty“, čím vytvárajú dojem, že používateľ hľadí na svet cez „šošovky“ bežných predmetov, ako je keramická šálka na kávu alebo kovové ťažítko.

Metóda, ktorú výskumníci použili, zahŕňa premenu jasných objektov neurčitej geometrie na kamery v poli žiarenia. Hlavnou myšlienkou je využiť povrch objektu ako digitálny senzor na zaznamenávanie svetla odrazeného od okolitého prostredia v dvoch rozmeroch.

Výskumníci vysvetľujú, že nová syntéza pohľadu, ktorá predstavuje nové perspektívy, ktoré sú viditeľné iba priamo pre jasný objekt na scéne, ale nie pre pozorovateľa, vďaka obnove radiačných polí prostredia. Ďalej si vieme predstaviť aglodraty generované blízkymi objektmi v scéne pomocou radiačného poľa. Metóda vyvinutá výskumníkmi sa učí od začiatku do konca pomocou niekoľkých fotografií objektu na súčasné odhadnutie jeho geometrie, difúzneho žiarenia a radiačného poľa jeho 5D prostredia.

Cieľom výskumu je oddeliť objekt od jeho odrazu tak, aby objekt „videl“ svet ako fotoaparát a zaznamenával svoje okolie. Počítačové videnie už nejaký čas zápasí s odrazmi, pretože ide o skreslenú 2D reprezentáciu 3D scény neznámeho tvaru.

Výskumníci modelujú povrch objektu ako virtuálny senzor a zbierajú dvojrozmernú projekciu 5D prostredia žiarenia okolo objektu, aby vytvorili trojrozmernú reprezentáciu sveta, ako ho vidí objekt. Väčšina radiačného poľa prostredia je blokovaná okrem odrazov objektu. Okrem zorného poľa je možné syntetizovať zobrazenie románu alebo prezentovať nové perspektívy, ktoré sú priamo viditeľné iba pre jasný objekt na scéne, ale nie pre pozorovateľa, a to vďaka použitiu radiačných polí prostredia, ktoré tiež umožňujú pre odhad hĺbky a svietivosti z objektu do jeho okolia.

Stručne povedané, tím urobil nasledovné:

• Ukazujú, ako sa dajú tiché povrchy premeniť na virtuálne senzory so schopnosťou vytvárať 3D snímky ich prostredia iba pomocou virtuálnych kužeľov.
• Spoločne vypočítajú 5D okolité radiačné pole objektu a odhadnú jeho difúzne žiarenie.
• Ukazujú, ako využiť svetelné pole okolitého prostredia na generovanie nových perspektív neviditeľných pre ľudské oko.

Tento projekt má za cieľ zrekonštruovať päťrozmerné radiačné pole oceánu z mnohých fotografií jasného prvku neznámeho tvaru a albeda. Odlesky z reflexných plôch odhaľujú prvky scény mimo zorného poľa. Konkrétne povrchové pravidlá a zakrivenie jasného objektu určujú, ako sú obrazy pozorovateľa mapované v reálnom svete.

Výskumníci môžu potrebovať presnejšie informácie o tvare odrazeného objektu alebo reality, čo prispieva k skresleniu. Je tiež možné, že farba a štruktúra lesklého predmetu splynú s odrazmi. Navyše nie je ľahké rozlíšiť hĺbku v odrazených scénach, pretože odrazy sú dvojrozmerné projekcie trojrozmerného prostredia.

Tím výskumníkov tieto prekážky prekonal. Začínajú fotografovaním lesklého objektu z rôznych uhlov, pričom zachytávajú rôzne odrazy. Orca (Objects Like Radiance-Field Cameras) je skratka pre ich trojstupňový proces.

Orca dokáže zaznamenať odrazy z viacerých pohľadov zobrazením objektu z rôznych uhlov, ktoré sa potom použijú na odhad hĺbky medzi jasným objektom a ostatnými objektmi na scéne a tvaru samotného jasného objektu. Viac informácií o sile a smere svetelných lúčov vychádzajúcich a dopadajúcich na každý bod na obrázku je zachytených 5D modelom radiačného poľa ORCa. Orca môže robiť presnejšie odhady hĺbky vďaka údajom v tomto 5D poli žiarenia. Pretože je scéna vykreslená ako 5D pole žiarenia a nie ako 2D obraz, používateľ môže vidieť detaily, ktoré by boli zakryté uhlami alebo inými prekážkami. Výskumníci vysvetľujú, že akonáhle ORCa zozbiera pole 5D žiarenia, používateľ môže umiestniť virtuálnu kameru kdekoľvek v oblasti a vytvoriť syntetický obraz, ktorý kamera vytvorí. Používateľ môže tiež zmeniť vzhľad predmetu, napríklad z keramiky na kov, alebo do scény zakomponovať virtuálne predmety.

Rozšírením definície radiačného poľa nad rámec tradičného priameho zorného poľa môžu výskumníci otvoriť nové cesty na skúmanie prostredia a objektov v ňom. Pomocou premietnutých virtuálnych šírok a hĺbok môže práca otvoriť možnosti vkladania virtuálnych objektov a 3D vnímania, ako je napríklad extrapolácia informácií mimo zorného poľa kamery.

skenovať papier A Stránka projektu. Nezabudnite sa pridať 22k+ML Sub RedditA discord kanálA A Emailový newsletter, kde zdieľame najnovšie správy o výskume AI, skvelé projekty AI a ďalšie. Ak máte akékoľvek otázky týkajúce sa vyššie uvedeného článku alebo ak sme niečo vynechali, neváhajte nám poslať e-mail na adresu [email protected]

🚀 Pozrite si 100 nástrojov AI v Klube nástrojov AI