Meta jaunākie dzirdes AI sola iespaidīgāku AR/VR pieredzi

The Metaverse, kā to paredz Meta izpilddirektors Marks Cukerbergs, būs pilnībā ieskaujoša virtuāla pieredze, kas vismaz no jostasvietas uz augšu konkurē ar realitāti. Taču vizuālie materiāli ir tikai daļa no kopējās Metaverse pieredzes.

“Pareiza telpiskā audio noteikšana ir galvenais, lai sniegtu reālistisku klātbūtnes sajūtu metaversā,” piektdienas emuāra ierakstā rakstīja Cukerbergs. "Ja atrodaties koncertā vai vienkārši sarunājaties ar draugiem pie virtuāla galda, reālistiska sajūta par to, no kurienes nāk skaņa, liek jums justies kā tur."

Šis koncerts, kā norādīts emuāra ierakstā, izklausīsies ļoti atšķirīgi, ja tas tiks atskaņots pilna izmēra koncertzālē nekā vidusskolas auditorijā, ņemot vērā atšķirības starp to fizisko telpu un akustiku. Tādējādi Meta mākslīgā intelekta un realitātes laboratorija (MAIR, agrāk FAIR) sadarbojas ar pētniekiem no UT Ostinas, lai izstrādātu trīs atvērtā koda audio “izpratnes uzdevumus”, kas palīdzēs izstrādātājiem izveidot visaptverošāku AR un VR pieredzi ar reālistiskāku audio.

Pirmā ir MAIR Vizuālā akustiskā saskaņošana modelis, kas var pielāgot audio klipa paraugu jebkurai videi, izmantojot tikai telpas attēlu. Vēlaties dzirdēt, kā Ņujorkas filharmonijā izklausītos Sanfrancisko Boom Boom Room? Tagad Tu vari. Iepriekšējie simulācijas modeļi varēja atjaunot telpas akustiku, pamatojoties uz tās izkārtojumu, bet tikai tad, ja bija precīza ģeometrija un materiāla īpašības jau bija zināmas — vai arī no telpā iztvertā audio, un neviens no tiem nedeva īpaši precīzus rezultātus.

MAIR risinājums ir Visual Acoustic Matching modelis, ko sauc par AViTAR, kas "apgūst akustisko saskaņošanu no savvaļas tīmekļa videoklipiem, neskatoties uz to, ka tiem nav akustiski neatbilstoša audio un nemarķētu datu", teikts ziņojumā.

"Viens nākotnes izmantošanas gadījums, kas mūs interesē, ietver pagātnes atmiņu izdzīvošanu," rakstīja Cukerbergs, likdamies par nostalģiju. “Iedomājieties, ka varat uzvilkt AR brilles un redzēt objektu ar iespēju atskaņot ar to saistītu atmiņu, piemēram, paņemt tuti un redzēt sava bērna baleta koncerta hologrammu. Audio noņem atbalsi un liek atmiņām izklausīties tieši tā, kā to piedzīvojāt, sēžot savā vietā auditorijā.

MAIR's Vizuāli informēta deverberācija No otras puses, režīms (VIDA) noņems atbalss efektu, spēlējot instrumentu lielā, atklātā vietā, piemēram, metro stacijā vai katedrālē. Jūs dzirdēsit tikai vijoli, nevis tās atbalsošanos, kas atlec no attālām virsmām. Konkrēti, tas "mācās noņemt atbalsi, pamatojoties gan uz novērotajām skaņām, gan uz vizuālo straumi, kas atklāj norādes par telpas ģeometriju, materiāliem un skaļruņu atrašanās vietām", paskaidrots ziņojumā. Šo tehnoloģiju varētu izmantot, lai efektīvāk izolētu vokālus un izrunātas komandas, padarot tās vieglāk saprotamas gan cilvēkiem, gan mašīnām.

VisualVoice dara to pašu, ko VIDA, bet balsīm. Tas izmanto gan vizuālās, gan audio norādes, lai iemācītos atdalīt balsis no fona trokšņiem pašpārraudzīto apmācību laikā. Meta paredz, ka šim modelim būs daudz darba, lai izprastu lietojumprogrammas un uzlabotu pieejamību. Padomājiet, precīzāki subtitri, Siri saprot jūsu pieprasījumu pat tad, ja telpā nav kluss vai virtuālajā tērzēšanas istabā ir akustika shift kad cilvēki runā pa digitālo telpu. Atkal vienkārši ignorējiet kāju trūkumu.

"Mēs paredzam nākotni, kurā cilvēki var uzlikt AR brilles un no jauna izdzīvot hologrāfisku atmiņu, kas izskatās un izklausās tieši tā, kā viņi to piedzīvoja no sava skatu punkta, vai arī jūtas iegremdēti ne tikai grafikā, bet arī skaņās, spēlējot spēles virtuālā pasaule,” rakstīja Cukerbergs, norādot, ka AViTAR un VIDA savus uzdevumus var attiecināt tikai uz vienu attēlu, kuram tie tika apmācīti, un pirms publiskas izlaišanas tiem būs nepieciešama daudz papildu izstrāde. "Šie modeļi mūs vēl vairāk tuvina multimodālai, visaptverošai pieredzei, ko vēlamies veidot nākotnē."