Meta un pētnieku grupa no Teksasas Universitātes Ostinā (UT Ostina) strādā, lai metaversā nodrošinātu reālistisku audio.
Lai to panāktu, Meta plāns ir izmantot AR brilles, lai ierakstītu gan audio, gan video no vienas vietas, pēc tam, izmantojot trīs AI modeļu komplektu, pārveidot un notīrīt ierakstu, lai, atskaņojot to, šķiet, ka tas notiek jūsu priekšā. mājās. AI ņems vērā telpu, kurā atrodaties, lai tā atbilstu videi.
Aplūkojot projektus, šķiet, ka Meta koncentrējas uz AR brillēm. Meta VR austiņu plānā ir iekļauta vides, piemēram, koncerta, skatu un skaņu atkārtošana, lai būtu sajūta, ka esat tur klātienē.
Mēs jautājām Metam, kā cilvēki var klausīties uzlaboto audio. Vai cilvēkiem būs nepieciešamas austiņas, lai klausītos, vai arī tās nāks no austiņām? Mēs nesaņēmām atbildi.
Mēs arī jautājām Meta, kā izstrādātāji var iegūt šos AI modeļus. Tie ir izveidoti kā atvērtā pirmkoda versija, lai trešo pušu izstrādātāji varētu strādāt pie šīs tehnoloģijas, taču Meta nesniedza sīkāku informāciju.
Jautājums ir par to, kā Meta var ierakstīt audio uz AR brillēm un panākt, lai tas atspoguļotu jaunu iestatījumu.
Pirmais risinājums ir pazīstams kā AViTAR, kas ir a "Vizuāli akustiskās atbilstības modelis." (atveras jaunā cilnē)
Viens no pētniekiem apgalvo, ka attiecīgā māte var uzņemt šo ierakstu un atskaņot to mājās, kur AI pārveidos audio. Tas skenēs vidi, ņems vērā visus šķēršļus telpā, un skanējums skanēs tā, it kā tas notiek viņas priekšā ar tām pašām brillēm. Pētnieks norāda, ka audio nāks no brillēm.
Lai palīdzētu iztīrīt audio, ir Vizuāli informēta deverberācija (atveras jaunā cilnē)
Pēdējais AI modelis ir VisualVoice (atveras jaunā cilnē)
Saistībā ar vizuālajiem materiāliem Meta norāda, ka plāno iekļaut video un citus signālus, lai vēl vairāk uzlabotu AI vadītu audio. Tā kā šī tehnoloģija joprojām ir izstrādes sākumā, nav zināms, vai un kad Meta pārvietos šos AI uz jūsu tuvumā esošajām Quest austiņām.
Noteikti izlasiet mūsu jaunāko pārskatu par Oculus Quest 2 ja domājat tādu iegādāties. Spoilera brīdinājums: mums tas patīk.
English
Arabic
Belarusian
Bengali
Bosnian
Bulgarian
Chinese (Simplified)
Croatian
Czech
Danish
Dutch
English
Estonian
Filipino
Finnish
French
Georgian
German
Greek
Gujarati
Hausa
Hebrew
Hindi
Hmong
Hungarian
Igbo
Indonesian
Italian
Japanese
Javanese
Kazakh
Korean
Kurdish (Kurmanji)
Kyrgyz
Lao
Latvian
Lithuanian
Macedonian
Malagasy
Norwegian
Persian
Polish
Portuguese
Punjabi
Romanian
Russian
Serbian
Slovak
Slovenian
Spanish
Swedish
Thai
Turkish
Ukrainian
Vietnamese
Yoruba