Meta in skupina raziskovalcev z Univerze v Teksasu v Austinu (UT Austin) delajo na tem, da bi v metaverzum prinesli realističen zvok.
As Kristen Garuman, direktorica raziskav pri Meta AI, pojasnjuje (odpre se v novem zavihku) , razširjena in navidezna resničnost (AR oziroma VR) sta več kot le vizualni elementi. Zvok ima zelo pomembno vlogo pri ustvarjanju življenjskega sveta. Garuman pravi, da "zvok oblikuje okolje, v katerem je [je]." Obstajajo različni dejavniki, ki vplivajo na to, kako se zvok obnaša, kot je geometrija sobe, kaj je v omenjeni sobi in kako daleč je nekdo od vira.
Da bi to dosegli, je Metin načrt uporabiti očala AR za snemanje zvoka in videa z ene lokacije, nato pa s pomočjo nabora treh modelov AI preoblikovati in očistiti posnetek, tako da se zdi, kot da se dogaja pred vami, ko ga predvajate. doma. Umetna inteligenca bo upoštevala sobo, v kateri se nahajate, da se lahko ujema z okoljem.
Če pogledamo projekte, se zdi, da se Meta osredotoča na očala AR. Metin načrt za slušalke VR vključuje posnemanje prizorov in zvokov iz okolja, kot je koncert, tako da je občutek, kot da ste tam osebno.
Meta smo vprašali, kako lahko ljudje poslušajo izboljšan zvok. Ali bodo ljudje potrebovali par slušalk za poslušanje ali bodo prihajale iz slušalk? Odgovora nismo dobili.
Meta smo tudi vprašali, kako lahko razvijalci dobijo te modele AI. Ustvarjeni so bili odprtokodni, tako da lahko razvijalci tretjih oseb delajo na tehnologiji, vendar Meta ni ponudila nobenih dodatnih podrobnosti.
Vprašanje je, kako lahko Meta posname zvok na očala AR in odraža novo nastavitev.
Prva rešitev je znana kot AViTAR, ki je a "Vizualno akustično ujemanje modela." (odpre se v novem zavihku) To je umetna inteligenca, ki preoblikuje zvok, da se ujema z novim okoljem. Meta ponuja primer mame, ki snema otroški plesni recital v avditoriju z očali AR.
Eden od raziskovalcev trdi, da lahko zadevna mati posname ta posnetek in ga predvaja doma, kjer bo AI preoblikovala zvok. Skenirala bo okolje, upoštevala vse ovire v sobi in imela recital zvok, kot da se dogaja tik pred njo z istimi očali. Raziskovalec trdi, da bo zvok prihajal iz očal.
Za pomoč pri čiščenju zvoka obstaja Vizualno informirana dereverberacija (odpre se v novem zavihku) . V bistvu odstrani moteč odmev iz posnetka. Naveden primer je, da posnamete violinski koncert na železniški postaji, ga odnesete domov in da umetna inteligenca počisti posnetek, tako da ne slišite nič drugega kot glasbo.
Zadnji model AI je VisualVoice (odpre se v novem zavihku) , ki uporablja kombinacijo vizualnih in zvočnih namigov za ločevanje glasov od drugih zvokov. Predstavljajte si, da posnamete video, na katerem se prepirata dve osebi. Ta umetna inteligenca bo izolirala en glas, tako da jih boste lahko razumeli, medtem ko utišate vse ostalo. Meta pojasnjuje, da so vizualni namigi pomembni, ker mora AI videti, kdo govori, da bi razumel določene nianse in vedel, kdo govori.
V zvezi z vizualnimi vsebinami Meta navaja, da nameravajo vnesti video in druge namige, da bi dodatno izboljšali zvok, ki ga poganja umetna inteligenca. Ker je ta tehnologija še zgodaj v razvoju, ni znano, ali in kdaj bo Meta prinesla te AI v slušalke Quest v vaši bližini.
Ne pozabite prebrati našega zadnjega pregleda o Oculus Quest 2 če razmišljaš o nakupu. Spoiler opozorilo: všeč nam je.