Мета мен Остиндегі Техас университетінің (UT Остин) бір топ зерттеушілері метаверске шынайы дыбысты әкелу үстінде.
As Meta AI зерттеу директоры Кристен Гаруман түсіндіреді (жаңа қойындыда ашылады) , кеңейтілген және виртуалды шындыққа (тиісінше AR және VR) көрнекі бейнелерден гөрі көп нәрсе бар. Аудио әлемді тірі сезінуде өте маңызды рөл атқарады. Гаруман «аудио [ол] қоршаған ортамен қалыптасады» дейді. Бөлменің геометриясы, аталған бөлмеде не бар және адамның көзден қаншалықты алыс екендігі сияқты дыбыстың әрекетіне әсер ететін әртүрлі факторлар бар.
Бұған қол жеткізу үшін Meta жоспары бір жерден дыбыс пен бейнені жазу үшін AR көзілдіріктерін пайдалану, содан кейін үш AI үлгісінің жиынтығын пайдаланып, жазбаны қайта ойнатқанда сіздің алдыңызда болып жатқандай сезіну үшін түрлендіру және тазалау. үйде. Жасанды интеллекттер қоршаған ортаға сәйкес болуы үшін сіз тұрған бөлмені ескереді.
Жобаларға қарап, Мета AR көзілдіріктеріне назар аударатын сияқты. Meta-ның VR гарнитураларына арналған жоспары концерт сияқты қоршаған ортаның көрікті жерлері мен дыбыстарын қайталауды қамтиды, сондықтан сіз сол жерде жеке болғандай сезінесіз.
Біз Метадан адамдар жақсартылған аудионы қалай тыңдай алатынын сұрадық. Тыңдау үшін адамдарға құлаққап қажет пе, әлде құлаққаптан келеді ме? Біз жауап алмадық.
Біз сондай-ақ Meta-дан әзірлеушілер осы AI үлгілерін қалай ала алатынын сұрадық. Үшінші тарап әзірлеушілері технологиямен жұмыс істей алатындай олар ашық бастапқы кодқа айналдырылды, бірақ Мета қосымша мәліметтерді ұсынбады.
Мәселе мынада: Meta дыбысты AR көзілдірігімен қалай жаза алады және ол жаңа параметрді көрсетеді.
Бірінші шешім AViTAR ретінде белгілі, ол а «Көрнекі акустикалық сәйкестік моделі». (жаңа қойындыда ашылады) Бұл жаңа ортаға сәйкес дыбысты түрлендіретін AI. Мета AR көзілдірігімен аудиторияда баласының би концертін жазып жатқан ананың мысалын ұсынады.
Зерттеушілердің бірі ана осы жазбаны алып, оны AI дыбысты өзгертетін үйде ойната алады деп мәлімдейді. Ол қоршаған ортаны сканерлейді, бөлмедегі кез келген кедергілерді ескереді және дәл сол көзілдірікпен оның көз алдында болып жатқандай рецитальды дыбыс береді. Зерттеуші дыбыс көзілдіріктен келетінін айтады.
Дыбысты тазалауға көмектесу үшін бар Көрнекі түрде ақпараттандырылған дерверберация (жаңа қойындыда ашылады) . Негізінде, ол клиптен алаңдататын ревербті жояды. Келтірілген мысал - вокзалда скрипка концертін жазу, оны үйге апару және AI музыкадан басқа ештеңе естімейтіндей етіп клипті тазалау.
Соңғы AI моделі VisualVoice (жаңа қойындыда ашылады) , ол дауыстарды басқа шулардан бөлу үшін көрнекі және дыбыстық белгілердің тіркесімін пайдаланады. Екі адамның ұрысып жатқан видеосын түсіріп алғаныңызды елестетіп көріңіз. Бұл AI бір дауысты оқшаулайды, осылайша сіз оларды түсінуге болады, ал қалғандарының дыбысын өшіресіз. Мета көрнекі белгілердің маңызды екенін түсіндіреді, себебі AI белгілі бір нюанстарды түсіну және кім сөйлеп жатқанын білу үшін кім сөйлеп тұрғанын көруі керек.
Көрнекі бейнелерге қатысты Meta AI басқаратын дыбысты одан әрі жақсарту үшін бейне және басқа да белгілерді енгізуді жоспарлап отыр. Бұл технология әлі ерте дамып келе жатқандықтан, Meta бұл AI-ны сізге жақын Quest гарнитурасына қашан әкелетіні белгісіз.
туралы соңғы шолуымызды оқып шығыңыз Oculus тапсырмасы 2 егер сіз сатып алуды ойласаңыз. Спойлер туралы ескерту: бізге ұнайды.