Meta y un grupo de investigadores de la Universidad de Texas en Austin (UT Austin) están trabajando para llevar audio realista al metaverso.
As Kristen Garuman, directora de investigación de Meta AI, explica (se abre en una pestaña nueva)
Para lograr esto, el plan de Meta es usar lentes AR para grabar audio y video desde una ubicación, luego usar un conjunto de tres modelos de IA, transformar y limpiar la grabación para que parezca que está sucediendo frente a ti cuando la reproduces. en casa. Las IA tendrán en cuenta la habitación en la que te encuentras para que coincida con el entorno.
Mirando los proyectos, parece que Meta se está enfocando en gafas AR. El plan de Meta para los auriculares VR incluye replicar las imágenes y los sonidos de un entorno, como un concierto, para que se sienta como si estuviera allí en persona.
Le preguntamos a Meta cómo puede la gente escuchar el audio mejorado. ¿La gente necesitará un par de auriculares para escuchar o vendrá de los auriculares? No obtuvimos respuesta.
También le preguntamos a Meta cómo pueden los desarrolladores obtener estos modelos de IA. Se han hecho de código abierto para que los desarrolladores externos puedan trabajar en la tecnología, pero Meta no ofreció más detalles.
La pregunta es cómo puede Meta grabar audio en un par de gafas AR y hacer que refleje una nueva configuración.
La primera solución se conoce como AViTAR, que es una "Modelo de coincidencia acústica visual". (se abre en una pestaña nueva)
Uno de los investigadores afirma que la madre en cuestión puede tomar esa grabación y reproducirla en casa, donde la IA transformará el audio. Escaneará el entorno, tendrá en cuenta cualquier obstáculo en una habitación y hará que el recital suene como si estuviera sucediendo justo en frente de ella con las mismas gafas. El investigador afirma que el audio provendrá de las gafas.
Para ayudar a limpiar el audio, hay Dereverberación informada visualmente (se abre en una pestaña nueva)
El último modelo de IA es VisualVoice (se abre en una pestaña nueva)
En relación con las imágenes, Meta afirma que planea incorporar videos y otras señales para mejorar aún más el audio impulsado por IA. Dado que esta tecnología aún se encuentra en una etapa temprana de desarrollo, se desconoce si Meta traerá estas IA a un auricular Quest cerca de usted y cuándo lo hará.
Asegúrese de leer nuestra última reseña sobre el búsqueda de oculus 2 si estás pensando en comprar uno. Alerta de spoiler: nos gusta.
English
Arabic
Belarusian
Bengali
Bosnian
Bulgarian
Chinese (Simplified)
Croatian
Czech
Danish
Dutch
English
Estonian
Filipino
Finnish
French
Georgian
German
Greek
Gujarati
Hausa
Hebrew
Hindi
Hmong
Hungarian
Igbo
Indonesian
Italian
Japanese
Javanese
Kazakh
Korean
Kurdish (Kurmanji)
Kyrgyz
Lao
Latvian
Lithuanian
Macedonian
Malagasy
Norwegian
Persian
Polish
Portuguese
Punjabi
Romanian
Russian
Serbian
Slovak
Slovenian
Spanish
Swedish
Thai
Turkish
Ukrainian
Vietnamese
Yoruba