OpenAI gastó $ 160,000 en Upwork para que los jugadores de Minecraft entrenen una red neuronal

Esa habilidad entrenada de IDM se usa luego en un conjunto mucho más grande de secuencias de video, un total de 70,000 horas de secuencias de Minecraft sin etiquetar recopiladas de la Web. El IDM aplica "pseudo-etiquetas" a esa colección mucho más grande. En otras palabras, el IDM y las tarifas del contratista son una forma de iniciar un gran conjunto de capacitación en video. 

Por costoso que parezca el pago del contratista, el enfoque representa un gran ahorro de costos, escriben los autores. Si tuvieran que recopilar datos de contratistas equivalentes a las 70,000 horas de videos web, sería mucho más costoso.

“Si pudiéramos recopilar de manera económica un conjunto de datos de contratistas etiquetados de un orden de magnitud similar a web_clean, entonces esto no sería importante; sin embargo, recopilar esa escala de datos habría costado millones de dólares”.

Utilizando las 70,000 horas, los autores entrenan una segunda red neuronal, también compuesta por capas de Transformer, para imitar las acciones de los usuarios en los videos, una práctica común conocida como "clonación de comportamiento".

El objetivo del trabajo es encontrar una manera de entrenar a un “agente” informático de propósito general que pueda usar la riqueza de los datos en Internet que no tienen etiquetas para resolver tareas que involucran causalidad, significado y secuencias de acciones que tienen un relación necesaria de uno a otro. 

“Los resultados presentados en este documento ayudan a allanar el camino para utilizar la gran cantidad de datos sin etiquetar en la web para dominios de decisión secuencial”, escriben. 

Es posible que el trabajo se pueda usar para numerosas tareas informáticas que requieren secuencias de clics del mouse y otros controles de operador humano, sugieren. 

“Si bien solo experimentamos en Minecraft, creemos que VPT proporciona una receta general para entrenar comportamientos previos en espacios de acción duros pero genéricos en cualquier dominio que tenga una gran cantidad de datos sin etiqueta disponibles de forma gratuita, como el uso de la computadora”.

Open-AI es mejor conocido por el gran programa de lenguaje llamado GPT-3, que también utiliza un enfoque "preentrenado" basado en toneladas de datos web que no están etiquetados. En cierto sentido, el juego de Minecraft está extendiendo ese enfoque a la imitación del comportamiento en el dominio de las tareas informáticas secuenciales capturadas a través de video. 

También: ¿Qué es GPT-3? Todo lo que su empresa necesita saber sobre el revolucionario programa de lenguaje de IA de OpenAI

El logro final es, en algunos casos, superar el tiempo requerido por un ser humano para lograr una de las tareas más difíciles, obtener un pico de diamante.

En Minecraft, las herramientas basadas en diamantes duran más y pueden causar más daño. Los picos de diamante son los únicos que son específicamente importantes para la mayoría de los jugadores. Necesitas un pico de diamante para extraer obsidiana y un material ficticio llamado netherite, los cuales son importantes para las actividades finales, como las mesas de encantamiento y la fabricación de equipos de netherite.

Después de entrenar al VPT para que aprendiera todo tipo de tareas de Minecraft, los autores utilizaron un enfoque de "ajuste fino" que desarrolló una red neuronal de aprendizaje por refuerzo para crear un pico de diamante en un tiempo más rápido de lo normal. 

“Para demostrar la eficacia del ajuste fino de RL, elegimos el desafiante objetivo de obtener un pico de diamante en 10 minutos a partir de un nuevo mundo de supervivencia de Minecraft”, escriben. 

Esto es un desafío para los humanos, que generalmente tardan el doble en hacerlo, si es que pueden hacerlo:

Hacerlo implica adquirir una secuencia de elementos difíciles de obtener que requieren habilidades complejas como minería, administración de inventario, elaboración con y sin mesa de trabajo, uso de herramientas, operación de un horno y minería en las profundidades más bajas, donde muchos peligros como enemigos. y lava existen (Fig. 6). Además de la dificultad, el progreso se puede perder fácilmente al dejar caer elementos, destruirlos o morir. La mayoría de las veces, obtener un pico de diamante le lleva a un humano experto más de 20 minutos (24,000 acciones).

Populares ahora

Aparecen los primeros resultados de Verizon C-Band: alentadores, pero ¿la FAA lo matará?

Al reunir los datos del contratista y las 70,000 horas de video web sin etiquetar, los autores tuvieron en cuenta la posibilidad de contenido ofensivo. “En teoría, los contratistas podrían usar la propiedad de mundo abierto de Minecraft para generar información de identificación personal y/o contenido ofensivo (por ejemplo, al usar bloques de Minecraft para escribir su nombre o mensajes ofensivos y luego encontrar un lugar desde el cual el mensaje sería visible)”, dijeron. escribir, aunque no vieron esto en los videos de los contratistas que vieron los autores. 

“Por supuesto, entrenamos a nuestros modelos de BC [clonación de comportamiento] en videos de Internet de personas que juegan Minecraft, y si ese comportamiento está en esos videos, nuestro modelo también podría aprenderlo, aunque esperamos que tal comportamiento sea lo suficientemente raro como para que nuestro modelo no sería probable que lo reprodujera”, escriben. 

¿Adónde va ahora un agente general así? La idea es que, habiendo conquistado hachas de diamantes, VPT, o su descendencia, pueda hacer todo tipo de cosas que una persona podría hacer con un mouse y un teclado, como abuchear boletos, navegar por las redes sociales o navegar por mapas.