OpenAI потратила 160,000 XNUMX долларов на Upwork для геймеров Minecraft для обучения нейронной сети

Эта обученная способность IDM затем используется на гораздо большем наборе видеоматериалов, в общей сложности 70,000 XNUMX часов немаркированных видеоматериалов Minecraft, собранных из Интернета. IDM применяет «псевдо-метки» к этой значительно большей коллекции. Другими словами, IDM и гонорары подрядчиков — это способ загрузить огромный набор обучающих видео. 

Авторы пишут, что каким бы дорогим ни казался платеж подрядчику, этот подход обеспечивает большую экономию средств. Если бы им пришлось собирать данные о подрядчиках, эквивалентные 70,000 XNUMX часов веб-видео, это было бы намного дороже.

«Если бы мы могли дешево собрать набор данных помеченных подрядчиков того же порядка, что и web_clean, то это не было бы важно; однако сбор такого масштаба данных стоил бы миллионы долларов».

Затем, используя 70,000 XNUMX часов, авторы обучают вторую нейронную сеть, также состоящую из слоев Transformer, имитировать действия пользователя в видео — обычная практика, известная как «поведенческое клонирование».

Цель работы состоит в том, чтобы найти способ обучить компьютерного «агента» общего назначения, который может использовать огромное количество данных в Интернете, не имеющих меток, для решения задач, связанных с причинно-следственной связью, смыслом и последовательностью действий, которые имеют смысл. необходимые отношения от одного к другому. 

«Результаты, представленные в этой статье, помогают проложить путь к использованию множества неразмеченных данных в Интернете для последовательных областей принятия решений», — пишут они. 

По их мнению, работа может быть использована для многочисленных компьютерных задач, требующих последовательности щелчков мышью и других действий оператора. 

«Хотя мы только экспериментируем с Minecraft, мы считаем, что VPT предоставляет общий рецепт для обучения поведенческим априорным ситуациям в жестких, но общих пространствах действий в любой области, которая имеет большое количество свободно доступных немаркированных данных, таких как использование компьютера».

Open-AI наиболее известен своей большой языковой программой под названием GPT-3, в которой также используется «предварительно обученный» подход, основанный на множестве непомеченных веб-данных. В некотором смысле игра Minecraft расширяет этот подход к подражанию поведению в области последовательных компьютерных задач, снятых с помощью видео. 

Также: Что такое GPT-3? Все, что нужно знать вашему бизнесу о революционной языковой программе OpenAI для искусственного интеллекта

Окончательное достижение состоит в том, чтобы в некоторых случаях превысить время, необходимое человеку для выполнения одной из самых сложных задач - получения алмазной кирки.

В Minecraft алмазные инструменты служат дольше и могут нанести больше урона. Алмазные кирки — единственные, которые особенно важны для большинства геймеров. Вам понадобится алмазная кирка, чтобы добывать обсидиан, и вымышленный материал, называемый незеритом, оба из которых важны для эндгеймовых действий, таких как зачаровывание столов и изготовление снаряжения из незерита.

После обучения VPT для изучения всех видов задач Minecraft, авторы использовали подход «тонкой настройки», который разработал нейронную сеть обучения с подкреплением для изготовления алмазной кирки быстрее, чем обычно. 

«Чтобы продемонстрировать эффективность тонкой настройки RL, мы выбрали сложную цель — получить алмазную кирку в течение 10 минут, начиная со свежего мира выживания Minecraft», — пишут они. 

Это сложно для людей, которым обычно требуется в два раза больше времени, если они вообще могут это сделать:

Это включает в себя приобретение ряда труднодоступных предметов, которые требуют сложных навыков, таких как добыча полезных ископаемых, управление запасами, крафт с верстаком и без него, использование инструментов, работа с печью и добыча полезных ископаемых на самых низких глубинах, где много опасностей, таких как враги. и лавы существуют (рис. 6). Вдобавок к сложности прогресс может быть легко потерян из-за выбрасывания предметов, уничтожения предметов или смерти. Получение алмазной кирки чаще всего занимает у опытного человека более 20 минут (24,000 XNUMX действий).

Популярные сейчас

Появляются первые результаты Verizon C-Band: обнадеживают, но убьет ли это FAA?

Собирая как данные о подрядчиках, так и немаркированные 70,000 XNUMX часов веб-видео, авторы помнили о возможности появления оскорбительного контента. «Подрядчики теоретически могут использовать открытый мир Minecraft для создания личной информации и/или оскорбительного контента (например, используя блоки Minecraft для написания своего имени или оскорбительных сообщений, а затем находя место, из которого сообщение будет видно)», — они пишите, хотя в роликах от подрядчиков, которые смотрели авторы, этого не видели. 

«Конечно, мы обучаем наши модели BC [поведенческого клонирования] на видеороликах из Интернета, где люди играют в Minecraft, и если такое поведение присутствует в этих видео, наша модель также потенциально может научиться этому, хотя мы ожидаем, что такое поведение встречается достаточно редко, чтобы наша модель вряд ли воспроизведет его», — пишут они. 

Куда такой генеральный агент пойдет дальше? Идея состоит в том, что, победив алмазные топоры, VPT или его потомство, можно делать все то же, что человек может делать с помощью мыши и клавиатуры, включая освистывание билетов, серфинг в социальных сетях или навигацию по картам.