OpenAI выдаткаваў 160,000 XNUMX долараў на Upwork для геймераў Minecraft на навучанне нейронавай сеткі

Навучаныя здольнасці IDM затым выкарыстоўваюцца для значна большага набору відэаматэрыялаў, у агульнай складанасці 70,000 XNUMX гадзін непазначаных кадраў Minecraft, сабраных з Інтэрнэту. IDM прымяняе «псеўдаэтыкеткі» да гэтай значна большай калекцыі. Іншымі словамі, IDM і ганарары падрадчыка з'яўляюцца спосабам загрузкі вялізнага навучальнага набора відэа. 

Як бы дарагім ні здаваўся аплата падрадчыку, гэты падыход дае вялікую эканомію выдаткаў, пішуць аўтары. Калі б ім прыйшлося сабраць дадзеныя падрадчыка, эквівалентныя 70,000 XNUMX гадзін вэб-відэа, гэта было б значна даражэй.

«Калі б мы маглі танна сабраць пазначаны набор дадзеных падрадчыка падобнага парадку велічыні, як web_clean, то гэта не было б важна; аднак збор такіх даных каштаваў бы мільёны даляраў».

Выкарыстоўваючы 70,000 XNUMX гадзін, аўтары навучаюць другую нейронавую сетку, таксама складзеную з слаёў Transformer, каб імітаваць дзеянні карыстальнікаў у відэа, звычайная практыка, вядомая як «паводніцкае кланаванне».

Сэнс працы заключаецца ў пошуку спосабу навучання камп'ютэрнага «агента» агульнага прызначэння, які можа выкарыстоўваць мноства дадзеных у Інтэрнэце, якія не маюць пазнакі, для вырашэння задач, якія ўключаюць прычынную сувязь, сэнс і паслядоўнасць дзеянняў, якія маюць неабходныя адносіны ад аднаго да іншага. 

«Вынікі, прадстаўленыя ў гэтым артыкуле, дапамагаюць пракласці шлях да выкарыстання мноства непазначаных дадзеных у Інтэрнэце для даменаў паслядоўнага прыняцця рашэнняў», — пішуць яны. 

Праца, верагодна, можа быць выкарыстана для шматлікіх камп'ютэрных задач, якія патрабуюць паслядоўнасці пстрычак мышы і іншых элементаў кіравання чалавекам, мяркуюць яны. 

«Хоць мы толькі эксперыментуем у Minecraft, мы лічым, што VPT дае агульны рэцэпт для падрыхтоўкі паводніцкіх апрыёраў у жорсткіх, але агульных прасторах дзеянняў у любой вобласці, дзе ёсць вялікая колькасць свабодна даступных непазначаных дадзеных, напрыклад, выкарыстанне кампутара».

Open-AI найбольш вядомы дзякуючы вялікай моўнай праграме пад назвай GPT-3, якая таксама выкарыстоўвае «папярэдне падрыхтаваны» падыход, заснаваны на тонах вэб-даных, якія не маркіраваныя. У пэўным сэнсе, гульня Minecraft пашырае гэты падыход да мімікрыі паводзін у галіне паслядоўных камп'ютэрных задач, знятых з дапамогай відэа. 

Таксама: Што такое GPT-3? Усё, што трэба ведаць вашаму бізнесу аб прарыўнай моўнай праграме OpenAI

Канчатковым дасягненнем з'яўляецца ў некаторых выпадках перавышэнне часу, неабходнага чалавеку для выканання адной з самых складаных задач, атрымання алмазнай кіркі.

У Minecraft інструменты на аснове алмазаў служаць даўжэй і могуць нанесці больш шкоды. Алмазныя кіркі - адзіныя, якія асабліва важныя для большасці геймераў. Вам патрэбна алмазная кірка для здабычы абсідыяну і выдуманы матэрыял пад назвай нетэрыт, абодва яны важныя для эндшпіляў, такіх як чароўныя сталы і выраб нетэрытавага абсталявання.

Пасля навучання VPT для вывучэння рознага роду задач Minecraft, аўтары выкарыстоўвалі падыход «тонкай налады», які распрацаваў нейронавую сетку з навучаннем падмацавання, каб вырабіць алмазную кірку за больш хуткі, чым звычайна, час. 

«Каб прадэманстраваць эфектыўнасць тонкай налады RL, мы абралі складаную мэту — атрымаць алмазную кірку на працягу 10 хвілін, пачынаючы са свежага свету выжывання Minecraft», — пішуць яны. 

Гэта складана для людзей, якім звычайна патрабуецца ўдвая больш часу, каб зрабіць гэта, калі яны наогул могуць гэта зрабіць:

Гэта ўключае ў сябе набыццё паслядоўнасці цяжкадаступных прадметаў, якія патрабуюць складаных навыкаў, такіх як здабыча карысных выкапняў, кіраванне запасамі, крафта з або без стола для крафта, выкарыстанне інструментаў, кіраванне печай і здабыча на самай нізкай глыбіні, дзе шмат небяспек, такіх як ворагі і лава існуюць (мал. 6). Дадатковая складанасць, прагрэс можа быць лёгка страчаны, кідаючы прадметы, знішчаючы прадметы або паміраючы. Часцей за ўсё, каб атрымаць алмазную кірку, дасведчанаму чалавеку спатрэбіцца больш за 20 хвілін (24,000 XNUMX дзеянняў).

Папулярны ў цяперашні час

З'яўляюцца першыя вынікі Verizon C-Band: абнадзейлівыя, але ці знішчыць яго FAA?

Збіраючы як дадзеныя падрадчыка, так і 70,000 XNUMX гадзін вэб-відэа без пазнакі, аўтары памяталі пра перспектыву абразлівага кантэнту. «Падрадчыкі тэарэтычна могуць выкарыстоўваць уласцівасць адкрытага свету Minecraft для стварэння ідэнтыфікацыйнай інфармацыі і/або абразлівага кантэнту (напрыклад, выкарыстоўваючы блокі Minecraft, каб напісаць сваё імя або абразлівыя паведамленні, а затым знайсці месца, з якога будзе бачна паведамленне)», - яны пішуць, хоць гэтага не ўбачылі на відэа ад падрадчыкаў, якія глядзелі аўтары. 

«Вядома, мы трэніруем нашы мадэлі BC [паводніцкае кланаванне] на відэа з інтэрнэту людзей, якія гуляюць у Minecraft, і калі такія паводзіны ёсць у гэтых відэа, наша мадэль таксама можа патэнцыйна навучыцца гэтаму, хоць мы чакаем, што такое паводзіны досыць рэдкае, што наша мадэль не было б верагодна, каб прайграць яго», - пішуць яны. 

Куды далей ідзе такі генеральны агент? Ідэя заключаецца ў тым, што, заваяваўшы алмазныя сякеры, VPT або яго нашчадкі могуць рабіць усё, што чалавек можа рабіць з дапамогай мышы і клавіятуры, у тым ліку выдаваць білеты, сёрфінг у сацыяльных сетках або навігацыю па картах.