OpenAI потроши 160,000 долари на Upwork за гејмерите на Minecraft да тренираат нервна мрежа

Таа обучена способност на IDM потоа се користи на многу поголем сет на видео снимки, вкупно 70,000 часа неозначени снимки на Minecraft собрани од Интернет. IDM применува „псевдо-етикети“ на таа многу поголема колекција. Со други зборови, IDM и таксите на изведувачот се начин да се подигне огромен видео сет за обука. 

Колку и да изгледа скапо плаќањето на изведувачот, пристапот претставува голема заштеда на трошоците, пишуваат авторите. Кога би требало да соберат податоци за изведувачите еднакви на 70,000 часа веб-видеа, тоа би било многу поскапо.

„Доколку би можеле евтино да собереме означена база на податоци за изведувачите со сличен редослед на големина како web_clean, тогаш ова не би било важно; сепак, собирањето на таа скала на податоци би чинело милиони долари“.

Користејќи ги 70,000 часа, авторите потоа тренираат втора невронска мрежа, исто така составена од слоеви на трансформатори, за да ги имитираат дејствата на корисникот во видеата, вообичаена практика позната како „клонирање на однесувањето“.

Поентата на работата е да се најде начин да се обучи компјутерски „агент“ за општа намена кој може да го користи богатството на податоци на Интернет кои немаат етикети за да решава задачи што вклучуваат каузалност, значење и низа дејства кои имаат неопходен однос од еден до друг. 

„Резултатите претставени во овој труд помагаат да се отвори патот кон искористување на богатството од неозначени податоци на веб за секвенцијални домени на одлуки“, пишуваат тие. 

Работата може да се користи за многубројни компјутерски задачи кои бараат низа на кликања на глувчето и други контроли од човечки оператор, предлагаат тие. 

„Иако експериментираме само во Minecraft, веруваме дека VPT обезбедува општ рецепт за тренирање на бихејвиорални приоритети во тешки, но сепак генерички, акциони простори во кој било домен што има голема количина на слободно достапни неозначени податоци, како што е употребата на компјутер“.

Open-AI е најпознат по големата јазична програма наречена GPT-3, која исто така користи „преттрениран“ пристап заснован на тони веб-податоци кои не се етикетирани. Во извесна смисла, играта Minecraft го проширува тој пристап кон мимикријата на однесувањето во доменот на последователни компјутерски задачи снимени преку видео. 

Исто така: Што е GPT-3? Сè што треба да знае вашиот бизнис за пробивната програма за јазик за вештачка интелигенција на OpenAI

Крајното достигнување е во некои случаи да се надмине времето потребно за човекот да ја постигне една од најтешките задачи, да добие дијамантска пика.

Во Minecraft, алатките базирани на дијаманти траат подолго и можат да направат поголема штета. Дијамантските стапчиња се единствените кои се особено важни за повеќето гејмери. Потребна ви е дијамантска пиказа за да ископате обсидијан и измислен материјал наречен нетерит, кои се важни за активностите на крајот на играта, како што се волшебните маси и изработката на опрема за нетерит.

Откако го обучија VPT да научи секакви задачи на Minecraft, авторите користеа пристап за „фино подесување“ кој разви невронска мрежа за зајакнување на учењето за да направи дијамантска пика во побрзо од нормалното време. 

„За да ја демонстрираме ефикасноста на дотерувањето на RL, ја избравме предизвикувачката цел да добиеме дијамантска пиказа во рок од 10 минути, почнувајќи од свеж свет за преживување на Minecraft“, пишуваат тие. 

Ова е предизвик за луѓето, на кои обично им треба двојно повеќе време за да го направат тоа, ако воопшто можат да го направат тоа:

Тоа вклучува стекнување низа од тешко достапни предмети кои бараат сложени вештини како рударство, управување со залихи, изработка со и без маса за изработка, употреба на алат, ракување со печка и ископување на најниските длабочини, каде што има многу опасности како непријатели а лавата постои (сл. 6). Дополнително на тешкотијата, напредокот може лесно да се изгуби со фрлање предмети, уништување предмети или умирање. Добивањето на дијамантска пика почесто отколку не му треба на вешт човек повеќе од 20 минути (24,000 акции).

Популарно сега

Се појавуваат првите резултати на Verizon C-Band: Охрабрувачки, но дали FAA ќе го убие?

При составувањето и на податоците за изведувачот и на неетикетираните 70,000 часа веб-видео, авторите внимаваа на можноста за навредлива содржина. „Изведувачите теоретски би можеле да ја користат сопственоста на Minecraft за отворен свет за да генерираат информации за лична идентификација и/или навредлива содржина (на пр. со користење блокови на Minecraft за да го напишат своето име или навредливи пораки, а потоа да најдат место од кое пораката би била видлива),“ тие пишуваат, иако тие не го видоа ова на видеата од изведувачите што ги гледаа авторите. 

„Се разбира, ние ги тренираме нашите модели BC [клонирање на однесувањето] на видеа од интернет на луѓе кои играат Minecraft, и ако таквото однесување е во тие видеа, нашиот модел исто така може потенцијално да го научи, иако очекуваме дека таквото однесување е доволно ретко што нашиот модел веројатно нема да го репродуцираат“, пишуваат тие. 

Каде оди понатаму таков генерален агент? Идејата е дека со освојувањето на дијамантските секири, VPT, или неговото потомство, може да се прават сите видови на работи што едно лице може да ги прави со глувчето и тастатурата, вклучително и исвиркување билети, сурфање на социјалните мрежи или навигација на мапи.