OpenAI je porabil 160,000 $ za Upwork za igralce Minecrafta za usposabljanje nevronske mreže

Ta izurjena sposobnost IDM-ja se nato uporabi na veliko večjem naboru videoposnetkov, skupaj 70,000 ur neoznačenih posnetkov Minecrafta, zbranih s spleta. IDM uporabi "psevdo-oznake" za to veliko večjo zbirko. Z drugimi besedami, IDM in honorarji izvajalcev so način za zagon ogromnega videoposnetka za usposabljanje. 

Čeprav se morda zdi plačilo izvajalca drago, pristop predstavlja velik prihranek stroškov, pišejo avtorji. Če bi morali zbrati podatke o izvajalcih, ki ustrezajo 70,000 uram spletnih videov, bi bilo to veliko dražje.

»Če bi lahko poceni zbrali označeni nabor podatkov izvajalca podobnega reda velikosti kot web_clean, potem to ne bi bilo pomembno; vendar bi zbiranje te količine podatkov stalo na milijone dolarjev.«

Z uporabo 70,000 ur avtorji nato urijo drugo nevronsko mrežo, prav tako sestavljeno iz transformatorskih plasti, da posnema dejanja uporabnikov v videoposnetkih, kar je običajna praksa, znana kot "vedenjsko kloniranje".

Bistvo dela je najti način za usposabljanje splošnega računalniškega »agenta«, ki lahko uporabi bogastvo podatkov na internetu brez oznak za reševanje nalog, ki vključujejo vzročnost, pomen in zaporedja dejanj, ki imajo potreben odnos od enega do drugega. 

"Rezultati, predstavljeni v tem dokumentu, pomagajo utreti pot k izkoriščanju bogastva neoznačenih podatkov na spletu za domene zaporednega odločanja," pišejo. 

Delo se lahko domnevno uporablja za številne računalniške naloge, ki zahtevajo zaporedje klikov miške in druge kontrole človeškega operaterja, predlagajo. 

"Medtem ko eksperimentiramo samo v Minecraftu, verjamemo, da VPT zagotavlja splošen recept za usposabljanje vedenjskih predhodnikov v trdih, a splošnih akcijskih prostorih v kateri koli domeni, ki ima veliko količino prosto dostopnih neoznačenih podatkov, kot je uporaba računalnika."

Open-AI je najbolj znan po velikem jezikovnem programu, imenovanem GPT-3, ki prav tako uporablja "vnaprej usposobljen" pristop, ki temelji na tonah spletnih podatkov, ki niso označeni. V nekem smislu igra Minecraft razširja ta pristop na posnemanje vedenja v domeni zaporednih računalniških nalog, posnetih prek videa. 

Tudi: Kaj je GPT-3? Vse, kar mora vaše podjetje vedeti o prelomnem jezikovnem programu AI OpenAI

Končni dosežek je v nekaterih primerih preseči čas, ki je potreben, da človek opravi eno najtežjih nalog, dobiti diamantni kramp.

V Minecraftu diamantna orodja le trajajo dlje in lahko naredijo več škode. Diamantni krampi so edini, ki so posebej pomembni za večino igralcev. Potrebujete diamantno kramp za rudarjenje obsidiana in izmišljenega materiala, imenovanega netherite, ki sta pomembna za dejavnosti v končni igri, kot sta očarljivost miz in izdelava opreme iz netherita.

Potem ko so VPT usposobili za učenje vseh vrst nalog Minecrafta, so avtorji uporabili pristop »fine nastavitve«, ki je razvil nevronsko mrežo za učenje okrepitve za oblikovanje diamantne krampe v hitrejšem času od običajnega. 

»Za prikaz učinkovitosti natančnega prilagajanja RL smo izbrali zahteven cilj pridobitve diamantne krampe v 10 minutah, začenši s svežim svetom preživetja Minecraft,« pišejo. 

To je izziv za ljudi, ki za to običajno potrebujejo dvakrat več časa, če sploh zmorejo:

To vključuje pridobivanje zaporedja težko dostopnih predmetov, ki zahtevajo zapletene veščine, kot so rudarjenje, upravljanje inventarja, izdelovanje z in brez mize za izdelovanje, uporaba orodja, upravljanje peči in rudarjenje na najnižjih globinah, kjer je veliko nevarnosti, kot so sovražniki. in lava obstaja (slika 6). Težavnost je še večja, napredek lahko zlahka izgubite, če odvržete predmete, uničite predmete ali umrete. Pridobivanje diamantne krampe pogosteje kot ne zahteva izkušenega človeka več kot 20 minut (24,000 dejanj).

Popularno

Pojavijo se prvi rezultati C-Band Verizon: spodbudni, a jih bo FAA ubil?

Pri zbiranju tako podatkov izvajalca kot neoznačenih 70,000 ur spletnega videa so avtorji upoštevali možnost žaljive vsebine. "Izvajalci bi teoretično lahko uporabili Minecraftovo lastnost odprtega sveta za ustvarjanje osebno določljivih informacij in/ali žaljive vsebine (npr. z uporabo blokov Minecraft za pisanje svojega imena ali žaljivih sporočil, nato pa najdejo mesto, s katerega bi bilo sporočilo vidno)," so povedali. pišejo, čeprav tega niso videli v videih izvajalcev, ki so si jih avtorji ogledali. 

»Seveda naše modele BC [vedenjskega kloniranja] usposabljamo na videoposnetkih ljudi, ki igrajo Minecraft iz interneta, in če je takšno vedenje v teh videoposnetkih, bi se ga lahko naučil tudi naš model, čeprav pričakujemo, da je takšno vedenje dovolj redko, da bi naš model verjetno ne bi reproducirali,« pišejo. 

Kam gre potem tak generalni zastopnik? Ideja je, da lahko VPT ali njegov potomec, ko je osvojil diamantne sekire, počne vse vrste stvari, ki bi jih oseba lahko počela z miško in tipkovnico, vključno z žvižganjem vstopnic, brskanjem po družbenih medijih ali navigacijo po zemljevidih.