OpenAI brukte $160,000 XNUMX på Upwork for Minecraft-spillere for å trene et nevralt nett

At IDMs trente evne blir deretter brukt på et mye større sett med videoopptak, totalt 70,000 XNUMX timer med umerket Minecraft-opptak samlet fra nettet. IDM-en bruker "pseudo-etiketter" på den mye større samlingen. Med andre ord, IDM, og entreprenøravgiftene, er en måte å starte opp et stort videoopplæringssett på. 

Så dyr som entreprenørbetalingen kan virke, representerer tilnærmingen store kostnadsbesparelser, skriver forfatterne. Hvis de måtte samle inn entreprenørdata tilsvarende de 70,000 XNUMX timene med nettvideoer, ville det blitt mye dyrere.

«Hvis vi billig kunne samle inn et merket entreprenørdatasett av samme størrelsesorden som web_clean, så ville ikke dette vært viktig; Men å samle inn denne omfanget av data ville ha kostet millioner av dollar.»

Ved å bruke de 70,000 XNUMX timene, trener forfatterne deretter et andre nevralt nettverk, som også består av transformatorlag, for å etterligne brukerhandlingene i videoene, en vanlig praksis kjent som "atferdskloning."

Poenget med arbeidet er å finne en måte å lære opp en "agent" for generell datamaskin som kan bruke rikdommen av data på Internett som ikke har noen etiketter til å løse oppgaver som involverer årsakssammenheng, mening og handlingssekvenser som har en nødvendig forhold fra den ene til den neste. 

"Resultatene som presenteres i denne artikkelen hjelper til med å bane veien for å utnytte rikdommen av umerkede data på nettet for sekvensielle beslutningsdomener," skriver de. 

Verket kan tenkes brukt til en rekke datamaskinoppgaver som krever sekvenser av museklikk og andre menneskelige operatørkontroller, foreslår de. 

"Selv om vi bare eksperimenterer i Minecraft, tror vi at VPT gir en generell oppskrift for å trene atferdsmessige forutsetninger i harde, men allikevel generiske, handlingsrom i ethvert domene som har en stor mengde fritt tilgjengelig umerket data, for eksempel datamaskinbruk."

Open-AI er mest kjent for det store språkprogrammet kalt GPT-3, som også bruker en "forhåndstrenet" tilnærming basert på tonnevis av nettdata som ikke er merket. På en måte utvider Minecraft-spillet denne tilnærmingen til etterligning av atferd i domenet til sekvensielle datamaskinoppgaver tatt opp via video. 

Også: Hva er GPT-3? Alt bedriften din trenger å vite om OpenAIs banebrytende AI-språkprogram

Den ultimate prestasjonen er å i noen tilfeller overskride tiden som kreves for et menneske å oppnå en av de vanskeligste oppgavene, å skaffe en diamanthakke.

I Minecraft varer diamantbaserte verktøy bare lenger og kan gjøre mer skade. Diamanthakker er de eneste som er spesielt viktige for de fleste spillere. Du trenger en diamanthakke for å utvinne obsidian og et fiktivt materiale kalt netherite, som begge er viktige for sluttspillaktiviteter som fortryllende bord og lage netherite-utstyr.

Etter å ha trent VPT til å lære alle slags Minecraft-oppgaver, brukte forfatterne en "finjusterings"-tilnærming som utviklet et forsterkende læringsnevralt nettverk for å lage en diamanthakke på en raskere tid enn normalt. 

"For å demonstrere effektiviteten av RL-finjustering, valgte vi det utfordrende målet å skaffe en diamanthakke innen 10 minutter fra en fersk Minecraft-overlevelsesverden," skriver de. 

Dette er utfordrende for mennesker, som vanligvis bruker dobbelt så lang tid på å gjøre det, hvis de i det hele tatt kan gjøre det:

Å gjøre det innebærer å tilegne seg en sekvens av gjenstander som er vanskelig å få tak i som krever komplekse ferdigheter som gruvedrift, lagerstyring, håndverk med og uten håndverksbord, bruk av verktøy, drift av en ovn og gruvedrift på laveste dyp, der mange farer som fiender og lava eksisterer (fig. 6). I tillegg til vanskeligheten kan fremgang lett gå tapt ved å slippe gjenstander, ødelegge gjenstander eller dø. Å skaffe en diamanthakke tar oftere enn ikke et dyktig menneske over 20 minutter (24,000 XNUMX handlinger).

Populær nå

Første Verizon C-Band-resultater vises: Oppmuntrende, men vil FAA drepe det?

Ved å samle både entreprenørdata og de umerkede 70,000 XNUMX timene med nettvideo, var forfatterne oppmerksomme på muligheten for støtende innhold. "Entreprenørene kan teoretisk bruke Minecrafts åpne verden-eiendom til å generere personlig identifiserbar informasjon og/eller støtende innhold (f.eks. ved å bruke Minecraft-blokker til å skrive navnet eller støtende meldinger, og deretter finne et sted hvor meldingen vil være synlig)," de skrive, selv om de ikke så dette i videoene fra entreprenører forfatterne så på. 

"Selvfølgelig trener vi våre BC [atferdskloning]-modeller på videoer fra internett av folk som spiller Minecraft, og hvis slik oppførsel er i disse videoene kan modellen vår potensielt også lære det, selv om vi forventer at slik oppførsel er sjelden nok til at modellen vår vil sannsynligvis ikke reprodusere det», skriver de. 

Hvor går en slik generalagent videre? Tanken er at det å ha erobret diamantøkser, VPT, eller dets avkom, kan gjøre alle slags ting som en person kan gjøre med en mus og et tastatur, inkludert bud på billetter, surfe på sosiale medier eller navigere på kart.