OpenAI spenderade $160,000 XNUMX på Upwork för Minecraft-spelare för att träna ett neuralt nät

Den IDM:s tränade förmågan används sedan på en mycket större uppsättning videofilmer, totalt 70,000 XNUMX timmar omärkta Minecraft-filmer samlade från webben. IDM tillämpar "pseudo-etiketter" på den mycket större samlingen. Med andra ord, IDM och entreprenörsavgifterna är ett sätt att starta upp ett enormt videoträningsset. 

Hur dyr entreprenörsbetalningen än kan tyckas, innebär tillvägagångssättet stora kostnadsbesparingar, skriver författarna. Om de var tvungna att samla in entreprenörsdata motsvarande de 70,000 XNUMX timmarna med webbvideor, skulle det bli mycket dyrare.

"Om vi ​​billigt kunde samla in en märkt entreprenörsdatauppsättning av en liknande storleksordning som web_clean, då skulle detta inte vara viktigt; Men att samla in den omfattningen av data skulle ha kostat miljontals dollar.”

Med hjälp av de 70,000 XNUMX timmarna tränar författarna sedan ett andra neuralt nätverk, som också består av transformatorlager, för att efterlikna användarens handlingar i videorna, en vanlig praxis som kallas "beteendekloning".

Poängen med arbetet är att hitta ett sätt att utbilda en "agent" för allmänt bruk som kan använda mängden data på Internet som inte har några etiketter för att lösa uppgifter som involverar kausalitet, mening och handlingssekvenser som har en nödvändig relation från den ena till den andra. 

"Resultaten som presenteras i det här dokumentet hjälper till att bana vägen för att använda rikedomen av omärkt data på webben för sekventiella beslutsdomäner", skriver de. 

Verket kan tänkas användas för många datoruppgifter som kräver sekvenser av musklick och andra mänskliga operatörskontroller, föreslår de. 

"Medan vi bara experimenterar i Minecraft, tror vi att VPT ger ett allmänt recept för att träna beteendemässiga föregångare i hårda, men ändå generiska, handlingsutrymmen i alla domäner som har en stor mängd fritt tillgänglig omärkt data, som datoranvändning."

Open-AI är mest känt för det stora språkprogrammet som heter GPT-3, som också använder ett "förtränat" tillvägagångssätt baserat på massor av webbdata som inte är märkt. På sätt och vis utökar Minecraft-spelet det tillvägagångssättet för att mimika beteendet inom området för sekventiella datoruppgifter som fångas via video. 

Dessutom: Vad är GPT-3? Allt ditt företag behöver veta om OpenAI:s banbrytande AI-språkprogram

Den ultimata prestationen är att i vissa fall överskrida den tid som krävs för en människa att uppnå en av de svåraste uppgifterna, att få en diamanthacka.

I Minecraft håller diamantbaserade verktyg bara längre och kan göra mer skada. Diamond hackor är de enda som är särskilt viktiga för de flesta spelare. Du behöver en diamanthacka för att bryta obsidian och ett fiktivt material som kallas netherite, som båda är viktiga för slutspelsaktiviteter som att förtrolla bord och göra netherite-utrustning.

Efter att ha tränat VPT för att lära sig alla möjliga Minecraft-uppgifter, använde författarna ett "finjusterande" tillvägagångssätt som utvecklade ett förstärkt inlärningsneuralt nätverk för att skapa en diamanthacka på en snabbare tid än normalt. 

"För att demonstrera effektiviteten av RL-finjustering valde vi det utmanande målet att erhålla en diamanthacka inom 10 minuter från en ny Minecraft-överlevnadsvärld", skriver de. 

Detta är utmanande för människor, som vanligtvis tar dubbelt så lång tid att göra det, om de kan göra det alls:

Att göra det innebär att skaffa en sekvens av svåråtkomliga föremål som kräver komplexa färdigheter som gruvdrift, lagerhantering, hantverk med och utan hantverksbord, verktygsanvändning, drift av en ugn och gruvdrift på de lägsta djupen, där många faror som fiender och lava existerar (Fig. 6). Utöver svårigheten kan framsteg lätt gå förlorade genom att släppa föremål, förstöra föremål eller dö. Att få en diamanthacka tar oftare än inte en skicklig människa över 20 minuter (24,000 XNUMX handlingar).

Populär nu

Första Verizon C-Band-resultaten visas: Uppmuntrande, men kommer FAA att döda det?

När författarna samlade in både entreprenörsdata och de omärkta 70,000 XNUMX timmarna av webbvideo, var författarna medvetna om möjligheten till stötande innehåll. "Entreprenörerna skulle teoretiskt kunna använda Minecrafts egendom i öppen värld för att generera personligt identifierbar information och/eller stötande innehåll (t.ex. genom att använda Minecraft-block för att skriva sitt namn eller stötande meddelanden, och sedan hitta en plats varifrån meddelandet skulle vara synligt)", de skriva, även om de inte såg detta i videorna från entreprenörer som författarna tittade på. 

"Självklart tränar vi våra BC-modeller [beteendekloning] på videor från internet av personer som spelar Minecraft, och om sådant beteende finns i dessa videor kan vår modell också potentiellt lära sig det, även om vi förväntar oss att sådant beteende är sällsynt nog att vår modell skulle sannolikt inte reproducera det”, skriver de. 

Vart tar en sådan generalagent vägen härnäst? Tanken är att att ha erövrat diamantyxor, VPT, eller dess avkomma, kan göra alla möjliga saker som en person kan göra med en mus och tangentbord, inklusive att bua biljetter, surfa på sociala medier eller navigera på kartor.