OpenAI käytti 160,000 XNUMX dollaria Upworkiin Minecraft-pelaajille neuroverkon kouluttamiseen

Tätä IDM:n koulutettua kykyä käytetään sitten paljon suuremmassa sarjassa videomateriaalia, yhteensä 70,000 XNUMX tuntia verkosta kerättyä leimaamatonta Minecraft-materiaalia. IDM käyttää "pseudo-tunnisteita" tuohon huomattavasti suurempaan kokoelmaan. Toisin sanoen IDM ja urakoitsijan palkkiot ovat tapa käynnistää valtava videoharjoitussarja. 

Niin kalliilta kuin urakoitsijan maksu saattaa tuntua, lähestymistapa edustaa suuria kustannussäästöjä, kirjoittajat kirjoittavat. Jos heidän täytyisi kerätä urakoitsijoiden tietoja, jotka vastaavat 70,000 XNUMX tuntia verkkovideoita, se olisi huomattavasti kalliimpaa.

"Jos voisimme kerätä halvalla leimatun urakoitsijan tietojoukon, joka on samaa suuruusluokkaa kuin web_clean, tällä ei olisi merkitystä; tämän mittakaavan tiedon kerääminen olisi kuitenkin maksanut miljoonia dollareita."

70,000 XNUMX tunnin aikana kirjoittajat kouluttavat sitten toisen hermoverkon, joka myös koostuu muuntajakerroksista, jäljittelemään käyttäjien toimia videoissa, mikä on yleinen käytäntö, joka tunnetaan nimellä "käyttäytymiskloonaus".

Työn tarkoitus on löytää tapa kouluttaa yleiskäyttöinen tietokone "agentti", joka voi käyttää Internetissä olevaa dataa, jolla ei ole tunnisteita, ratkaistakseen tehtäviä, joihin liittyy kausaalisuutta, merkitystä ja toimintasarjoja, joilla on tarvittava suhde yhdestä toiseen. 

"Tässä asiakirjassa esitetyt tulokset auttavat tasoittamaan tietä verkon merkitsemättömän datan hyödyntämiselle peräkkäisissä päätösalueissa", he kirjoittavat. 

He ehdottavat, että työtä voidaan käyttää useisiin tietokonetehtäviin, jotka edellyttävät hiiren napsautussarjoja ja muita ihmisen ohjaimia. 

"Vaikka kokeilemme vain Minecraftia, uskomme, että VPT tarjoaa yleisen reseptin käyttäytymispriorien kouluttamiseen kovissa, mutta yleisissä toimintatiloissa kaikilla aloilla, joilla on suuri määrä vapaasti saatavilla olevaa merkitsemätöntä dataa, kuten tietokoneen käyttö."

Open-AI tunnetaan parhaiten suuresta kieliohjelmasta nimeltä GPT-3, joka myös käyttää "esikoulutettua" lähestymistapaa, joka perustuu tonniin Web-tietoihin, joita ei ole merkitty. Tietyssä mielessä Minecraft-peli laajentaa tätä lähestymistapaa käyttäytymisen matkimiseen videolla kaapattujen peräkkäisten tietokonetehtävien alalla. 

Myös: Mikä on GPT-3? Kaikki, mitä yrityksesi tarvitsee tietää OpenAI:n läpimurrosta AI-kieliohjelmasta

Lopullinen saavutus on joissakin tapauksissa ylittää aika, jonka ihminen tarvitsee yhden vaikeimmista tehtävistä, timanttihakun hankkimiseen.

Minecraftissa timanttipohjaiset työkalut vain kestävät pidempään ja voivat aiheuttaa enemmän vahinkoa. Timanttihaukat ovat ainoita, jotka ovat erityisen tärkeitä useimmille pelaajille. Tarvitset timanttihakun obsidiaanin louhimiseen ja fiktiivisen materiaalin nimeltä netherite, jotka molemmat ovat tärkeitä loppupeleissä, kuten pöytien lumoamisessa ja neteriittilaitteiden valmistamisessa.

Koulutettuaan VPT:n oppimaan kaikenlaisia ​​Minecraft-tehtäviä, kirjoittajat käyttivät "hienosäätöä", joka kehitti vahvistusoppimishermoverkon timanttihakun muotoilemiseksi normaalia nopeammin. 

"Havainnollistaaksemme RL-hienosäädön tehokkuutta valitsimme haastavan tavoitteen hankkia timanttihakku 10 minuutissa uudesta Minecraftin selviytymismaailmasta", he kirjoittavat. 

Tämä on haastavaa ihmisille, joilla sen tekemiseen menee yleensä kaksi kertaa kauemmin, jos he pystyvät siihen ollenkaan:

Tämä edellyttää sarjan vaikeasti hankittavia esineitä, jotka vaativat monimutkaisia ​​taitoja, kuten kaivostoimintaa, varastonhallintaa, askartelutyötä askartelupöydällä ja ilman, työkalujen käyttöä, uunin käyttöä ja kaivostoimintaa alimmilla syvyyksillä, joissa monet vaarat, kuten viholliset. ja laava on olemassa (kuva 6). Vaikeutta lisää se, että edistyminen voidaan helposti menettää pudottamalla esineitä, tuhoamalla esineitä tai kuolemalla. Timanttihakun hankkiminen vie taitavalta ihmiseltä useammin yli 20 minuuttia (24,000 XNUMX toimenpidettä).

Suosittu nyt

Ensimmäiset Verizon C-Band -tulokset näkyvät: rohkaisevia, mutta tappaako FAA sen?

Kokoaessaan sekä urakoitsijan tiedot että leimaamattoman 70,000 XNUMX tunnin Web-videon tekijät olivat tietoisia loukkaavan sisällön mahdollisuudesta. "Urakoitsijat voisivat teoriassa käyttää Minecraftin avoimen maailman omaisuutta luodakseen henkilökohtaisia ​​tunnistetietoja ja/tai loukkaavaa sisältöä (esim. käyttämällä Minecraft-lohkoja nimensä tai loukkaavien viestien kirjoittamiseen, ja sitten löytää paikan, josta viesti olisi näkyvissä)" kirjoittaa, vaikka he eivät nähneet tätä urakoitsijoiden videoissa, joita kirjoittajat katsoivat. 

"Tietenkin harjoittelemme BC [käyttäytymisen kloonaus] -mallejamme Internetistä Minecraftia pelaavien ihmisten videoilla, ja jos tällainen käyttäytyminen on näissä videoissa, mallimme voisi myös mahdollisesti oppia sen, vaikka odotammekin, että tällainen käyttäytyminen on tarpeeksi harvinaista, että mallimme ei todennäköisesti toistaisi sitä", he kirjoittavat. 

Minne tällainen yleisagentti menee seuraavaksi? Ajatuksena on, että timanttikirveiden valloittamisen jälkeen VPT tai sen jälkeläiset voivat tehdä kaikenlaisia ​​asioita, joita ihminen voi tehdä hiirellä ja näppäimistöllä, mukaan lukien lippujen booing, sosiaalisen median surffaaminen tai karttojen navigointi.