OpenAI utratilo 160,000 XNUMX dolarů za Upwork pro hráče Minecraftu, aby trénovali neuronovou síť

Tato trénovaná schopnost IDM je pak použita na mnohem větší sadě videozáznamů, celkem 70,000 XNUMX hodin neoznačených záznamů Minecraftu shromážděných z webu. IDM aplikuje „pseudo-štítky“ na tuto mnohem větší sbírku. Jinými slovy, IDM a poplatky za dodavatele jsou způsob, jak spustit obrovskou sadu videoškolení. 

Jakkoli se může zdát platba dodavatele nákladná, tento přístup představuje velkou úsporu nákladů, píší autoři. Pokud by museli sbírat data o dodavatelích odpovídající 70,000 XNUMX hodinám webových videí, bylo by to mnohem dražší.

„Pokud bychom mohli levně shromáždit označený soubor dat o dodavateli podobného řádu jako web_clean, pak by to nebylo důležité; shromažďování takového rozsahu dat by však stálo miliony dolarů.“

Pomocí 70,000 XNUMX hodin pak autoři trénují druhou neuronovou síť, rovněž složenou z vrstev Transformer, aby napodobovala akce uživatele ve videích, což je běžná praxe známá jako „behaviorální klonování“.

Smyslem práce je najít způsob, jak vycvičit počítačového „agenta“ pro všeobecné použití, který dokáže využít množství dat na internetu, která nemají žádné štítky, k řešení úkolů, které zahrnují kauzalitu, význam a posloupnosti akcí, které mají nezbytný vztah od jednoho k druhému. 

„Výsledky prezentované v tomto dokumentu pomáhají připravit cestu k využití bohatství neoznačených dat na webu pro domény sekvenčního rozhodování,“ píší. 

Dílo lze myslitelně použít pro řadu počítačových úloh, které vyžadují sekvence kliknutí myší a další ovládací prvky lidského operátora, navrhují. 

„Zatímco v Minecraftu pouze experimentujeme, věříme, že VPT poskytuje obecný recept na trénování předchůdců chování v tvrdých, ale obecných akčních prostorech v jakékoli doméně, která má velké množství volně dostupných neoznačených dat, jako je například používání počítače.“

Open-AI je nejlépe známá pro velký jazykový program s názvem GPT-3, který také používá „předtrénovaný“ přístup založený na tunách webových dat, která nejsou označena. V jistém smyslu hra Minecraft rozšiřuje tento přístup k napodobování chování v oblasti sekvenčních počítačových úloh zachycených prostřednictvím videa. 

Také: Co je GPT-3? Vše, co vaše firma potřebuje vědět o průlomovém jazykovém programu AI OpenAI

Konečným úspěchem je v některých případech překročit čas potřebný k tomu, aby člověk dosáhl jednoho z nejtěžších úkolů, získání diamantového krumpáče.

V Minecraftu nástroje na bázi diamantů prostě vydrží déle a mohou způsobit více škody. Diamantové krumpáče jsou jediné, které jsou pro většinu hráčů zvláště důležité. K těžbě obsidiánu potřebujete diamantový krumpáč a fiktivní materiál zvaný netherit, které jsou oba důležité pro aktivity na konci hry, jako je kouzlení stolů a výroba netheritového vybavení.

Po trénování VPT, aby se naučili všechny druhy úkolů Minecraftu, autoři použili přístup „jemného ladění“, který vyvinul neuronovou síť pro učení výztuže, aby vyrobil diamantový krumpáč v rychlejším než normálním čase. 

„Abychom demonstrovali účinnost jemného ladění RL, zvolili jsme náročný cíl získat diamantový krumpáč do 10 minut počínaje novým světem přežití v Minecraftu,“ píší. 

To je náročné pro lidi, kterým to obvykle trvá dvakrát tak dlouho, pokud to vůbec zvládnou:

To zahrnuje získání sekvence obtížně dostupných předmětů, které vyžadují složité dovednosti, jako je těžba, správa inventáře, crafting s craftovacím stolem a bez něj, používání nástrojů, obsluha pece a těžba v nejnižších hloubkách, kde existuje mnoho nebezpečí, jako jsou nepřátelé. a láva existují (obr. 6). K obtížnosti se přidává postup, který lze snadno ztratit shazováním předmětů, ničením předmětů nebo umíráním. Získání diamantového krumpáče trvá zkušenému člověku více než 20 minut (24,000 XNUMX akcí).

Populární teď

Objevují se první výsledky C-Band Verizon: Povzbuzující, ale zabije to FAA?

Při sestavování údajů o dodavateli a neoznačených 70,000 XNUMX hodin webového videa měli autoři na paměti možnost urážlivého obsahu. „Dodavatelé by teoreticky mohli využít vlastnictví Minecraftu v otevřeném světě ke generování osobně identifikovatelných informací a/nebo urážlivého obsahu (např. pomocí bloků Minecraftu k napsání svého jména nebo urážlivých zpráv, pak by našli místo, ze kterého by zpráva byla viditelná),“ říkají. napsat, i když to neviděli ve videích od dodavatelů, které autoři sledovali. 

„Samozřejmě, trénujeme naše modely BC [behaviorální klonování] na videích z internetu lidí hrajících Minecraft, a pokud je takové chování v těchto videích, náš model by se to mohl také potenciálně naučit, ačkoli očekáváme, že takové chování je natolik vzácné, že náš model nebylo by pravděpodobné, že by to bylo možné reprodukovat,“ píší. 

Kam takový obecný agent půjde dál? Myšlenka je taková, že po dobytí diamantových os, VPT nebo jejich potomků, mohou dělat všechny druhy věcí, které by člověk mohl dělat s myší a klávesnicí, včetně vypískání lístků, surfování po sociálních sítích nebo navigace po mapách.