OpenAI gab 160,000 US-Dollar für Upwork für Minecraft-Spieler aus, um ein neuronales Netz zu trainieren

Diese trainierte Fähigkeit von IDM wird dann für einen viel größeren Satz von Videomaterial verwendet, insgesamt 70,000 Stunden unbeschriftetes Minecraft-Material, das aus dem Internet gesammelt wurde. Das IDM wendet „Pseudo-Etiketten“ auf diese weitaus größere Sammlung an. Mit anderen Worten, das IDM und die Auftragnehmergebühren sind eine Möglichkeit, ein riesiges Video-Trainingsset zu erstellen. 

So teuer die Bezahlung des Auftragnehmers auch erscheinen mag, der Ansatz stellt eine große Kosteneinsparung dar, schreiben die Autoren. Wenn sie Auftragnehmerdaten sammeln müssten, die 70,000 Stunden Webvideos entsprechen, wäre dies erheblich teurer.

„Wenn wir einen gekennzeichneten Auftragnehmer-Datensatz in einer ähnlichen Größenordnung wie web_clean billig sammeln könnten, wäre dies nicht wichtig; Das Sammeln dieser Datenmenge hätte jedoch Millionen von Dollar gekostet.“

Mit den 70,000 Stunden trainieren die Autoren dann ein zweites neuronales Netzwerk, das ebenfalls aus Transformer-Schichten besteht, um die Benutzeraktionen in den Videos nachzuahmen, eine gängige Praxis, die als „Behavioral Cloning“ bekannt ist.

Der Sinn der Arbeit besteht darin, einen Weg zu finden, einen Allzweck-Computeragenten zu trainieren, der die Fülle der Daten im Internet nutzen kann, die keine Etiketten haben, um Aufgaben zu lösen, die Kausalität, Bedeutung und Abfolgen von Aktionen beinhalten, die a notwendige Beziehung von einem zum nächsten. 

„Die in diesem Papier vorgestellten Ergebnisse helfen dabei, den Weg zur Nutzung der Fülle unbeschrifteter Daten im Internet für sequentielle Entscheidungsdomänen zu ebnen“, schreiben sie. 

Die Arbeit kann möglicherweise für zahlreiche Computeraufgaben verwendet werden, die Sequenzen von Mausklicks und andere menschliche Bedienersteuerungen erfordern, schlagen sie vor. 

„Obwohl wir nur in Minecraft experimentieren, glauben wir, dass VPT ein allgemeines Rezept zum Trainieren von Verhaltensprioritäten in harten, aber generischen Aktionsräumen in jedem Bereich bietet, der eine große Menge frei verfügbarer, nicht gekennzeichneter Daten enthält, wie z. B. die Computernutzung.“

Open-AI ist vor allem für das große Sprachprogramm namens GPT-3 bekannt, das ebenfalls einen „vortrainierten“ Ansatz verwendet, der auf Tonnen von Webdaten basiert, die nicht gekennzeichnet sind. In gewisser Weise erweitert das Minecraft-Spiel diesen Ansatz auf die Nachahmung von Verhalten im Bereich sequenzieller Computeraufgaben, die per Video erfasst werden. 

Außerdem: Was ist GPT-3? Alles, was Ihr Unternehmen über das bahnbrechende KI-Sprachprogramm von OpenAI wissen muss

Die ultimative Errungenschaft besteht darin, in einigen Fällen die Zeit zu übertreffen, die ein Mensch benötigt, um eine der schwierigsten Aufgaben zu erfüllen, nämlich die Beschaffung einer Diamantspitzhacke.

In Minecraft halten diamantbasierte Werkzeuge einfach länger und können mehr Schaden anrichten. Diamant-Spitzhacken sind die einzigen, die für die meisten Spieler besonders wichtig sind. Sie benötigen eine Diamantspitzhacke, um Obsidian abzubauen, und ein fiktives Material namens Netherit, die beide für Endspielaktivitäten wie das Verzaubern von Tischen und die Herstellung von Netheritausrüstung wichtig sind.

Nach dem Training des VPT zum Erlernen aller möglichen Minecraft-Aufgaben verwendeten die Autoren einen „Feinabstimmungs“-Ansatz, bei dem ein neuronales Netzwerk für Verstärkungslernen entwickelt wurde, um eine Diamant-Spitzhacke schneller als normal herzustellen. 

„Um die Wirksamkeit der RL-Feinabstimmung zu demonstrieren, haben wir das herausfordernde Ziel gewählt, innerhalb von 10 Minuten eine Diamantspitzhacke zu erhalten, ausgehend von einer frischen Minecraft-Überlebenswelt“, schreiben sie. 

Dies ist eine Herausforderung für Menschen, die normalerweise doppelt so lange dafür brauchen, wenn sie es überhaupt können:

Dazu müssen Sie eine Reihe schwer zu beschaffender Gegenstände erwerben, die komplexe Fähigkeiten wie Bergbau, Bestandsverwaltung, Handwerk mit und ohne Handwerkstisch, Werkzeuggebrauch, Betrieb eines Hochofens und Bergbau in den tiefsten Tiefen erfordern, wo viele Gefahren wie Feinde sind und Lava existieren (Abb. 6). Hinzu kommt, dass der Fortschritt leicht verloren gehen kann, wenn Gegenstände fallen gelassen, zerstört oder gestorben werden. Um eine Diamant-Spitzhacke zu erhalten, braucht ein erfahrener Mensch meistens über 20 Minuten (24,000 Aktionen).

Jetzt beliebt

Erste Ergebnisse der Verizon C-Band erscheinen: Ermutigend, aber wird die FAA sie töten?

Bei der Zusammenstellung sowohl der Auftragnehmerdaten als auch der nicht gekennzeichneten 70,000 Stunden Webvideos berücksichtigten die Autoren die Aussicht auf anstößige Inhalte. „Die Auftragnehmer könnten theoretisch das Open-World-Eigentum von Minecraft nutzen, um persönlich identifizierbare Informationen und/oder anstößige Inhalte zu generieren (z. B. indem sie Minecraft-Blöcke verwenden, um ihren Namen oder anstößige Nachrichten zu schreiben, und dann einen Ort finden, von dem aus die Nachricht sichtbar wäre)“, sie schreiben, obwohl sie dies in den Videos von Auftragnehmern, die sich die Autoren angesehen haben, nicht gesehen haben. 

„Natürlich trainieren wir unsere BC [Behavioral Cloning]-Modelle mit Videos aus dem Internet von Leuten, die Minecraft spielen, und wenn ein solches Verhalten in diesen Videos vorkommt, könnte unser Modell es möglicherweise auch lernen, obwohl wir davon ausgehen, dass ein solches Verhalten selten genug ist als unser Modell würde es wahrscheinlich nicht reproduzieren“, schreiben sie. 

Wohin geht so ein Generalagent als nächstes? Die Idee ist, dass nach der Eroberung von Diamantäxten VPT oder seine Abkömmlinge alle möglichen Dinge tun können, die eine Person mit Maus und Tastatur tun könnte, einschließlich Tickets ausbuhen, in sozialen Medien surfen oder auf Karten navigieren.