OpenAI menghabiskan $160,000 untuk Upwork bagi gamer Minecraft untuk melatih jaringan saraf

Kemampuan terlatih IDM itu kemudian digunakan pada kumpulan rekaman video yang jauh lebih besar, total 70,000 jam rekaman Minecraft tanpa label yang dikumpulkan dari Web. IDM menerapkan "label semu" untuk koleksi yang jauh lebih besar itu. Dengan kata lain, IDM, dan biaya kontraktor, adalah cara untuk mem-bootstrap set pelatihan video yang sangat besar. 

Semahal pembayaran kontraktor mungkin tampak, pendekatan ini merupakan penghematan biaya yang besar, tulis para penulis. Jika mereka harus mengumpulkan data kontraktor yang setara dengan 70,000 jam video Web, itu akan jauh lebih mahal.

“Jika kita dapat dengan murah mengumpulkan kumpulan data kontraktor berlabel dengan urutan besarnya yang sama seperti web_clean, maka ini tidak akan menjadi penting; namun, mengumpulkan data sebesar itu akan menghabiskan biaya jutaan dolar.”

Menggunakan 70,000 jam, penulis kemudian melatih jaringan saraf kedua, juga terdiri dari lapisan Transformer, untuk meniru tindakan pengguna dalam video, praktik umum yang dikenal sebagai "kloning perilaku."

Inti dari pekerjaan ini adalah menemukan cara untuk melatih "agen" komputer tujuan umum yang dapat menggunakan kekayaan data di Internet yang tidak memiliki label untuk menyelesaikan tugas yang melibatkan kausalitas, makna, dan urutan tindakan yang memiliki hubungan yang diperlukan dari satu ke yang berikutnya. 

“Hasil yang disajikan dalam makalah ini membantu membuka jalan untuk memanfaatkan kekayaan data tidak berlabel di web untuk domain keputusan sekuensial,” tulis mereka. 

Pekerjaan itu mungkin dapat digunakan untuk berbagai tugas komputer yang memerlukan urutan klik mouse dan kontrol operator manusia lainnya, saran mereka. 

“Meskipun kami hanya bereksperimen di Minecraft, kami percaya bahwa VPT menyediakan resep umum untuk melatih perilaku sebelumnya di ruang tindakan yang keras, namun umum, di domain apa pun yang memiliki sejumlah besar data tanpa label yang tersedia secara bebas, seperti penggunaan komputer.”

Open-AI terkenal karena program bahasa besar yang disebut GPT-3, yang juga menggunakan pendekatan "pra-terlatih" berdasarkan banyak data Web yang tidak diberi label. Dalam arti tertentu, game Minecraft memperluas pendekatan itu ke mimikri perilaku dalam domain tugas komputer berurutan yang ditangkap melalui video. 

Juga: Apa itu GPT-3? Semua yang perlu diketahui bisnis Anda tentang program bahasa AI terobosan OpenAI

Pencapaian tertinggi adalah dalam beberapa kasus melebihi waktu yang dibutuhkan manusia untuk mencapai salah satu tugas tersulit, mendapatkan beliung berlian.

Di Minecraft, alat berbasis berlian hanya bertahan lebih lama dan dapat menyebabkan lebih banyak kerusakan. Beliung berlian adalah satu-satunya yang secara khusus penting bagi sebagian besar gamer. Anda memerlukan beliung berlian untuk menambang obsidian dan bahan fiksi yang disebut netherite, yang keduanya penting untuk aktivitas akhir permainan seperti enchanting tables dan pembuatan peralatan netherite.

Setelah melatih VPT untuk mempelajari semua jenis tugas Minecraft, penulis menggunakan pendekatan "penyetelan halus" yang mengembangkan jaringan saraf pembelajaran penguatan untuk membuat beliung berlian dalam waktu yang lebih cepat dari biasanya. 

“Untuk mendemonstrasikan kemanjuran RL fine-tuning, kami memilih tujuan yang menantang untuk mendapatkan beliung berlian dalam waktu 10 menit mulai dari dunia survival Minecraft yang baru,” tulis mereka. 

Ini menantang bagi manusia, yang biasanya membutuhkan waktu dua kali lebih lama untuk melakukannya, jika mereka bisa melakukannya sama sekali:

Melakukannya melibatkan memperoleh urutan item yang sulit diperoleh yang memerlukan keterampilan kompleks seperti penambangan, manajemen inventaris, kerajinan dengan dan tanpa meja kerajinan, penggunaan alat, pengoperasian tungku, dan penambangan di kedalaman terendah, di mana banyak bahaya seperti musuh dan lava ada (Gbr. 6). Menambah kesulitan, kemajuan dapat dengan mudah hilang dengan menjatuhkan item, menghancurkan item, atau sekarat. Memperoleh beliung berlian lebih sering daripada tidak membutuhkan manusia yang mahir lebih dari 20 menit (24,000 tindakan).

Populer sekarang

Hasil C-Band Verizon Pertama Muncul: Mendorong, Tapi Akankah FAA Membunuhnya?

Dalam mengumpulkan data kontraktor dan video Web 70,000 jam yang tidak berlabel, penulis memperhatikan prospek konten yang menyinggung. “Kontraktor secara teoritis dapat menggunakan properti dunia terbuka Minecraft untuk menghasilkan informasi pengenal pribadi dan/atau konten yang menyinggung (misalnya dengan menggunakan blok Minecraft untuk menulis nama atau pesan ofensif mereka, kemudian menemukan tempat dari mana pesan tersebut akan terlihat),” mereka tulis, meskipun mereka tidak melihat ini dalam video dari kontraktor yang ditonton oleh penulis. 

“Tentu saja, kami melatih model BC [kloning perilaku] kami di video dari internet orang-orang yang bermain Minecraft, dan jika perilaku seperti itu ada di video itu, model kami juga berpotensi mempelajarinya, meskipun kami berharap perilaku seperti itu cukup langka sehingga model kami tidak akan mungkin untuk mereproduksinya,” tulis mereka. 

Ke mana agen umum seperti itu pergi selanjutnya? Idenya adalah bahwa setelah menaklukkan kapak berlian, VPT, atau keturunannya, dapat melakukan segala macam hal yang mungkin dilakukan seseorang dengan mouse dan keyboard, termasuk mencemooh tiket, menjelajahi media sosial, atau menavigasi peta.