'Gato' DeepMind biasa-biasa wae, mula kenapa dheweke nggawe?

Donya wis biasa ndeleng berita utama babagan terobosan paling anyar kanthi sinau babagan intelijen buatan. Nanging, prestasi paling anyar saka divisi DeepMind Google, bisa uga diringkes minangka, "Salah sawijining program AI sing nindakake pakaryan ing akeh perkara." 

Gato, minangka program DeepMind diarani, diumumake minggu iki minangka program multimodal, sing bisa main video game, ngobrol, nulis komposisi, gambar caption, lan ngontrol blok tumpukan lengen robot. Iki minangka salah sawijining jaringan saraf sing bisa nggarap macem-macem data kanggo nindakake macem-macem tugas. 

"Kanthi bobot siji, Gato bisa melu dialog, gambar caption, tumpukan blok kanthi lengen robot nyata, ngungguli manungsa nalika main game Atari, navigasi ing lingkungan 3D sing disimulasi, tindakake pandhuan, lan liya-liyane," tulis panulis utama Scott Reed. lan kolega ing koran, "A Generalist Agent," dikirim ing server preprint Arxiv. 

Pendiri DeepMind, Demis Hassabis, menehi semangat kanggo tim kasebut, seru ing tweet, "Agen paling umum kita durung !! Karya sing apik banget saka tim! ” 

uga: Eksperimen anyar: Apa AI pancen ngerti kucing utawa asu - utawa apa wae?

Siji-sijine sing bisa ditindakake yaiku Gato pancen ora apik banget ing sawetara tugas. 

Ing sisih siji, program kasebut bisa nindakake luwih apik tinimbang program pembelajaran mesin khusus kanggo ngontrol lengen Sawyer robot sing tumpukan blok. Ing tangan liyane, iku mrodhuksi katrangan kanggo gambar sing ing akeh kasus cukup miskin. Kemampuan ing dialog chatting standar karo interlocutor manungsa uga biasa-biasa wae, kadhangkala eliciting utterances mbantah lan nonsensical. 

Lan muter video game Atari 2600 kurang saka program ML sing paling darmabakti sing dirancang kanggo saingan ing pathokan. Lingkungan Pembelajaran Arcade. 

Napa sampeyan nggawe program sing nindakake sawetara perkara kanthi apik lan akeh perkara liyane sing ora apik? Preseden, lan pangarep-arep, miturut penulis. 

Ana preseden kanggo jinis program sing luwih umum dadi canggih ing AI, lan ana pangarep-arep yen nambah jumlah daya komputasi bakal ngrampungake kekurangan. 

Umume bisa cenderung menang ing AI. Minangka penulis nyathet, nyebutake sarjana AI Richard Sutton, "Sacara historis, model umum sing luwih apik kanggo ngetung komputasi uga cenderung nyusul pendekatan khusus domain sing luwih khusus."

Kaya sing ditulis Sutton ing kirim blog dhewe, "Pelajaran paling gedhe sing bisa diwaca saka riset AI 70 taun yaiku metode umum sing nggunakake komputasi pungkasane paling efektif, lan kanthi wates gedhe."

Sijine menyang tesis formal, Reed lan tim nulis sing "kita kene nyoba hipotesis sing latihan agen kang umume saged ing nomer akeh tugas bisa; lan agen umum iki bisa diadaptasi karo data ekstra cilik supaya bisa sukses ing tugas sing luwih akeh.

uga: Meta's AI luminary LeCun njelajah wates energi sinau jero

Model, ing kasus iki, pancen umum banget. Iki minangka versi Transformer, model basis perhatian sing dominan sing wis dadi basis saka pirang-pirang program kalebu GPT-3. Transformator modhèl kemungkinan sawetara unsur sing diwenehi unsur-unsur sing ana ing saubengé kayata tembung ing ukara. 

Ing kasus Gato, para ilmuwan DeepMind bisa nggunakake telusuran kemungkinan kondisional sing padha ing pirang-pirang jinis data. 

Nalika Reed lan kanca-kanca nerangake tugas latihan Gato, 

Sajrone fase latihan Gato, data saka tugas lan modalitas sing beda-beda disedhiyakake dadi urutan token sing rata, diklumpukake, lan diproses dening jaringan saraf trafo sing padha karo model basa gedhe. Kekalahan ditutupi supaya Gato mung prediksi tumindak lan target teks.

Gato, kanthi tembung liya, ora nganggep token kanthi cara sing beda-beda, manawa minangka tembung ing obrolan utawa vektor gerakan ing latihan tumpukan blok. Iku kabeh padha. 

Dikubur ing Reed lan hipotesis tim minangka akibat, yaiku kekuwatan komputasi sing luwih akeh bakal menang, pungkasane. Saiki, Gato diwatesi dening wektu nanggepi lengen robot Sawyer sing nindakake tumpukan blok. Ing 1.18 milyar paramèter jaringan, Gato luwih cilik tinimbang model AI sing gedhe banget kayata GPT-3. Nalika model sinau jero saya gedhe, nindakake inferensi ndadékaké latensi sing bisa gagal ing donya non-deterministik saka robot donya nyata. 

Nanging, Reed lan kanca-kanca ngarepake watesan kasebut bakal dikalahake amarga hardware AI dadi luwih cepet nalika diproses.

"We fokus latihan kita ing titik operasi ukuran model sing ngidini kontrol nyata-wektu robot donya nyata, saiki watara 1.2B paramèter ing cilik saka Gato," padha wrote. "Nalika arsitektur hardware lan model saya apik, titik operasi iki kanthi alami bakal nambah ukuran model sing bisa ditindakake, nyurung model umum sing luwih dhuwur ing kurva hukum skala."

Mula, Gato pancen dadi model babagan skala komputasi bakal terus dadi vektor utama pangembangan pembelajaran mesin, kanthi nggawe model umum luwih gedhe lan luwih gedhe. Luwih gedhe luwih apik, kanthi tembung liyane. 

Lan penulis duwe sawetara bukti kanggo iki. Gato kayane saya tambah gedhe. Dheweke mbandhingake skor rata-rata ing kabeh tugas pathokan kanggo telung ukuran model miturut paramèter, 79 yuta, 364 yuta, lan model utama, 1.18 milyar. "Kita bisa ndeleng manawa kanggo jumlah token sing padha, ana peningkatan kinerja sing signifikan kanthi skala sing tambah," panulis nulis. 

Pitakonan masa depan sing menarik yaiku apa program sing dadi generalis luwih mbebayani tinimbang program AI liyane. Penulis nglampahi akeh wektu ing koran kanggo ngrembug kasunyatan manawa ana bebaya potensial sing durung dingerteni.  

Gagasan program sing nangani macem-macem tugas menehi saran marang wong awam minangka jinis adaptasi manungsa, nanging bisa uga salah persepsi sing mbebayani. "Contone, pawujudan fisik bisa mimpin kanggo pangguna antropomorphizing agen, anjog kanggo misplaced kapercayan ing cilik saka sistem malfunctioning, utawa bisa exploitable dening aktor ala,"Reed lan tim nulis. 

"Kajaba iku, nalika transfer kawruh lintas domain asring dadi tujuan ing riset ML, bisa nggawe asil sing ora dikarepke lan ora dikarepake yen prilaku tartamtu (contone, gelut game arcade) ditransfer menyang konteks sing salah."

Mula, dheweke nulis, "Pertimbangan etika lan safety transfer kawruh bisa uga mbutuhake riset anyar sing akeh amarga sistem umum maju."

(Minangka cathetan sisih sing menarik, kertas Gato nggunakake skema kanggo njlèntrèhaké risiko sing dirancang dening mantan peneliti Google AI Margaret Michell lan kanca-kanca, sing disebut Model Cards. Model Cards menehi ringkesan ringkes babagan apa program AI, apa sing ditindakake, lan apa Michell nulis taun kepungkur yen dheweke dipeksa metu saka Google amarga ndhukung mantan rekan kerjane, Timnit Gebru, sing keprihatinan etika babagan AI nyerang kepemimpinan AI Google.)

Gato ora unik ing tendensi generalisasi. Iki minangka bagéan saka tren umum kanggo generalisasi, lan model sing luwih gedhe sing nggunakake ember tenaga kuda. Donya entuk rasa pertama Google miring menyang arah iki musim panas kepungkur, kanthi jaringan saraf "Perceiver" Google sing nggabungake tugas Transformer teks karo gambar, swara, lan koordinat spasial LiDAR.

uga: Supermodel Google: DeepMind Perceiver minangka langkah ing dalan menyang mesin AI sing bisa ngolah apa wae lan kabeh

Antarane kanca-kancane yaiku PaLM, Pathways Language Model, ngenalaken taun iki dening ilmuwan Google, model parameter 540 milyar sing nggunakake teknologi anyar kanggo koordinasi ewonan chip, dikenal minangka Pathways, uga ditemokake ing Google. Jaringan saraf sing dirilis ing Januari dening Meta, sing diarani "data2vec," nggunakake Transformers kanggo data gambar, bentuk gelombang audio ucapan, lan representasi basa teks kabeh dadi siji. 

Sing anyar babagan Gato, misale jek, yaiku niat kanggo njupuk AI sing digunakake kanggo tugas non-robotik lan nyurung menyang jagad robotika.

Pencipta Gato, nyathet prestasi Pathways, lan pendekatan umum liyane, ndeleng prestasi utama ing AI sing bisa digunakake ing jagad nyata, kanthi tugas apa wae. 

"Karya ing mangsa ngarep kudu nimbang carane nggabungake kemampuan teks kasebut dadi siji agen umum sing bisa uga tumindak kanthi nyata ing jagad nyata, ing lingkungan lan perwujudan sing beda-beda." 

Sampeyan bisa, banjur, nimbang Gato minangka langkah penting ing dalan kanggo ngrampungake masalah AI paling angel, robotika.