DeepMind's 'Gato' bụ mediocre, yabụ gịnị kpatara ha ji wuo ya?

miri-gato-slash-onyinyo-nso-na.png

Netwọk akwara “Gato” nke DeepMind na-eme nke ọma n'ọtụtụ ọrụ gụnyere ịchịkwa ogwe aka rọbọt na-ekpokọba ihe, igwu egwuregwu Atari 2600, yana ihe onyonyo ịdekọ aha.


DeepMind

A na-eji ụwa na-ahụ akụkọ akụkọ gbasara ihe ọhụụ ọhụrụ site n'ụdị mmụta miri emi nke ọgụgụ isi. Enwere ike ichikota mmezu kacha ọhụrụ nke ngalaba DeepMind nke Google dị ka, "Otu mmemme AI nke na-arụ nnukwu ọrụ n'ọtụtụ ihe." 

Gato, dị ka a na-akpọ mmemme DeepMind, e kpughere izu a dị ka ihe a na-akpọ mmemme multimodal, nke nwere ike igwu egwuregwu vidiyo, kparịta ụka, dee ihe ndị e dere ede, foto isiokwu, na ijikwa ihe mgbochi ogwe aka rọbọt. Ọ bụ otu netwọkụ akwara ozi nwere ike ịrụ ọrụ na ọtụtụ ụdị data iji rụọ ọtụtụ ụdị ọrụ. 

"Site na otu ihe dị arọ, Gato nwere ike itinye aka na mkparịta ụka, ihe oyiyi okwu, chịkọta ihe mgbochi na ezigbo ogwe aka robot, na-eme ka ụmụ mmadụ na-egwu egwuregwu Atari, na-agagharị na gburugburu 3D simulated, soro ntuziaka, na ndị ọzọ," onye edemede bụ Scott Reed dere. na ndị ọrụ ibe ha n'akwụkwọ ha, "A Generalist Agent," ezigara na Arxiv preprint nkesa

Onye nchoputa DeepMind Demis Hassabis turu ndi otu a, na-eti mkpu na tweet, “Onye nnọchi anya anyị kacha n'ozuzu!! Ọrụ dị egwu sitere na ndị otu! " 

Ọzọkwa: Nnwale ọhụrụ: AI maara n'ezie nwamba ma ọ bụ nkịta - ma ọ bụ ihe ọ bụla?

Naanị ihe enwetara bụ na Gato abụghị nnukwu ọrụ n'ọtụtụ ọrụ. 

N'otu aka ahụ, mmemme ahụ nwere ike ime nke ọma karịa mmemme mmụta igwe raara onwe ya nye n'ịchịkwa ogwe aka Sawyer nke robot nke na-ekpokọba ihe. N'aka nke ọzọ, ọ na-emepụta isiokwu maka ihe oyiyi na n'ọtụtụ ọnọdụ adịghị mma. Ikike ya na mkparịta ụka ọkọlọtọ ya na onye na-emekọrịta ihe mmadụ na-adịkwa n'otu aka ahụ, na-ewepụta okwu na-emegiderịta onwe ya na nke enweghị isi. 

Egwuregwu vidiyo Atari 2600 ya na-adaba n'okpuru nke ọtụtụ mmemme ML raara onwe ya nye maka ịsọ mpi na benchmark. Gburugburu ebe mmụta Arcade

Kedu ihe kpatara ị ga-eji mee mmemme nke na-eme ụfọdụ ihe mara mma na ụyọkọ ihe ndị ọzọ adịghị mma? Ihe mbụ, na atụmanya, dị ka ndị edemede si kwuo. 

Enwere ụkpụrụ maka ụdị mmemme izugbe ndị ọzọ na-aghọ ọnọdụ nka na AI, na enwere atụmanya na ịba ụba nke ike ịgbakọ ga-emezi maka mmejọ. 

Izugbe niile nwere ike imeri na AI. Dị ka ndị ode akwụkwọ si rịba ama, na-ehota onye ọkà mmụta AI Richard Sutton, "N'akụkọ ihe mere eme, ụdị ọnyà ndị ka mma n'ịgbakọ mgbakọ na mwepụ na-achọkwa ịgafe ụzọ pụrụ iche akọwapụtara ngalaba n'ikpeazụ."

Dị ka Sutton dere na blọọgụ nke ya, "Ihe mmụta kachasị ukwuu nke enwere ike ịgụ site na afọ 70 nke nyocha AI bụ na usoro n'ozuzu nke na-eme ka mgbakọ na mwepụ bụ nke kachasị dị irè, na site na nnukwu oke."

Tinye n'akwụkwọ akụkọ, Reed na ndị otu na-ede na "anyị ebe a na-anwale echiche ahụ na ịzụ onye ọrụ nke na-enwekarị ike na ọnụ ọgụgụ dị ukwuu nke ọrụ ga-ekwe omume; na na enwere ike imeghari onye ọrụ izugbe a site na iji obere data agbakwunyere iji nwee ihe ịga nke ọma n'ọtụtụ ọrụ ka ukwuu. "

Ọzọkwa: Meta's AI luminary LeCun na-enyocha oke ike mmụta miri emi

Ihe nlereanya, na nke a, bụ, n'ezie, n'ozuzu. Ọ bụ ụdị nke Transformer, ụdị nlebara anya na-ewu ewu nke ghọrọ ntọala nke ọtụtụ mmemme gụnyere GPT-3. Ihe ntụgharị na-egosiputa ihe gbasara puru omume nke ihe ụfọdụ nyere ihe ndị gbara ya gburugburu dịka okwu dị n'ahịrịokwu. 

N'ihe banyere Gato, ndị ọkà mmụta sayensị DeepMind nwere ike iji otu nchọta ihe gbasara ọnọdụ ọnọdụ n'ọtụtụ ụdị data. 

Dị ka Reed na ndị ọrụ ibe na-akọwa ọrụ nke ịzụ Gato, 

N'oge ọzụzụ nke Gato, data sitere na ọrụ dị iche iche na usoro dị iche iche na-edobe n'usoro n'usoro n'usoro nke tokens, batched ma hazie ya site na netwọọkụ akwara ozi nke yiri nnukwu ụdị asụsụ. A na-ekpuchi ọnwụ ahụ ka Gato buru amụma naanị ihe omume na ebumnuche ederede.

Gato, n'ikwu ya n'ụzọ ọzọ, anaghị emeso token dị iche iche ma ọ bụ okwu na mkparịta ụka ma ọ bụ mmegharị mmegharị na mmega ahụ mgbochi. Ọ bụ otu ihe. 

miri-otú-gato-esi-azụ ya.png

Gato ọzụzụ ndapụta.


Reed et al. 2022

E liri ya n'ime Reed na echiche ndị otu bụ nkọwapụta, ya bụ na ọtụtụ ike ịgbakọ ga-emeri, n'ikpeazụ. Ugbu a, Gato nwere oke oge nzaghachi nke ogwe aka robot Sawyer nke na-eme ihe mgbochi. Na 1.18 ijeri netwọk paramita, Gato dị nnọọ nta karịa nnukwu AI ụdị dị ka GPT-3. Ka ụdị mmụta mmụta miri emi na-ebuwanye ibu, ime ntinye aka na-eduga na nkwụsịtụ nke nwere ike ịdaba na ụwa na-adịghị ekpebi nke robot nke ụwa n'ezie. 

Mana, Reed na ndị ọrụ ibe na-atụ anya ka oke ahụ gafere ka ngwaike AI na-enweta ngwa ngwa na nhazi.

"Anyị na-elekwasị anya n'ọzụzụ anyị n'ebe a na-arụ ọrụ nke ihe nlereanya nke na-enye ohere ijikwa oge nke robots ụwa, ugbu a gburugburu 1.2B parameters n'ihe banyere Gato," ka ha dere. "Dịka ngwaike na ihe owuwu ihe nlere anya na-akawanye mma, ebe a na-arụ ọrụ ga-abawanye nha ihe nlereanya a ga-ekwe omume, na-eme ka ụdị ndị izugbe na-ebuli usoro iwu scaling."

N'ihi ya, Gato bụ n'ezie ihe nlereanya maka ka ọnụ ọgụgụ nke ịgbakọ ga-aga n'ihu na-abụ isi vector nke igwe mmụta mmepe, site n'ime ka izugbe ụdị ibu na ibu. Nnukwu ka mma, na okwu ndị ọzọ. 

miri-na-aka-mma-na-ọnụọgụ.png

Gato na-akawanye mma ka nha nke netwọkụ akwara dị na paramita na-abawanye.


Reed et al. 2022

Na ndị dere nwere ụfọdụ ihe àmà maka nke a. Gato dị ka ọ na-akawanye mma ka ọ na-ebuwanye ibu. Ha na-atụnyere nkezi akara n'ofe ọrụ nrịbama niile maka nha atọ nke ụdị dịka parampat si dị, nde 79, nde 364, yana ụdị isi, ijeri 1.18. "Anyị nwere ike ịhụ na maka ọnụ ọgụgụ akara nhata, enwere mmụba dị ịrịba ama na ọnụ ọgụgụ dị elu," ndị odee dere. 

Ajụjụ na-adọrọ mmasị n'ọdịnihu bụ ma mmemme nke bụ onye na-ahụ maka izugbe dị ize ndụ karịa ụdị mmemme AI ndị ọzọ. Ndị na-ede akwụkwọ na-etinye oge dị ukwuu n'akwụkwọ akụkọ ahụ na-atụle eziokwu ahụ bụ na enwere ihe ize ndụ ndị a na-aghọtabeghị nke ọma.  

Echiche nke mmemme nke na-arụ ọtụtụ ọrụ na-egosi onye nkịtị ụdị mgbanwe mmadụ, mana nke ahụ nwere ike ịbụ nghọtahie dị ize ndụ. "Dịka ọmụmaatụ, ọdịdị anụ ahụ nwere ike iduga ndị ọrụ anthropomorphizing onye ọrụ ahụ, na-eduga na ntụkwasị obi na-ezighị ezi n'ihe banyere usoro adịghị arụ ọrụ, ma ọ bụ bụrụ ndị na-eme ihe ọjọọ na-erigbu," Reed na otu dere. 

"Na mgbakwunye, ebe ịnyefe ihe ọmụma gbasara ngalaba na-abụkarị ihe mgbaru ọsọ na nyocha ML, ọ nwere ike ịmepụta nsonaazụ a na-atụghị anya ya na nke a na-achọghị ma ọ bụrụ na ebugharị omume ụfọdụ (dịka egwuregwu egwuregwu egwuregwu) na ọnọdụ na-ezighi ezi."

N'ihi ya, ha na-ede, "Ntụle ụkpụrụ omume na nchekwa nchekwa nke ịnyefe ihe ọmụma nwere ike ịchọ nnukwu nyocha ọhụrụ ka usoro ndị izugbe na-aga n'ihu."

(Dị ka ihe na-adọrọ mmasị n'akụkụ akụkụ, akwụkwọ Gato na-eji atụmatụ iji kọwaa ihe ize ndụ nke onye nchọpụta Google AI mbụ bụ Margaret Michell na ndị ọrụ ibe ya, nke a na-akpọ Model Cards. Kaadị Model na-enye nchịkọta nkenke nke ihe mmemme AI bụ, ihe ọ na-eme, na ihe ọ na-eme. Ihe na-emetụta otú o si arụ ọrụ. Michell dere n'afọ gara aga na achụpụrụ ya na Google maka ịkwado onye ọrụ ibe ya, Timnit Gebru, onye nchegbu ụkpụrụ omume ya banyere AI na-emegide ọchịchị AI nke Google.)

Gato abụghịkwa ihe pụrụ iche n'ịchịkọta ya. Ọ bụ akụkụ nke ihe na-ewu ewu n'ozuzu, na ụdị ndị buru ibu na-eji bọket nke ike inyinya. Ụwa nwetara uto mbụ nke ntugharị Google n'ụzọ a n'oge okpomọkụ gara aga, yana Google's "Perceiver" neural network nke jikọtara ọrụ ntụgharị ederede na onyonyo, ụda, na nhazi oghere LiDAR.

Ọzọkwa: Supermodel nke Google: DeepMind Perceiver bụ nzọụkwụ n'okporo ụzọ igwe AI nke nwere ike hazie ihe ọ bụla na ihe niile.

N'ime ndị ọgbọ ya bụ PaLM, Ụdị Asụsụ Ụzọ Ụzọ, Ndị ọkà mmụta sayensị Google webatara n'afọ a, Ụdị paramita 540-ijeri nke na-eji teknụzụ ọhụrụ maka ịhazi ọtụtụ puku ibe, mara dị ka ụzọ, chepụtara na Google. Netwọk akwara ewepụtara na Jenụwarị site na Meta, nke a na-akpọ "data2vec," na-eji Transformers maka data onyonyo, ụda ụda olu okwu, na nnọchite asụsụ ederede niile n'otu. 

Ihe dị ọhụrụ banyere Gato, ọ ga-adị ka, bụ ebumnuche iji AI na-arụ ọrụ na-abụghị nke roboti ma tinye ya n'ime mpaghara robotics.

Ndị na-emepụta Gato, na-ahụta mmezu nke ụzọ ụzọ, na ụzọ ndị ọzọ na-eme ihe n'ozuzu, na-ahụ mmezu kachasị na AI nke nwere ike ịrụ ọrụ na ụwa n'ezie, na ụdị ọrụ ọ bụla. 

"Ọrụ ga-eme n'ọdịnihu kwesịrị ịtụle otu esi ejikọta ikike ederede ndị a ka ọ bụrụ otu onye nnọchiteanya zuru oke nke nwekwara ike ime ihe ozugbo na ụwa n'ezie, na gburugburu ebe dị iche iche na ụdị dị iche iche." 

Ị nwere ike, mgbe ahụ, tụlee Gato dị ka nzọụkwụ dị mkpa n'ụzọ iji dozie nsogbu AI kachasị sie ike, robotics. 



Source