DeepMind's 'Gato' yog qhov nruab nrab, yog li vim li cas lawv thiaj tsim nws?

Lub ntiaj teb no tau siv los pom cov xov xwm hais txog qhov tseeb ntawm kev ua tiav los ntawm cov ntaub ntawv kawm tob ntawm kev txawj ntse. Qhov kev ua tiav tshiab kawg ntawm DeepMind faib ntawm Google, txawm li cas los xij, tej zaum yuav raug sau tseg raws li, "Ib qho kev pab cuam AI uas ua haujlwm tau zoo ntawm ntau yam." 

Gato, raws li DeepMind txoj haujlwm hu ua, tau nthuav tawm lub lim tiam no raws li lub npe hu ua multimodal program, ib qho uas tuaj yeem ua si video games, sib tham, sau cov ntawv sau, cov duab kos npe, thiab tswj cov caj npab robotic stacking blocks. Nws yog ib lub network neural uas tuaj yeem ua haujlwm nrog ntau hom ntaub ntawv los ua ntau yam haujlwm. 

"Nrog rau ib txheej ntawm qhov hnyav, Gato tuaj yeem koom nrog kev sib tham, cov duab kos npe, pawg thaiv nrog lub caj npab tiag tiag, ua haujlwm zoo rau tib neeg ntawm kev ua si Atari, taug kev hauv simulated 3D ib puag ncig, ua raws li cov lus qhia, thiab ntau dua," sau tus thawj coj Scott Reed thiab cov npoj yaig hauv lawv daim ntawv, "A Generalist Agent," muab tso rau ntawm Arxiv preprint server. 

DeepMind co-founder Demis Hassabis zoo siab rau pab pawg, exclaiming hauv tweet, "Peb tus neeg sawv cev tshaj plaws tsis tau !! Ua haujlwm zoo los ntawm pab pawg! ” 

Tsis tas li ntawd: Kev sim tshiab: Puas yog AI puas paub miv lossis dev - lossis dab tsi?

Qhov tsuas yog ntes tau yog tias Gato yeej tsis zoo rau ntau yam haujlwm. 

Ntawm qhov tod tes, qhov kev zov me nyuam muaj peev xwm ua tau zoo dua li qhov kev kawm siv tshuab ua haujlwm ntawm kev tswj hwm tus neeg hlau Sawyer caj npab uas sib tsoo blocks. Ntawm qhov tod tes, nws tsim cov ntawv sau rau cov duab uas feem ntau tsis zoo. Nws lub peev xwm ntawm tus qauv kev sib tham nrog tus neeg sib tham sib tham zoo ib yam li nruab nrab, qee zaum eliciting contradictory thiab nonsensical utterances. 

Thiab nws qhov kev ua si ntawm Atari 2600 video games poob qis dua ntawm cov kev pabcuam ML feem ntau tsim los sib tw hauv qhov ntsuas. Arcade Learning Ib puag ncig. 

Vim li cas koj yuav ua ib qho kev pab cuam uas ua tau qee yam khoom zoo nkauj thiab ib pawg ntawm lwm yam tsis zoo? Ua ntej, thiab kev cia siab, raws li cov kws sau ntawv. 

Muaj qhov ua ntej rau ntau hom kev pab cuam dhau los ua lub xeev ntawm kev kos duab hauv AI, thiab muaj kev cia siab tias kev nce nqi ntawm kev suav lub zog yuav ua rau muaj qhov tsis txaus. 

Generality tuaj yeem ua rau muaj yeej hauv AI. Raws li cov kws sau ntawv sau tseg, hais txog AI tus kws tshawb fawb Richard Sutton, "Keeb kwm, cov qauv dav dav uas zoo dua ntawm kev siv cov lej suav kuj tseem muaj peev xwm dhau mus dhau qhov tshwj xeeb tshaj tawm tshwj xeeb tshaj plaws thaum kawg."

Raws li Sutton sau nyob rau hauv nws tus kheej blog ncej, "Cov lus qhia loj tshaj plaws uas tuaj yeem nyeem tau los ntawm 70 xyoo ntawm kev tshawb fawb AI yog cov txheej txheem dav dav uas siv cov lej suav thaum kawg ua tau zoo tshaj plaws, thiab los ntawm cov npoo loj."

Muab tso rau hauv ib txoj kev tshawb fawb, Reed thiab pab neeg sau tias "peb ntawm no sim qhov kev xav tias kev cob qhia tus neeg sawv cev uas feem ntau muaj peev xwm ua tau ntau txoj haujlwm; thiab tus neeg saib xyuas dav dav no tuaj yeem hloov kho nrog cov ntaub ntawv ntxiv me ntsis kom ua tiav ntawm cov haujlwm ntau dua. "

Tsis tas li ntawd: Meta's AI luminary LeCun tshawb nrhiav kev kawm tob txog lub zog pem hauv ntej

Tus qauv, nyob rau hauv cov ntaub ntawv no, yog, tseeb, heev general. Nws yog ib qho version ntawm Transformer, qhov tseem ceeb ntawm cov qauv kev saib xyuas uas tau dhau los ua lub hauv paus ntawm ntau cov kev pab cuam suav nrog GPT-3. Lub transformer qauv qhov tshwm sim ntawm qee lub ntsiab lus muab cov ntsiab lus uas nyob ib puag ncig nws xws li cov lus hauv kab lus. 

Nyob rau hauv cov ntaub ntawv ntawm Gato, cov kws tshawb fawb DeepMind muaj peev xwm siv tib lub sijhawm tshawb nrhiav ntawm ntau hom ntaub ntawv. 

Raws li Reed thiab cov npoj yaig piav txog txoj haujlwm ntawm kev cob qhia Gato, 

Thaum lub sijhawm kev cob qhia ntawm Gato, cov ntaub ntawv los ntawm cov dej num sib txawv thiab cov kev hloov pauv tau muab tso rau hauv ib qho kev sib luag ntawm cov tokens, batched, thiab ua tiav los ntawm transformer neural network zoo ib yam li cov qauv lus loj. Qhov poob yog npog kom Gato tsuas yog kwv yees qhov kev txiav txim thiab cov ntsiab lus ntawv.

Gato, nyob rau hauv lwm yam lus, tsis kho tokens txawv txawm hais tias lawv yog cov lus nyob rau hauv kev sib tham los yog txav vectors nyob rau hauv ib tug thaiv-stacking ce. Nws zoo ib yam. 

Muab faus rau hauv Reed thiab pab pawg neeg qhov kev xav yog kev sib koom ua ke, uas yog tias ntau thiab ntau lub tshuab xam zauv yuav yeej, thaum kawg. Tam sim no, Gato raug txwv los ntawm lub sij hawm teb ntawm Sawyer neeg hlau caj npab uas ua lub block stacking. Ntawm 1.18 billion qhov tsis sib xws, Gato yog qhov loj me dua li cov qauv AI loj heev xws li GPT-3. Raws li cov qauv kev kawm sib sib zog nqus tau loj dua, kev ua tau zoo ua rau kev latency uas tuaj yeem ua tsis tiav hauv lub ntiaj teb tsis muaj kev txiav txim siab ntawm lub ntiaj teb neeg hlau tiag. 

Tab sis, Reed thiab cov npoj yaig cia siab tias qhov kev txwv yuav dhau mus vim AI kho vajtse tau nrawm dua ntawm kev ua haujlwm.

"Peb tsom peb qhov kev cob qhia ntawm qhov chaw ua haujlwm ntawm cov qauv ntsuas uas tso cai rau kev tswj hwm lub sijhawm ntawm lub ntiaj teb neeg hlau tiag tiag, tam sim no nyob ib puag ncig 1.2B qhov ntsuas ntawm Gato," lawv sau. "Raws li cov khoom siv kho vajtse thiab cov qauv tsim kho kom zoo dua qub, qhov kev ua haujlwm no yuav ua rau tus qauv ua tau raws li qhov loj me, thawb cov qauv dav dav kom siab dua qhov kev ntsuas txoj cai nkhaus."

Li no, Gato yog tus qauv tiag tiag rau qhov ntsuas ntawm kev suav yuav txuas ntxiv mus yog lub ntsiab lus ntawm kev kawm tshuab, los ntawm kev ua cov qauv dav dav thiab loj dua. Loj dua yog zoo dua, nyob rau hauv lwm yam lus. 

Thiab cov neeg sau ntawv muaj qee qhov pov thawj rau qhov no. Gato zoo li tau zoo dua thaum nws loj dua. Lawv sib piv cov qhab nia nruab nrab thoob plaws txhua qhov kev ua haujlwm rau kev ua haujlwm rau peb qhov ntau thiab tsawg ntawm cov qauv raws li qhov tsis muaj, 79 lab, 364 lab, thiab tus qauv tseem ceeb, 1.18 billion. "Peb tuaj yeem pom tias rau qhov sib npaug token suav, muaj kev txhim kho tseem ceeb nrog kev nce qib," cov kws sau ntawv sau. 

Cov lus nug yav tom ntej nthuav yog seb qhov kev zov me nyuam uas yog tus kws tshaj lij puas txaus ntshai dua li lwm hom AI program. Cov kws sau ntawv siv ntau lub sijhawm nyob rau hauv daim ntawv sib tham txog qhov tseeb tias muaj peev xwm txaus ntshai tseem tsis tau nkag siab zoo.  

Lub tswv yim ntawm ib qho kev pab cuam uas ua haujlwm ntau txoj haujlwm qhia rau tus neeg ua haujlwm ib hom kev hloov pauv ntawm tib neeg, tab sis qhov ntawd yuav yog qhov tsis txaus ntseeg txaus ntshai. "Piv txwv li, lub cev embodiment tuaj yeem ua rau cov neeg siv anthropomorphizing tus neeg sawv cev, ua rau tsis muaj kev ntseeg siab nyob rau hauv rooj plaub ntawm kev ua haujlwm tsis zoo, lossis raug siv los ntawm cov neeg ua phem phem," Reed thiab pab neeg sau. 

"Tsis tas li ntawd, thaum kev hloov pauv kev paub hla hla feem ntau yog lub hom phiaj hauv ML kev tshawb fawb, nws tuaj yeem tsim cov txiaj ntsig tsis xav tau thiab tsis xav tau yog tias qee tus cwj pwm (xws li kev sib ntaus sib tua arcade) raug xa mus rau cov ntsiab lus tsis raug."

Yog li ntawd, lawv sau hais tias, "Kev coj ncaj ncees thiab kev nyab xeeb kev txiav txim siab ntawm kev hloov pauv kev paub yuav xav tau kev tshawb fawb tshiab ntau npaum li cov txheej txheem dav dav ua ntej."

(Raws li ib qho kev nthuav dav, daim ntawv Gato ntiav cov tswv yim los piav qhia txog kev pheej hmoo tsim los ntawm yav dhau los Google AI tus kws tshawb fawb Margaret Michell thiab cov npoj yaig, hu ua Model Cards. Model Cards muab cov ntsiab lus luv luv ntawm qhov program AI yog dab tsi, nws ua dab tsi, thiab dab tsi. Michell tau sau xyoo tas los tias nws raug yuam tawm ntawm Google rau kev txhawb nqa nws tus qub npoj yaig, Timnit Gebru, uas nws qhov kev txhawj xeeb txog kev coj ncaj ncees ntawm AI tau ua rau Google txoj kev coj noj coj ua AI.)

Gato tsis yog qhov tshwj xeeb hauv nws txoj kev nyiam dav dav. Nws yog ib feem ntawm txoj kev dav dav rau kev nthuav dav, thiab cov qauv loj dua uas siv cov thoob ntawm cov horsepower. Lub ntiaj teb tau txais thawj saj ntawm Google qhov qaij nyob rau hauv qhov kev taw qhia lub caij ntuj sov dhau los, nrog Google "Perceiver" neural network uas ua ke cov ntawv Transformer ua haujlwm nrog cov duab, suab, thiab LiDAR spatial coordinates.

Tsis tas li ntawd: Google's Supermodel: DeepMind Perceiver yog ib kauj ruam ntawm txoj kev mus rau lub tshuab AI uas tuaj yeem ua txhua yam thiab txhua yam

Ntawm nws cov phooj ywg yog PaLM, Pathways Language Model, qhia xyoo no los ntawm Google cov kws tshawb fawb, tus qauv 540-billion parameter uas ua rau siv cov thev naus laus zis tshiab rau kev sib koom ua ke ntau txhiab chips, lub npe hu ua Pathways, kuj invented ntawm Google. Ib lub network neural tso tawm thaum Lub Ib Hlis los ntawm Meta, hu ua "data2vec," siv Transformers rau cov ntaub ntawv duab, hais lus suab waveforms, thiab cov lus sawv cev rau txhua tus hauv ib qho. 

Dab tsi tshiab ntawm Gato, nws yuav zoo li, yog lub hom phiaj coj AI siv rau cov haujlwm uas tsis yog neeg hlau thiab thawb nws mus rau hauv lub ntiaj teb neeg hlau.

Gato cov neeg tsim, ceeb toom txog qhov ua tiav ntawm Pathways, thiab lwm yam kev qhia dav dav, pom qhov ua tiav qhov kawg hauv AI uas tuaj yeem ua haujlwm hauv lub ntiaj teb tiag tiag, nrog rau txhua yam haujlwm. 

"Kev ua haujlwm yav tom ntej yuav tsum xav txog yuav ua li cas los koom ua ke cov peev txheej ntawm cov ntawv no rau hauv ib tus neeg sawv cev zoo tshaj plaws uas tuaj yeem ua raws li lub sijhawm tiag tiag hauv ntiaj teb tiag, hauv ntau qhov chaw thiab embodiments." 

Koj tuaj yeem xav txog Gato yog ib kauj ruam tseem ceeb ntawm txoj hauv kev los daws AI qhov teeb meem nyuaj tshaj plaws, neeg hlau.