'Gato' ya DeepMind navîn e, lewra çima wan ew ava kir?

deepmind-gato-slash-image-closer-in.png

Tora neuralî ya DeepMind "Gato" di gelek peywiran de di nav wan de kontrolkirina çekên robotîkî yên ku blokan li hev dikin, lîstina lîstikên Atari 2600, û sernavkirina wêneyan jî di nav de ye.


Deepmind

Cîhan ji dîtina sernivîsên di derbarê pêşkeftina herî dawî de ji hêla formên fêrbûna kûr a îstîxbarata sûnî ve tê bikar anîn. Lêbelê, destkeftiya herî dawî ya beşa DeepMind ya Google-ê, dibe ku bi kurtî wekî, "Yek bernameyek AI-ê ku di gelek tiştan de karekî wusa dike." 

Gato, wekî bernameya DeepMind tê gotin, vê hefteyê hat eşkerekirin wekî bernameyek bi navê multimodal, ya ku dikare lîstikên vîdyoyê bilîze, sohbet bike, kompozîsyonan binivîsîne, wêneyan binivîsîne, û blokên lihevkirina milê robotîk kontrol bike. Ew yek tora neuralî ye ku dikare bi gelek celeb daneyan re bixebite da ku gelek celeb karan pêk bîne. 

Nivîskarê sereke Scott Reed dinivîse: "Bi yek komek giranan, Gato dikare diyalogê bike, wêneyan binivîsîne, blokan bi milek robotek rastîn ve girêbide, di lîstina lîstikên Atari de ji mirovan derbikeve, li hawîrdorên 3D yên simulasyonel bigere, rêwerzan bişopîne, û hêj bêtir." û hevkarên xwe di kaxeza xwe de, "Agentek Giştî," li ser servera pêşdîtinê ya Arxiv hatî şandin

Hev-avakarê DeepMind Demis Hassabis tîmê şa kir, di tweetekê de qîrîn, “Ajanê me yê herî giştî !! Xebatek fantastîk ji tîmê! ” 

Jî: Ezmûnek nû: Ma AI bi rastî pisîk an kûçikan dizane - an tiştek?

Tenê girtin ev e ku Gato bi rastî di gelek karan de ne ew qas mezin e. 

Ji aliyek ve, bername ji bernameyek fêrbûna makîneyê ya diyarkirî çêtir e ku di kontrolkirina milek Sawyer-a robotîkî ya ku blokan dadigire de çêtir bike. Ji hêla din ve, ew sernavên wêneyên ku di pir rewşan de pir xizan in çêdike. Qabiliyeta wê ya di diyaloga sohbetê ya standard bi hevpeyivînek mirovî re bi heman rengî navîn e, carinan gotinên nakok û bêwate derdixe holê. 

Û lîstina wê ya lîstikên vîdyoyê yên Atari 2600 di binê ya pir bernameyên ML-yê yên taybetî yên ku ji bo pêşbaziyê di pîvanê de hatine çêkirin dikeve binê Jîngeha Fêrbûna Arcade

Çima hûn ê bernameyek çêbikin ku hin tiştan pir baş dike û komek tiştên din ne ewqas baş dike? Pêşewa, û bendewarî, li gorî nivîskaran. 

Pêşniyarek heye ku cûreyên gelemperî yên bernameyên ku di AI-ê de rewşa hunerî bibin, û bendewariyek heye ku zêdebûna mîqdarên hêza hesabkirinê dê di pêşerojê de kêmasiyan çêbike. 

Giştî dikare di AI-ê de serfiraz bibe. Wekî ku nivîskar destnîşan dikin, ji zanyarê AI Richard Sutton re dibêjin, "Ji hêla dîrokî ve, modelên gelemperî yên ku di karanîna hesabkirinê de çêtir in, di heman demê de meyla xwe didin ku di dawiyê de nêzîkatiyên taybetî yên domenê yên pisportir derbas bikin."

Wekî ku Sutton nivîsand di posta xwe ya blogê de"Dersa herî mezin a ku ji lêkolîna 70-salî ya AI-yê dikare were xwendin ev e ku rêbazên gelemperî yên ku hesabkirinê bi kar tînin di dawiyê de herî bi bandor in, û bi rêjeyek mezin."

Di tezek fermî de, Reed û tîmê dinivîsin ku "em li vir hîpoteza ceribandinê dikin ku perwerdekirina karmendek ku bi gelemperî di hejmareke mezin a karan de karibe gengaz e; û ku ev kargêrê giştî dikare bi daneyên piçûktir ve were adapte kirin da ku di hejmareke mezintir karan de biserkeve.

Jî: Ronahiya AI-ê ya Meta LeCun sînorê enerjiyê ya fêrbûna kûr vedikole

Model, di vê rewşê de, bi rastî, pir gelemperî ye. Ew guhertoyek Transformer-ê ye, celebek serdest a modela baldarî-based ku bûye bingeha gelek bernameyan tevî GPT-3. Transformer îhtîmala hin hêmanan ji ber hêmanên ku dora wê digire, mîna peyvên di hevokê de, model dike. 

Di doza Gato de, zanyarên DeepMind dikarin heman lêgerîna îhtîmala şertî li ser gelek celeb daneyan bikar bînin. 

Wekî ku Reed û hevalên wî peywira perwerdekirina Gato vedibêjin, 

Di qonaxa perwerdehiyê ya Gato de, daneyên ji kar û modalîteyên cihêreng di rêzek nîgaran de têne rêz kirin, têne berhev kirin, û ji hêla tora neuralî ya veguherîner ve mîna modelek zimanek mezin têne hilberandin. Windabûn tê mask kirin ku Gato tenê tevger û mebestên nivîsê pêşbînî dike.

Gato, bi gotineke din, nîşanan ji hev cûda nagire gelo ew peyvên di sohbetê de ne an vektorên tevgerê yên di temrînek blokê de ne. Hemî yek e. 

deepmind-how-gato-is-trained.png

senaryoya perwerdeya Gato.


Reed et al. 2022

Di nav Reed û hîpoteza tîmê de veşartiyek encamek e, ango ku dê di dawiyê de bêtir û bêtir hêza hesabkirinê bi ser bikeve. Rast e, Gato ji hêla dema bersivê ya milê robotê Sawyer-ê ve ku blokê lihevhatinê dike sînorkirî ye. Di 1.18 mîlyar parametreyên torê de, Gato ji modelên AI-ê yên pir mezin ên wekî GPT-3 pir piçûktir e. Her ku modelên fêrbûna kûr mezintir dibin, encamdana encam dibe sedema derengiya ku dikare di cîhana ne-determînîst a robotek cîhana rastîn de têk bibe. 

Lê, Reed û hevkarên xwe li bendê ne ku ew sînor were derbas kirin ji ber ku hardware AI di pêvajoyê de zûtir dibe.

"Em perwerdehiya xwe li ser xala xebitandinê ya pîvana modelê disekinin ku destûrê dide kontrolkirina rast a robotên cîhana rastîn, niha li dora 1.2B parametreyên di doza Gato de," wan nivîsand. "Her ku mîmariya hardware û modelê çêtir dibin, ev xala xebitandinê dê bi xwezayî mezinahiya modela pêkan zêde bike, modelên gelemperî berbi qaça qanûna pîvandinê bilindtir bike."

Ji ber vê yekê, Gato bi rastî modelek e ku meriv çawa pîvana hesabkirinê dê bibe vektora sereke ya pêşkeftina fêrbûna makîneyê, bi çêkirina modelên gelemperî mezintir û mezintir. Bi gotineke din mezintir çêtir e. 

deepmind-gets-better-with-scale.png

Gava ku mezinahiya tora neuralî di parametreyan de zêde dibe Gato çêtir dibe.


Reed et al. 2022

Û nivîskar ji bo vê yekê hin delîl hene. Gato her ku mezin dibe baştir dibe. Ew ji bo sê pîvanên modelê li gorî pîvanan, 79 mîlyon, 364 mîlyon, û modela sereke, 1.18 mîlyar, pîvanên navînî di hemî peywirên pîvanê de berhev dikin. Nivîskar dinivîsin: "Em dikarin bibînin ku ji bo jimareyek nîşanek wekhev, bi pîvanek zêde re çêtirbûnek performansê ya girîng heye." 

Pirsgirêka pêşerojê ya balkêş ev e ku gelo bernameyek ku gelemperî ye ji celebên din ên bernameyên AI-ê xeternaktir e. Nivîskar di kaxezê de komek dem derbas dikin û li ser vê yekê nîqaş dikin ku xetereyên potansiyel hene ku hîn baş nehatine fêm kirin.  

Fikra bernameyek ku gelek peywiran pêk tîne ji mirovê laş re celebek adaptasyona mirovî pêşniyar dike, lê dibe ku ew têgihîştinek xeternak be. Reed û tîm dinivîsin: "Mînakî, vegirtina laşî dikare bibe sedema ku bikarhêneran ajanê antropomorfîze bikin, di doza pergalek xerabûyî de bibe sedema pêbaweriya xelet, an jî ji hêla aktorên xirab ve were bikar anîn." 

"Digel vê yekê, dema ku veguheztina zanîna xaç-domanê di lêkolîna ML de pir caran armancek e, heke hin behreyên (mînak şerê lîstika arcade) li çarçoveyek xelet werin veguheztin, ew dikare encamên nediyar û nexwestî biafirîne."

Ji ber vê yekê, ew dinivîsin, "Ethîk û ramanên ewlehiyê yên veguheztina zanînê dibe ku lêkolînek nû ya girîng hewce bike ku pergalên gelemperî pêşve diçin."

(Wek têbîniyek alîyek balkêş, kaxizek Gato nexşeyek bikar tîne da ku xetereya ku ji hêla lêkolînerê berê yê Google AI Margaret Michell û hevkarên wî ve hatî çêkirin, bi navê Kartên Modelê hatî çêkirin, bi kar tîne. Kartên Model kurteyek kurt a bernameyek AI-yê çi ye, çi dike û çi ye. faktor bandorê li karkirina wê dikin. Michell sala borî nivîsand ku ew ji Google hate derxistin ji ber ku piştgirî da hevkarê xwe yê berê, Timnit Gebru, ku fikarên wî yên exlaqî yên li ser AI-ê li dijî serokatiya AI-ya Google-ê derketin.)

Gato di meyla xwe ya giştîkirinê de bi tu awayî yekta nîne. Ew beşek ji meyla berfireh a giştîkirinê ye, û modelên mezin ên ku kepçeyên hêza hespê bikar tînin. Cîhanê havîna borî tama yekem a guheztina Google ya di vî alî de girt, bi tora neuralî ya Google "Perceiver" ku peywirên Transformer-ê yên nivîsê bi wêne, deng û koordînatên mekanî yên LiDAR-ê re li hev kir.

Jî: Supermodelê Google: DeepMind Perceiver gavek e li ser riya makîneyek AI-ê ku dikare her tiştî û her tiştî pêvajoyê bike.

Di nav hevalên wê de PaLM, Modela Zimanê Pathways, îsal ji hêla zanyarên Google ve hatî destnîşan kirin, modelek 540 mîlyar parametre ku teknolojiyek nû ji bo hevrêzkirina bi hezaran çîp bikar tîne, wekî Pathways tê zanîn, di heman demê de li Google-ê jî hatî çêkirin. Tora neuralî ya ku di meha Çile de ji hêla Meta ve hatî berdan, bi navê "data2vec", Transformers ji bo daneyên wêneyê, formên pêlên dengî yên axaftinê, û temsîlkirina zimanê nivîsê hemî di yek de bikar tîne. 

Tiştê ku di derbarê Gato de nû ye, wusa dixuye, mebest ew e ku AI-ya ku ji bo karên ne-robotîk tê bikar anîn bigire û wê bixe nav qada robotîkê.

Afirînerên Gato, balê dikişînin ser destkeftiyên Pathways, û nêzîkatiyên din ên gelemperî, di AI-ê de destkeftiya herî dawî dibînin ku dikare di cîhana rastîn de, bi her cûre peywiran re bixebite. 

"Pêdivî ye ku xebata pêşerojê bifikire ka meriv çawa van kapasîteyên nivîsê di nav yek kargêrek bi tevahî gelemperî de yek dike ku dikare di cîhana rastîn de, di hawîrdor û beşên cihêreng de jî di demek rast de tevbigere." 

Wê hingê hûn dikarin Gato wekî gavek girîng li ser riya çareserkirina pirsgirêka herî dijwar a AI-ê, robotîkê, bihesibînin. 



Kanî