Ny 'Gato' an'i DeepMind dia mediocre, koa nahoana izy ireo no nanangana azy?

deepmind-gato-slash-image-closer-in.png

Ny tambajotra neural "Gato" an'ny DeepMind dia miavaka amin'ny asa maro ao anatin'izany ny fanaraha-maso ny fitaovam-piadiana robotika izay manangom-baravarana, ny filalaovana lalao Atari 2600, ary ny fametahana sary.


Deepmind

Efa zatra mahita lohatenim-baovao momba ny fandrosoana farany amin'ny endrika fianarana lalina amin'ny faharanitan-tsaina artifisialy izao tontolo izao. Ny zava-bita farany nataon'ny fizarana DeepMind an'ny Google, na izany aza, dia azo fintinina hoe, "Programa AI iray izay manao asa be dia be amin'ny zavatra maro." 

Gato, araka ny iantsoana ny programa DeepMind, naseho tamin'ity herinandro ity amin'ny maha-programa antsoina hoe multimodal, iray izay afaka milalao lalao video, miresaka, manoratra hira, sary misy soratra, ary manara-maso ny sandry robotic stacking blocks. Izy io dia tambajotra neural iray izay afaka miasa miaraka amin'ny karazana angona maro mba hanatanterahana karazana asa maro. 

"Amin'ny alàlan'ny lanja tokana, i Gato dia afaka manao fifanakalozan-kevitra, sary misy soratra, manangom-baravarana miaraka amin'ny sandry robot tena izy, mihoatra noho ny olombelona amin'ny filalaovana lalao Atari, mivezivezy amin'ny tontolo 3D simulate, manaraka ny toromarika, sy ny maro hafa," hoy i Scott Reed, mpanoratra mpitarika. sy ny mpiara-miasa ao amin'ny taratasiny, "Agent jeneraly," navoaka tao amin'ny mpizara mialoha fanontana Arxiv

Ny mpiara-manorina ny DeepMind Demis Hassabis dia nifaly tamin'ny ekipa, nihiaka tao anaty bitsika iray, “Mbola ny masoivoho jeneraly indrindra anay!! Asa mahafinaritra avy amin'ny ekipa! 

koa: Andrana vaovao: Tena mahafantatra saka na alika ve ny AI - sa inona?

Ny hany tratra dia tsy dia mahay loatra i Gato amin'ny asa maro. 

Amin'ny lafiny iray, ny programa dia afaka manao tsara kokoa noho ny programa fianarana milina natokana amin'ny fanaraha-maso ny sandry Sawyer robotika izay mametraka sakana. Amin'ny lafiny iray, dia mamokatra lohateny ho an'ny sary izay matetika dia ratsy. Ny fahaiza-manaony amin'ny fifanakalozan-dresaka mahazatra amin'ny olona mifampiresaka dia mitovy amin'izany, indraindray miteraka teny mifanohitra sy tsy misy dikany. 

Ary ny filalaovany ny lalao video Atari 2600 dia ambany noho ny ankamaroan'ny fandaharana ML natokana indrindra natao hifaninana amin'ny benchmark. Tontolo fianarana Arcade

Nahoana ianao no manao programa izay mahavita zavatra tsara sy zavatra maro tsy dia tsara? Fialohavana, ary andrasana, hoy ny mpanoratra. 

Misy ny ohatra ho an'ny karazana programa amin'ny ankapobeny izay lasa fomban'ny AI, ary misy ny antenaina fa ny fitomboan'ny herin'ny informatika dia amin'ny ho avy dia manonitra ny lesoka. 

Ny ankapobeny dia mety handresy amin'ny AI. Araka ny nomarihin'ny mpanoratra, mitanisa ny manam-pahaizana momba ny AI Richard Sutton, "Raha ny ara-tantara, ny modely jeneraly izay tsara kokoa amin'ny fampiasana kajy dia nirona ihany koa hahatratra ny fomba fiasa manokana manokana amin'ny farany."

Araka ny nosoratan'i Sutton ao amin'ny lahatsorany bilaogy manokana, "Ny lesona lehibe indrindra azo vakiana avy amin'ny fikarohana AI nandritra ny 70 taona dia ny fomba fampiasa amin'ny kajy no mahomby indrindra amin'ny farany, ary amin'ny sisiny lehibe."

Nametraka hevitra tamin'ny fomba ofisialy, i Reed sy ny ekipa dia nanoratra fa "mitsapa ny fiheverana fa azo atao ny manofana mpiasa iray izay mahavita asa marobe; ary ity solontena ankapobeny ity dia azo ampifanarahana amin'ny angon-drakitra fanampiny mba hahombiazana amin'ny asa maro kokoa. "

koa: Meta's AI luminaire LeCun dia mandinika ny sisintanin'ny angovo amin'ny fianarana lalina

Ny modely, amin'ity tranga ity, dia tena ankapobeny. Izy io dia dikan-tenin'ny Transformer, karazana modely mifototra amin'ny saina izay lasa fototry ny programa maro ao anatin'izany ny GPT-3. Ny mpanova dia mamolavola ny mety ho singa sasany omena ireo singa manodidina azy toy ny teny ao anaty fehezanteny. 

Raha ny momba an'i Gato, ny mpahay siansa DeepMind dia afaka mampiasa ny fikarohana mety misy fepetra mitovy amin'ny karazana data maro. 

Araka ny filazan'i Reed sy ny mpiara-miasa aminy ny asa fanofanana an'i Gato, 

Mandritra ny dingan'ny fanofanana an'i Gato, ny angona avy amin'ny asa sy ny fomba fiasa samihafa dia apetraka amin'ny filaharana fisaka amin'ny marika, amboarina ary nokarakarain'ny tambajotra neural transformer mitovy amin'ny maodely fiteny lehibe. Misaron-tava ny fatiantoka ka tsy maminany afa-tsy hetsika sy lasibatra lahatsoratra i Gato.

Gato, raha lazaina amin'ny teny hafa, dia tsy manavaka ny marika na teny amin'ny chat na vectors amin'ny hetsika amin'ny fanazaran-tena amin'ny fanakanana. Mitovy daholo. 

deepmind-how-gato-is-trained.png

Scenario fiofanana Gato.


Reed et al. 2022

Nalevina tao anatin'ny Reed ary ny vinavinan'ny ekipa dia mety hitranga, izany hoe ny hery informatika bebe kokoa no handresy, amin'ny farany. Amin'izao fotoana izao, i Gato dia voafetra amin'ny fotoana famalian'ny sandry robot Sawyer izay manao ny fametrahana sakana. Amin'ny masontsivana tambajotra 1.18 lavitrisa, Gato dia kely lavitra noho ny maodely AI tena lehibe toy ny GPT-3. Rehefa mihamitombo ny maodely fianarana lalina, ny fanatsoahan-kevitra dia mitarika ho amin'ny fahatarana izay mety tsy hahomby ao amin'ny tontolo tsy voafaritra amin'ny robot iray tena izy. 

Saingy, Reed sy ny mpiara-miasa dia manantena fa hihoatra io fetra io satria miha haingana kokoa ny fitaovana AI amin'ny fanodinana.

"Ny fiofananay dia mifantoka amin'ny toerana fiasan'ny maodely izay mamela ny fanaraha-maso amin'ny fotoana tena izy ireo robots tena izy, amin'izao fotoana izao dia manodidina ny 1.2B amin'ny trangan'i Gato," hoy izy ireo nanoratra. "Rehefa mihatsara ny rafitry ny fitaovana sy ny modely, io teboka miasa io dia hampitombo ny haben'ny modely azo atao, hanosika ny modely jeneraly ambony kokoa amin'ny curve lalàna."

Noho izany, i Gato dia tena maodely amin'ny fomba hitohizan'ny fikajiana ho lasa vector lehibe indrindra amin'ny fivoaran'ny fianarana milina, amin'ny fanaovana modely amin'ny ankapobeny ho lehibe kokoa sy lehibe kokoa. Ny lehibe kokoa dia tsara kokoa, amin'ny teny hafa. 

deepmind-gets-better-with-scale.png

Mihatsara kokoa i Gato rehefa mitombo ny haben'ny tambajotra neural amin'ny paramètre.


Reed et al. 2022

Ary manana porofo momba izany ny mpanoratra. Toa mihatsara tokoa i Gato rehefa mihalehibe. Mampitaha ny salan'isa antonony amin'ny asa benchmark rehetra izy ireo amin'ny habe telo amin'ny maodely araka ny masontsivana, 79 tapitrisa, 364 tapitrisa, ary ny maodely lehibe, 1.18 miliara. "Hitantsika fa ho an'ny isa mitovy amin'izany dia misy fanatsarana lehibe amin'ny fampisehoana miaraka amin'ny haavony," hoy ny nosoratan'ny mpanoratra. 

Ny fanontaniana mahaliana amin'ny ho avy dia ny hoe mampidi-doza kokoa noho ny karazana programa AI hafa ny programa iray generalista. Ny mpanoratra dia mandany fotoana betsaka amin'ny gazety miresaka momba ny zava-misy fa misy loza mety hitranga tsy mbola takatra tsara.  

Ny hevitra momba ny programa iray mitantana asa maro dia manoro hevitra ny laika ho karazana fahaiza-mampifanaraka ny olombelona, ​​​​saingy mety ho fiheveran-diso mampidi-doza izany. "Ohatra, ny embodiment ara-batana dia mety hitarika amin'ny mpampiasa anthropomorphizing ilay mpandraharaha, mitarika amin'ny fitokisana diso toerana amin'ny tranganà rafitra tsy miasa, na hohararaotin'ny mpilalao ratsy," hoy i Reed sy ny ekipa. 

"Ankoatra izany, na dia tanjona amin'ny fikarohana ML aza ny famindrana fahalalana amin'ny sehatra iraisam-pirenena, dia mety hiteraka vokatra tsy ampoizina sy tsy ampoizina izany raha toa ka afindra amin'ny toe-javatra diso ny fihetsika sasany (ohatra ny ady amin'ny lalao arcade).

Noho izany, nanoratra izy ireo hoe: "Ny fiheverana etika sy fiarovana amin'ny famindrana fahalalana dia mety mitaky fikarohana vaovao lehibe rehefa mandroso ny rafitra ankapobeny."

(Ho fanamarihan'ny lafiny mahaliana, ny taratasy Gato dia mampiasa tetika hamaritana ny loza novolavolain'ny mpikaroka Google AI teo aloha Margaret Michell sy ny mpiara-miasa aminy, antsoina hoe Model Cards. Model Cards dia manome famintinana fohy momba ny atao hoe programa AI, inona no ataony, ary inona. Misy fiantraikany amin'ny fomba fiasan'izy io. Nanoratra i Michell tamin'ny taon-dasa fa noterena hiala tao amin'ny Google izy noho ny fanohanana ny mpiara-miasa taminy taloha, Timnit Gebru, izay nifandona tamin'ny fitarihan'ny AI an'ny Google ny olana ara-moraly momba ny AI.)

Tsy miavaka mihitsy i Gato amin'ny fironany amin'ny ankapobeny. Izy io dia ampahany amin'ny fironana midadasika amin'ny ankapobeny, ary ireo modely lehibe kokoa izay mampiasa siny misy horsepower. Izao tontolo izao dia nahazo ny tsiro voalohany tamin'ny fitongilan'i Google tamin'io lalana io tamin'ny fahavaratra lasa teo, niaraka tamin'ny tambajotra neural "Perceiver" an'ny Google izay nampifangaro ny asa Transformer lahatsoratra miaraka amin'ny sary, feo ary ny fandrindrana spatial LiDAR.

koa: Supermodel an'ny Google: DeepMind Perceiver dia dingana iray mankany amin'ny milina AI afaka manodina na inona na inona sy ny zava-drehetra.

Anisan'ireo namany ny PaLM, ilay Modely amin'ny fiteny Pathways, nampidirin'ny mpahay siansa Google tamin'ity taona ity, maodely masontsivana 540 lavitrisa izay mampiasa teknolojia vaovao handrindrana chips an'arivony, fantatra amin'ny anarana hoe Pathways, noforonina tao amin'ny Google ihany koa. Ny tambajotra neural navoakan'ny Meta tamin'ny Janoary, antsoina hoe "data2vec," dia mampiasa Transformers ho an'ny angona sary, onjam-peo kabary, ary fanehoana amin'ny teny an-tsoratra ao anaty iray. 

Ny zava-baovao momba an'i Gato, toa, dia ny fikasana haka AI ampiasaina amin'ny asa tsy robotika ary hanosika azy ho any amin'ny tontolon'ny robotika.

Ny mpamorona an'i Gato, manamarika ny zava-bitan'ny Pathways, sy ny fomba fiasa ankapobeny hafa, dia mahita ny zava-bita farany indrindra amin'ny AI izay afaka miasa amin'ny tontolo tena izy, miaraka amin'ny karazana asa rehetra. 

"Ny asa amin'ny ho avy dia tokony handinika ny fomba fampiraisana ireo fahaiza-manoratra ireo ho lasa mpiasan'ny jeneraly iray manontolo izay afaka miasa amin'ny fotoana tena izy amin'ny tontolo tena izy, amin'ny tontolo sy endrika samihafa." 

Azonao atao àry ny mihevitra an'i Gato ho dingana lehibe amin'ny famahana ny olana sarotra indrindra amin'ny AI, robotika. 



Source