Ny 'data2vec' an'ny Meta no dingana manaraka mankany amin'ny One Neural Network mba hifehy azy rehetra

Ny hazakazaka dia eo am-pamorona tambajotra neural iray izay afaka manodina karazana angon-drakitra maro, ny hevitry ny faharanitan-tsaina artifisialy amin'ny ankapobeny izay tsy manavaka ireo karazana data fa kosa afaka mametaka azy rehetra ao anatin'ny rafitra fototra iray ihany.

Ny karazana fomba amam-panao, araka ny iantsoana ireo tambajotra neural ireo, dia mahita hetsika marobe izay ahitana angon-drakitra samihafa, toy ny sary, lahatsoratra ary feo kabary, mandalo amin'ny algorithm iray ihany mba hamokarana isa amin'ny fitsapana samihafa toy ny ny fahafantarana ny sary, ny fahatakarana ny fiteny voajanahary na ny fahafantarana ny kabary.

Ary ireo tambajotra ambidextrous ireo dia manangona isa amin'ny fitsapana mari-pahaizana momba ny AI. Ny zava-bita farany dia ilay antsoina hoe 'data2vec," novolavolain'ny mpikaroka ao amin'ny fizarana AI an'ny Meta, ray aman-drenin'ny Facebook, Instagram ary WhatsApp. 

Ny teboka, araka ny nosoratan'ny mpahay siansa Meta, Alexei Baevski, Wei-Ning Hsu, Qiantong Xu, Arun Babu, Jiatao Gu, ary Michael Auli, dia ny manatona zavatra mitovy amin'ny fahaiza-mianatra ankapobeny izay toa voarakotry ny sain'olombelona.

"Na dia toa mianatra amin'ny fomba mitovy aza ny olona na inona na inona fomba ahazoany vaovao - na mampiasa maso na feo, ohatra," hoy ny mpanoratra nanoratra. ao amin'ny lahatsoratra bilaogy, "Misy fahasamihafana lehibe amin'izao fotoana izao amin'ny fomba" ny tambajotra neural mitantana karazana data isan-karazany toy ny sary, lahateny, lahatsoratra, "sy ny fomba hafa."

"Ny hevi-dehibe amin'ity fomba ity," hoy izy ireo nanambara ny data2vec, "dia ny mianatra amin'ny ankapobeny: ny AI dia tokony ho afaka mianatra manao asa maro samihafa, anisan'izany ireo izay tsy mahazatra."

Ny Tale Jeneralin'ny Meta, Mark Zuckerberg, dia nanolotra teny iray momba ny asa, mamatotra izany amin'ny Metaverse ho avy:

Fandrosoana mampientam-po: Ny fikarohana Meta AI dia nanangana rafitra iray izay mianatra avy amin'ny kabary, fahitana ary lahatsoratra nefa tsy mila angon-drakitra fanofanana misy marika. Ny olona dia miaina izao tontolo izao amin'ny alalan'ny fitambaran'ny fahitana, ny feo ary ny teny, ary ny rafitra tahaka izao dia afaka mahazo izao tontolo izao tahaka ny ataontsika indray andro any. Izany rehetra izany dia hiorina amin'ny solomaso AR miaraka amin'ny mpanampy AI ka, ohatra, afaka manampy anao mahandro sakafo hariva, mahatsikaritra raha tsy mahita akora iray ianao, manosika anao hampihena ny hafanana, na asa sarotra kokoa.

Ny anarana data2vec dia kilalao amin'ny anaran'ny programa ho an'ny fiteny "fampidirana" novolavolaina tao amin'ny Google tamin'ny 2013 antsoina hoe "word2vec." Io fandaharana io dia naminavina ny fomba fivondronan'ny teny, ary noho izany ny word2vec dia solontenan'ny tambajotra neural natao ho an'ny karazana data manokana, amin'izany lahatsoratra izany. 

koa: Sokafy ny varavaran'ny pod bay, azafady, HAL: Meta's AI simulates molotra mamaky teny

Raha ny momba ny data2vec anefa, Baevski sy ny mpiara-miasa dia maka dikan-teny mahazatra amin'ny antsoina hoe Transformer, novolavolain'i Ashish Vaswani sy ny mpiara-miasa. ao amin'ny Google amin'ny 2017 ary manitatra azy io mba hampiasaina amin'ny karazana data maro. 

Ny tambajotra neural Transformer dia novolavolaina voalohany ho an'ny asa amin'ny fiteny, saingy efa nampifanarahana be tamin'ny taona maro izany ho an'ny karazana angona maro. Baevski et al. Asehoy fa ny Transformer dia azo ampiasaina amin'ny fanodinana karazana angon-drakitra tsy misy ovana, ary ny tambajotra neural voaofana izay vokatra dia afaka manatanteraka asa maro samihafa. 

Ao amin'ny taratasy ofisialy, "data2vec: Rafitra ankapobeny ho an'ny fianarana mifehy tena amin'ny teny, fahitana ary fiteny, "Baevski et al., mampiofana ny Transformer ho an'ny angona sary, onjam-peo kabary, ary fanehoana amin'ny fiteny an-tsoratra. 

Data2vec no "algorithm fanaraha-maso tena mahomby voalohany izay miasa amin'ny fomba maro, dia ny kabary, ny fahitana ary ny lahatsoratra," hoy i Baevski sy ny ekipany ao amin'ny lahatsoratra bilaogy.

Ny Transformer ankapobeny dia lasa antsoina hoe fiofanana mialoha izay azo ampiharina amin'ny tambajotra neural manokana mba hanatanterahana asa manokana. Ohatra, ny mpanoratra dia mampiasa data2vec ho fanofanana mialoha mba hampitaovana ilay antsoina hoe "ViT", ny "vision Transformer", tambajotra neural natao manokana ho an'ny asa fahitana izay nampidirina tamin’ny taon-dasa avy amin'i Alexey Dosovitskiy sy ireo mpiara-miasa ao amin'ny Google. 

Rehefa ampiasaina amin'ny ViT hanandrana mamaha ny andrana mahazatra ImageNet momba ny fanekena sary, ny valiny dia tonga eo an-tampon'ny fonosana, miaraka amin'ny fahamarinan'ny 84.1%, tsara kokoa noho ny isa 83.2% azon'ny ekipa iray ao amin'ny Microsoft izay efa niofana mialoha. ViT, tarihin'i Hangbo Bao, tamin'ny taon-dasa.

Ary io data2vec Transformer io ihany koa dia mamoaka vokatra manara-penitra amin'ny fanekena ny kabary ary mifaninana, raha tsy ny tsara indrindra, amin'ny fianarana fiteny voajanahary:

Ny valim-panadinana dia mampiseho fa ny data2vec dia mahomby amin'ny fomba telo rehetra, mametraka toe-javatra vaovao ho an'ny ViT-B sy ViT-L amin'ny ImageNet-1K, manatsara ny asa tsara indrindra teo aloha amin'ny fanodinana kabary momba ny fanekena ny kabary sy ny fampisehoana amin'ny RoBERTa amin'ny mari-pamantarana fahatakarana ny fiteny voajanahary GLUE. 

Ny zava-misy dia izao no mitranga tsy misy fanovana ny tambajotra neural momba ny sary, ary mitovy amin'ny lahateny sy lahatsoratra. Fa kosa, ny karazana fampidirana rehetra dia miditra amin'ny tambajotra iray ihany, ary mamita ny asa tena ankapobeny mitovy. Io asa io dia ilay asa izay ampiasain'ny tambajotra Transformer foana, fantatra amin'ny anarana hoe "faminaniana saron-tava." 

koa: Supermodel an'ny Google: DeepMind Perceiver dia dingana iray mankany amin'ny milina AI afaka manodina na inona na inona sy ny zava-drehetra.

Ny fomba anaovan'ny data2vec ny faminaniana saron-tava, na izany aza, dia fomba iray fantatra amin'ny hoe fianarana "manara-maso". Ao amin'ny toerana manara-maso ny tenany, ny tambajotra neural dia voaofana, na novolavolaina, amin'ny tsy maintsy mandalo dingana maro. 

Voalohany, ny tambajotra dia manangana fanehoana ny mety iraisan'ny fampidirana data, na sary na lahateny na lahatsoratra. Avy eo, ny dikan-teny faharoa amin'ny tambajotra dia manana ny sasany amin'ireo singa angon-drakitra fampidirana "saron-tava", navela tsy nambara. Tsy maintsy amboarina indray ny mety ho fiaraha-miombon'antoka izay naorin'ny tambajotra voalohany, izay manery azy hamorona fanehoana tsara kokoa sy tsara kokoa ny angon-drakitra amin'ny famenoana ny banga. 

Ireo tambajotra roa, ny iray miaraka amin'ny lamina feno amin'ny mety iraisan'ny rehetra, ary ny iray miaraka amin'ny dikan-teny tsy feno izay ezahina ho vita, dia antsoina hoe "Mpampianatra" sy "Mpianatra." Ny tambajotran'ny Mpianatra dia miezaka mamolavola ny fahatsapany ny angon-drakitra, raha sitrakao, amin'ny alàlan'ny fanamboarana indray izay efa azon'ny Mpampianatra.

Ianao dia afaka jereo ny kaody ho an'ny modely ao amin'ny Github.

Ahoana no ataon'ny tambazotra neural Mpampianatra sy Mpianatra amin'ny karazana angona telo samy hafa? Ny fanalahidy dia ny hoe ny "kendrena" amin'ny mety hitranga, amin'ny tranga telo rehetra, dia tsy karazana angon-drakitra manokana, toy ny tranga amin'ny dikan-teny Transformer ho an'ny karazana data manokana, toy ny BERT an'ny Google na ny GPT-3 OpenAI. . 

Raha ny tokony ho izy, data2vec dia maka andian-tambajotra neural vitsivitsy izay ao anatiny ny tambajotra neural, any amin'ny toerana afovoany, izay maneho ny angon-drakitra alohan'ny hamoahana azy ho vokatra farany. 

Araka ny nosoratan'ireo mpanoratra, "Iray amin'ireo fahasamihafana lehibe amin'ny fombantsika [...] ankoatra ny fanaovana faminaniana misaron-tava, dia ny fampiasana tanjona izay mifototra amin'ny salan'isa maromaro avy amin'ny tambajotran'ny mpampianatra." Amin'ny ankapobeny, "averinay ny solon'ny tamba-jotra neural maro fa tsy ny sosona ambony fotsiny", ka "data2vec dia maminavina ny fanehoana miafina amin'ny angona fampidirana."

Nanampy izy ireo hoe: "Ampiasainay amin'ny ankapobeny ny vokatra avy amin'ny FFN [tambajotra feed-forward] alohan'ny fifandraisana sisa tavela amin'ny sakana tsirairay ho tanjona," izay misy ny "block" dia ny Transformer mitovy amin'ny tambajotra neural.

Ny zava-misy dia ny karazana data rehetra miditra dia lasa fanamby mitovy amin'ny tambajotran'ny Mpianatra amin'ny fananganana zavatra ao anatin'ny tambajotra neural izay noforonin'ny Mpampianatra.

Ity salan'isa ity dia tsy mitovy amin'ny fomba fiasa vao haingana hafa amin'ny fananganana Tambajotra iray mba hanorotoro ny angona rehetra. Ohatra, tamin'ny fahavaratra lasa teo, ny tarika DeepMind an'ny Google dia nanolotra ilay antsoiny hoe "Perceiver", ny dikan-teny Transformer azy manokana. Ny fanofanana ny tamba-jotra neural Perceiver no dingana manara-penitra kokoa amin'ny famokarana vokatra izay valin'ny asa voamarika sy voafehy toy ny ImageNet. Amin'ny fomba fanaraha-maso tena, data2vec dia tsy mampiasa ireo etikety ireo, fa miezaka manangana ny fanehoana anatiny an'ny angon-drakitra fotsiny. 

Na dia eo aza ny ezaka fatra-paniry laza, dia eo amin'ny elany. Jeff Dean, lehiben'ny ezaka AI an'ny Google, tamin'ny volana oktobra dia nananihany momba ny "Pathways", izay nambaran'i Dean fa "taranaka manaraka AI architecture” ho an'ny fanodinana angon-drakitra marobe.

Tsarovy fa ny fomba fiasa ankapobeny an'ny data2vec amin'ny harato neural tokana ho an'ny fomba maro samihafa dia mbola manana fampahalalana be dia be momba ireo karazana data samihafa. Ny sary, ny lahateny ary ny lahatsoratra dia voaomana amin'ny alàlan'ny fanodinana mialoha ny angona. Amin'izany fomba izany, ny lafiny maro amin'ny tambajotra dia mbola miantehitra amin'ny fanoroana momba ny angon-drakitra, izay antsoin'ny ekipa ho "encoders enti-mody manokana."

koa: Google dia namoaka ny 'Pathways', AI taranaka manaraka izay azo ampiofanina amin'ny asa maro

"Na dia eo aza ny fitondran'ny fianarana mitambatra, dia mbola mampiasa fitaovana manokana momba ny fomba fiasa sy paikady fanakonana izahay," hoy izy ireo nanazava.

Noho izany, mbola tsy ao anatin'ny tontolo iray izay nampiofanina ny harato neural tsy misy dikany na inona na inona momba ny karazana data fampidirana. Isika koa dia tsy amin'ny fotoana ahafahan'ny tambajotra neural manangana fanehoana iray izay manambatra ireo karazana data isan-karazany, ka ny harato neural dia mianatra zavatra miaraka.

Izany zava-misy izany dia nazava tamin'ny fifanakalozam-bola ZDNet ary ny mpanoratra. ZDNet Nanatona an'i Baevski sy ny ekipany ary nanontany hoe: "Moa ve ireo fanehoana miafina izay lasibatra amin'ny fitambaran'ny fomba telo amin'ny dingana rehetra, sa matetika iray amin'ireo fomba fiasa?"

Baevski sy ny ekipa dia namaly fa ity no tranga farany, ary ny azy reply mahaliana ny mitanisa ny halavany:

Ny varimbazaha latent dia tsy fitambaran-kodia mitambatra ho an'ireo fomba telo. Mampiofana modely misaraka ho an'ny fomba fiasa tsirairay izahay fa mitovy ihany ny dingana ianaran'ireo modely. Ity no zava-baovao lehibe indrindra amin'ny tetikasanay hatramin'ny taloha dia nisy fahasamihafana goavana tamin'ny fomba fanofanana ireo modely amin'ny fomba samihafa. Mino koa ny mpahay siansa fa ny olombelona dia mianatra amin'ny fomba mitovy amin'ny feo sy ny tontolo hita maso. Ny tetikasanay dia mampiseho fa ny fianarana manara-maso dia afaka miasa mitovy amin'ny fomba samihafa.

Raha jerena ny fetran'ny modality manokana an'i data2vec, tambajotra neural izay mety ho marina tokoa Tambajotra iray hifehy azy rehetra mijanona ho teknolojia ho avy.