Meta's 'data2vec' bụ nzọụkwụ ọzọ n'ebe Otu Neural Network ga-achịkọta ha niile

Ọsọ a na-emepe otu netwọkụ akwara ozi nke nwere ike hazie ụdị data dị iche iche, echiche nke ọgụgụ isi zuru oke nke na-anaghị akpa oke maka ụdị data kama kama ọ nwere ike mebie ha niile n'otu nhazi ahụ.

Ụdị nke multi-modality, dị ka a na-akpọ netwọk neural ndị a, na-ahụ mgbanwe nke ọrụ nke data dị iche iche, dị ka oyiyi, ederede, na ụda okwu, na-agafe otu algọridim iji mepụta akara na ule dị iche iche dị ka. njirimara onyonyo, nghọta asụsụ okike ma ọ bụ nchọpụta okwu.

Netwọk ndị a ambidextrous na-ebuli elu na ule benchmark nke AI. Mmezu kachasị ọhụrụ bụ ihe a na-akpọ 'data2vec,' nke ndị nyocha na ngalaba AI nke Meta, nne na nna Facebook, Instagram na WhatsApp mepụtara. 

Isi ihe, dị ka ndị ọkà mmụta sayensị Meta, Alexei Baevski, Wei-Ning Hsu, Qiantong Xu, Arun Babu, Jiatao Gu, na Michael Auli, si dee, bụ ịbịaru nso ihe dịka ikike mmụta n'ozuzu nke uche mmadụ yiri ka ọ gụnyere.

"Ọ bụ ezie na ndị mmadụ yiri ka ha na-amụta n'otu ụzọ ahụ n'agbanyeghị otú ha si enweta ozi - ma ha na-eji anya ma ọ bụ ụda, dịka ọmụmaatụ," ndị edemede dere. na blog post, "enwere nnukwu esemokwu ugbu a n'ụzọ" netwọk akwara na-ejikwa ụdị data dị iche iche dị ka ihe oyiyi, okwu, ederede, "na usoro ndị ọzọ."

"Echiche nke ụzọ a," ka ha na-ekwupụta nke data2vec, "bụ ịmụtakwu n'ozuzu: AI kwesịrị inwe ike ịmụta ịrụ ọtụtụ ọrụ dị iche iche, gụnyere ndị na-amaghị nke ọma."

Onye isi oche Meta, Mark Zuckerberg, nyere nkọwa gbasara ọrụ ahụ, na-ekekọta ya na Metaverse n'ọdịnihu:

Ọganihu na-atọ ụtọ: Nnyocha Meta AI wuru usoro na-amụta site na okwu, ọhụụ na ederede na-enweghị mkpa data ọzụzụ akpọrọ. Ndị mmadụ na-enweta ụwa site na nchikota anya, ụda na okwu, na usoro dị otú a nwere ike otu ụbọchị ghọta ụwa otú anyị si eme. Ihe a niile ga-emecha banye n'ime iko AR na onye enyemaka AI, dịka ọmụmaatụ, ọ nwere ike inyere gị aka esi nri nri abalị, na-achọpụta ma ọ bụrụ na ị na-atụfu ihe, na-akpali gị ịgbanyụ ọkụ, ma ọ bụ ọrụ ndị dị mgbagwoju anya.

Aha data2vec bụ egwuregwu n'aha mmemme maka asụsụ "itinye" emepụtara na Google na 2013 akpọrọ "word2vec." Mmemme ahụ buru amụma ka mkpụrụokwu si agbakọ ọnụ, yabụ word2vec ọ bụ nnọchite anya netwọkụ akwara emere maka otu ụdị data, n'ọnọdụ ahụ ederede. 

Ọzọkwa: Mepee ọnụ ụzọ pod bay, biko, HAL: Meta's AI na-eme ka ọ na-agụ egbugbere ọnụ

N'ihe banyere data2vec, Otú ọ dị, Baevski na ndị ọrụ ibe na-ewere a ọkọlọtọ version nke ihe a na-akpọ Transformer, mepụtara Ashish Vaswani na ndị ọrụ ibe. na Google na 2017 na ịgbatị ya ka a ga-eji maka ọtụtụ ụdị data. 

Emebere netwọk neural nke Transformer maka ọrụ asụsụ, mana emegharịrị ya n'ọtụtụ afọ kemgbe maka ọtụtụ ụdị data. Baevski et al. gosi na enwere ike iji Transformer hazie ọtụtụ ụdị data na-agbanweghị, yana netwọkụ akwara a zụrụ azụ nke na-arụpụta nwere ike ịrụ ọtụtụ ọrụ dị iche iche. 

N'akwụkwọ ozi ahụ, "data2vec: Nhazi zuru oke maka mmụta nke na-elekọta onwe ya na okwu, ọhụụ na asụsụ, "Baevski et al., zụọ Transformer maka data onyonyo, ụda ụda olu okwu, na nnọchite anya asụsụ ederede. 

Data2vec bụ "algọridim nke mbụ na-arụ ọrụ dị elu nke na-arụ ọrụ maka ọtụtụ usoro, ya bụ okwu, ọhụụ, na ederede," dee Baevski na otu na blog post.

Transformer izugbe na-aghọ ihe a na-akpọ tupu ọzụzụ nke enwere ike tinye ya na netwọkụ akwara dị iche iche iji rụọ ọrụ na-arụ ọrụ. Dịka ọmụmaatụ, ndị ode akwụkwọ na-eji data2vec dị ka ọzụzụ tupu oge eruo iji kwado ihe a na-akpọ "ViT," "Vision Transformer," netwọk akwara ahaziri kpọmkwem maka ọrụ ọhụụ. ewebata n'afọ gara aga nke Alexey Dosovitskiy na ndị ọrụ ibe Google. 

Mgbe ejiri ya na ViT iji nwaa idozi ọkọlọtọ ImageNet ule nke njirimara onyonyo, nsonaazụ ha na-abata n'elu mkpọ ahụ, na izi ezi nke 84.1%, karịa akara nke 83.2% nwetara site na otu ndị otu Microsoft zụrụ azụ. ViT, onye ndu Hangbo Bao, afọ gara aga.

Na otu data2vec Transformer na-ewepụta nsonaazụ bụ steeti nka maka njirimara okwu yana asọmpi, ọ bụrụ na ọ bụghị nke kacha mma, maka mmụta asụsụ eke:

Nsonaazụ nnwale na-egosi data2vec ka ọ dị irè na usoro atọ niile, na-edozi ọnọdụ nka ọhụrụ maka ViT-B na ViT-L na ImageNet-1K, na-emeziwanye ọrụ mbụ kachasị mma na nhazi okwu na njirimara okwu na ịrụ ọrụ na RoBERTa. na akara nghota asụsụ GLUE. 

The crux bụ na nke a na-eme na-enweghị ihe ọ bụla mgbanwe nke neural netwọk na-ihe oyiyi, na otu maka okwu na ederede. Kama, ụdị ntinye ọ bụla na-abanye n'otu netwọkụ, ma na-emecha otu ọrụ izugbe. Ọrụ ahụ bụ otu ọrụ nke netwọk Transformer na-eji mgbe niile, nke a maara dị ka "amụma masked." 

Ọzọkwa: Supermodel nke Google: DeepMind Perceiver bụ nzọụkwụ n'okporo ụzọ igwe AI nke nwere ike hazie ihe ọ bụla na ihe niile.

Otu data2vec si eme amụma kpuchiri ekpuchi, agbanyeghị, bụ ụzọ a na-esi mara dị ka mmụta "nlekọta onwe ya". N'ebe a na-ahụ maka onwe ya, a na-azụ ma ọ bụ mepụta netwọk neural site na ịgafe ọtụtụ ọkwa. 

Nke mbụ, netwọk ahụ na-emepụta ihe nnọchianya nke ohere njikọ nke ntinye data, ma ọ bụ ihe oyiyi ma ọ bụ okwu ma ọ bụ ederede. Mgbe ahụ, ụdị netwọkụ nke abụọ nwere ụfọdụ n'ime ihe ndenye data ndị ahụ “kpuchiri ekpuchi,” ka ekpughere ya. Ọ ga-emezigharị ihe puru omume nkwonkwo nke ụdị mbụ nke netwọk ahụ rụrụ, nke na-amanye ya ịmepụta ihe ngosi dị mma na nke ka mma nke data site n'imejupụta oghere ndị ahụ. 

Netwọk abụọ ahụ, nke nwere ụkpụrụ zuru oke nke ihe gbasara puru omume nkwonkwo, na nke nwere ụdị ezughị ezu nke ọ na-agbalị imezu, ka a na-akpọ, nke ọma, "Onye Ozizi" na "Student." Netwọk ụmụ akwụkwọ na-agbalị ịzụlite echiche ya nke data ahụ, ọ bụrụ na ị ga-eme ya, site n'ịrụgharị ihe Onye Ozizi nwetagoro.

Ị nwere ike hụ koodu maka ụdị na Github.

Kedu otu netwọkụ akwara na-arụ Onye nkuzi na nwa akwụkwọ maka ụdị data atọ dị iche iche? Isi ihe bụ na "ebumnuche" nke ihe gbasara nke puru omume nkwonkwo, n'ime data atọ niile, abụghị ụdị data mmepụta ihe, dị ka ọ dị na nsụgharị nke Transformer maka otu ụdị data, dị ka Google's BERT ma ọ bụ OpenAI's GPT-3. . 

Kama, data2vec na-ejide ụfọdụ ụyọkọ netwọkụ neural nke bụ ime netwọkụ akwara ozi, ebe dị n'etiti, nke na-anọchi anya data tupu emepụtara ya niile dị ka mmepụta ikpeazụ. 

Dị ka ndị odee dere, "Otu n'ime isi ọdịiche nke usoro anyị [...] ma ọ bụghị ime amụma mkpuchi, bụ iji ebumnuche ndị dabere na nkezi ọtụtụ ọkwa sitere na netwọkụ nkuzi." Kpọmkwem, "anyị na-emegharị ihe ngosi oyi akwa netwọkụ akwara dị iche iche kama ịbụ naanị oyi akwa dị n'elu," nke mere na "data2vec na-ebu amụma ihe nnọchi anya nke data ntinye."

Ha na-agbakwụnye, "Anyị na-ejikarị mmepụta nke FFN [netwọọdụ ntinye aka na-aga n'ihu] tupu njikọ ikpeazụ na ngọngọ ọ bụla dị ka ihe mgbaru ọsọ," ebe "mgbochi" bụ Transformer kwekọrọ na oyi akwa netwọk neural.

Isi ihe bụ na ụdị data ọ bụla na-abanye na-aghọ otu ihe ịma aka maka netwọkụ ụmụ akwụkwọ nke imegharị ihe dị n'ime netwọkụ akwara ozi nke Onye nkuzi mebere.

Nkezi nke a dị iche na ụzọ ndị ọzọ na-adịbeghị anya iji wuo Otu Netwọk Ka Crunch All Data. Ọmụmaatụ, n'oge okpomọkụ gara aga, Google's DeepMind unit nyere ihe ọ kpọrọ "Perceiver," nke ya multi-modal ụdị nke Transformer. Ọzụzụ nke netwọkụ akwara nke Perceiver bụ usoro kachasị mma nke imepụta mmepụta nke bụ azịza maka ọrụ akpọrọ, nke a na-ahụ maka ya dị ka ImageNet. N'usoro a na-ahụ maka onwe ya, data2vec anaghị eji akara ndị ahụ, ọ bụ naanị na-agbalị imegharị ihe nnochite anya netwọkụ dị n'ime data ahụ. 

Mgbalị ndị ọzọ nwere oké ọchịchọ dị na nku. Jeff Dean, onye isi mbọ AI nke Google, na Ọktọba kparịrị maka "ụzọ," ihe Dean na-ekwu bụ "ọgbọ ọzọ AI architecture" maka nhazi data multimodal.

Buru n'uche, ụzọ data2vec siri dị n'ozuzu maka otu neural net maka ọtụtụ usoro ka nwere ọtụtụ ozi gbasara ụdị data dị iche iche. A na-akwado onyonyo, okwu na ederede site na nhazi data ahụ tupu ha emee ya. N'ụzọ dị otú ahụ, akụkụ multi-modal nke netwọk ahụ ka na-adabere na nkọwa gbasara data ahụ, ihe ndị otu ahụ na-ezo aka dị ka "obere ntinye ntinye kpọmkwem ụdịdị."

Ọzọkwa: Google ekpughere 'Pathways', AI na-esote-gen nke enwere ike ịzụ ya ka ọ rụọ ọrụ ọtụtụ

"N'agbanyeghị usoro mmụta dị n'otu, anyị ka na-eji ihe ndị na-ewepụta njiri mara ụdịdị na usoro nkpuchi," ka ha kọwara.

N'ihi ya, anyị abịabeghị n'ụwa ebe a zụrụ ụgbụ akwara na-enweghị uche ọ bụla nke ụdị data ntinye. Anyị anọghịkwa n'oge mgbe netwọk akwara nwere ike ịmepụta otu ihe nnọchianya nke na-ejikọta ụdị data dị iche iche, nke mere na neural netwọk na-amụta ihe na ngwakọta.

E mere ka eziokwu ahụ pụta ìhè site na mgbanwe n'etiti ZDNet na ndị edemede. ZDNet ruru Baevski na otu egwuregwu wee jụọ, "Nnọchite anya latent ndị na-eje ozi dị ka ebumnuche bụ ngwakọta nke usoro atọ niile n'oge ọ bụla e nyere ya, ka ọ bụ na-abụkarị otu n'ime usoro ahụ?"

Baevski na ndị otu na-aza na ọ bụ ikpe ikpeazụ, na ha reply na-adọrọ mmasị ikwu n'ogologo:

Ngbanwe ndị ahụ ezoro ezo abụghị ihe ejikọtara ọnụ maka usoro atọ ahụ. Anyị na-azụ ụdị dị iche iche maka ụdịdị ọ bụla mana usoro nke ụdị mmụta si amụta bụ otu. Nke a bụ isi ihe ọhụrụ nke ọrụ anyị ebe ọ bụ na tupu enwere nnukwu ọdịiche dị na otú e si azụ ụdị n'ụdị dị iche iche. Ndị ọkà mmụta akwara ozi kwenyere na ụmụ mmadụ na-amụta n'ụzọ yiri nke ahụ banyere ụda na ụwa a na-ahụ anya. Ọrụ anyị na-egosi na mmụta nke onwe ya nwekwara ike ịrụ ọrụ n'otu ụzọ ahụ maka usoro dị iche iche.

Nyere oke data2vec's modeality-kpọmkwem, netwọk akwara nwere ike ịbụ n'ezie Otu netwọk iji chịkwaa ha niile na-anọgide na nkà na ụzụ nke ga-eme n'ọdịnihu.