Keep Calm and Stay Smart
04:29
Meta's AI guru LeCun: Ọtụtụ n'ime ụzọ AI nke taa agaghị eduga n'ezi ọgụgụ isi
"Echere m na sistemụ AI kwesịrị inwe ike ịtụgharị uche," ka Yann LeCun, onye isi sayensị AI nke Meta na-ekwu. Ụzọ AI na-ewu ewu taa dị ka Transformers, ọtụtụ n'ime ha na-ewuli elu n'ọrụ ọsụ ụzọ ya n'ọhịa, agaghị ezu. "Ị ga-eweghachi azụ wee sị, Ọ dị mma, anyị rụrụ ubube a, mana anyị chọrọ ịga ọnwa, ọ nweghịkwa ụzọ steepụ a ga-esi ruo anyị ebe ahụ," ka LeCun na-ekwu.
Yan LeCun, onye isi sayensị sayensị AI Meta Properties, onye nwe Facebook, Instagram na WhatsApp, nwere ike ị nweta ọtụtụ mmadụ n'ọhịa ya.
Na ikesa na June nke a echiche ibe na ihe nkesa Mepee Nyochaa, LeCun nyere nkọwa sara mbara banyere ụzọ o chere na ọ ga-ekwe nkwa inweta ọgụgụ isi n'ọkwa mmadụ na igwe.
Ndị dị ugbu a
Ihe a na-ekwu ma ọ bụrụ na edepụtaghị ya n'akwụkwọ akụkọ bụ arụmụka na ọtụtụ n'ime nnukwu ọrụ taa na AI agaghị enwe ike iru ebumnuche ọkwa mmadụ.
Na mkparịta ụka nke ọnwa a na ZDNet site na Zoom, LeCun mere ka o doo anya na ọ na-eji nnukwu obi abụọ ele ọtụtụ ụzọ nyocha kachasị aga nke ọma na mmụta miri emi ugbu a.
"Echere m na ha dị mkpa mana ha ezughi oke," onye meriri Turing Award kwuru ZDNet nke nchụso ndị ọgbọ ya.
Ndị ahụ gụnyere ụdị asụsụ buru ibu dịka GPT-3 dabere na Transformer na ndị yiri ha. Dị ka LeCun si kọwaa ya, ndị na-eme mgbanwe mgbanwe kwenyere, "Anyị na-eme ihe niile, ma na-azụ gigantic.ụdị iji kwuo amụma dị iche, na n'ụzọ ụfọdụ AI ga-esi na nke a pụta. "
"Ha adịghị njọ," ka ọ na-ekwu, "n'echiche na nke ahụ nwere ike ịbụ akụkụ nke usoro ọgụgụ isi n'ọdịnihu, ma echere m na ọ na-efunahụ ihe ndị dị mkpa."
Ọzọkwa: Meta's AI luminary LeCun na-enyocha oke ike mmụta miri emi
Ọ bụ nkatọ na-atụ n'anya nke ihe yiri ka ọ na-arụ ọrụ na-abịa site n'aka ọkà mmụta bụ onye meziri iji netwọkụ akwara convolutional, usoro bara uru nke na-arụpụta nke ọma na mmemme mmụta miri emi.
LeCun na-ahụ ntụpọ na oke n'ọtụtụ mpaghara ọzụzụ ndị ọzọ nwere oke nke ọma.
Nkwalite mmụta agaghịkwa ezuru, ọ na-ekwusi ike. Ndị na-eme nchọpụta dị ka David Silver nke DeepMind, bụ́ onye mepụtara ihe omume AlphaZero bụ́ nke maara Chess, Shogi na Go, na-elekwasị anya na mmemme ndị “na-adabere nnọọ n’omume,” ka LeCun na-ekwu, ma “ọtụtụ n’ime ihe mmụta anyị na-amụ, anyị adịghị eme ya. mee ya site n'ime ihe n'ezie, anyị na-eme ya site n'ikiri."
Lecun, 62, site n'echiche nke ọtụtụ iri afọ nke ihe ọ rụzuru, n'agbanyeghị na ọ na-egosipụta ngwa ngwa ihu ihe ọ chere bụ ụzọ kpuru ìsì nke ọtụtụ ndị nwere ike na-agba ọsọ, na ịgbalị ịrata ubi ya n'ụzọ ọ chere na ihe kwesịrị ịga.
Ọ sịrị, "Anyị na-ahụ ọtụtụ nkwupụta maka ihe anyị kwesịrị ime iji kwalite n'ihu n'ọkwa AI," ka ọ na-ekwu. "Ma enwere echiche ndị m chere na-eduhie eduhie."
Lecun kwuru, sị: “Anyị eruteghị n'ókè ígwè ọrụ anyị nwere ọgụgụ isi nwere ọgụgụ isi dị ka nwamba. "Ya mere, gịnị kpatara na anyị ebidoghị ebe ahụ?"
Ọ gbahapụla okwukwe mbụ ya n'iji netwọkụ ndị na-emepụta ihe na ihe ndị dị ka ịkọ amụma na-esote na vidiyo. Ọ na-ekwu, sị: “Ọ bụ ihe dara ada kpamkpam.
LeCun na-akatọ ndị ọ kpọrọ "ndị na-ekwe omume okpukpe," ndị "chere na echiche nke puru omume bụ naanị usoro ị nwere ike iji kọwaa mmụta igwe."
Ọ na-ekwu, usoro ọnụọgụgụ naanị enweghị ike ị nweta ya. “Ọ bụ ihe dị ukwuu ịrịọ maka ihe nlereanya ụwa ka ọ bụrụ ihe ga-ekwe omume kpamkpam; anyị amaghị otú e si eme ya.”
Ọ bụghị naanị ndị gụrụ akwụkwọ, mana ụlọ ọrụ AI chọrọ nyocha miri emi, ka LeCun na-arụ ụka. Ndị na-anya ụgbọ ala na-anya onwe ha, mmalite dị ka Wayve, 'nwere ntakịrị nchekwube,' ka ọ na-ekwu, site n'iche na ha nwere ike "tụba data na" nnukwu netwọkụ akwara "ma ị nwere ike ịmụta ihe ọ bụla."
"Ị mara, echere m na ọ ga-ekwe omume na anyị ga-enwe ụgbọ ala nwere ọkwa ise na-enweghị ọgụgụ isi," ka ọ na-ekwu, na-ezo aka na "ADAS," usoro enyemaka ọkwọ ụgbọala dị elu Usoro maka ịnya ụgbọ ala, "mana ị ga-emerịrị ihe n'ime ya."
Teknụzụ ịnya ụgbọ ala ndị dị otú ahụ ga-abụ ihe na-akụda mmụọ ma na-akụrikwa akụ dị ka mmemme ọhụụ kọmputa nke e mere ka ọ gharazie ịdị irè site na mmụta miri emi, o kwenyere.
"N'ikpeazụ, a ga-enwe ihe ngwọta na-eju afọ na ikekwe ka mma nke gụnyere usoro ndị na-arụ ọrụ ka mma nke ịghọta ka ụwa si arụ ọrụ."
Ndị dị ugbu a
Ka ọ na-aga, LeCun na-enye ụfọdụ echiche na-akụda mmụọ nke ndị nkatọ ya kachasị ukwuu, dị ka prọfesọ NYU Gary Marcus - “Ọ dịghị mgbe ọ nyere AI ihe ọ bụla” - yana Jürgen Schmidhuber, onye isi ngalaba nke Dalle Molle Institute for Artificial Intelligence Research - “ọ bụ ya. dị nnọọ mfe ime ọkọlọtọ-akụ.”
E wezụga nkatọ ndị ahụ, isi ihe dị mkpa nke LeCun mere bụ na ụfọdụ nsogbu ndị bụ isi na-eche AI niile ihu, karịsịa, otu esi atụle ozi.
"Ị ga-eweghachi azụ wee sị, Ọ dị mma, anyị rụrụ ubube a, mana anyị chọrọ ịga n'ọnwa, ọ nweghịkwa ụzọ ọkwa a ga-esi erute anyị ebe ahụ," ka LeCun na-ekwu maka ọchịchọ ya ịmalite ịtụgharị uche. nke isi echiche. "N'ụzọ bụ isi, ihe m na-ede ebe a bụ, anyị kwesịrị ịrụ rọketi, enweghị m ike ịnye gị nkọwa nke otu anyị si arụ rọketi, mana nke a bụ ụkpụrụ ndị bụ isi."
Akwụkwọ ahụ, na echiche LeCun na ajụjụ ọnụ a, enwere ike ịghọta nke ọma site n'ịgụ ajụjụ ọnụ LeCun na mbido afọ a. ZDNet n'ime nke ọ na-arụ ụka maka mmụta nke dabeere na ume nke dabeere na ya dị ka ụzọ na-aga n'ihu maka mmụta miri emi. Ntụle ndị ahụ na-enye echiche nke isi ụzọ maka ihe ọ na-atụ anya ka ọ wuo dị ka ihe ọzọ na ihe ndị ọ na-ekwu na ọ gaghị eme ka ọ bụrụ njedebe.
Ihe na-esote bụ ndegharị ederede nke ajụjụ ọnụ a deziri nke ọma.
ZDNet: Isiokwu anyị na-akparịta ụka bụ akwụkwọ a, "Ụzọ maka ọgụgụ isi igwe kwụụrụ onwe," nke ụdị 0.9.2 bụ ụdị dị ugbu a, ee?
Yann LeCun: Ee, m na-atụle nke a, ụdị-nke, akwụkwọ na-arụ ọrụ. Yabụ, ezigara m ya na Mepee Nlebanya, na-eche ka ndị mmadụ kwuo okwu na aro, ikekwe nrụtụ aka ọzọ, mgbe ahụ, m ga-ewepụta ụdị edegharịrị.
ZDNet: Ahụrụ m na Juergen Schmidhuber atụkwasịrịla ụfọdụ okwu na Mepee Nlebanya.
YL: Ee, ọ na-eme mgbe niile. M na-ehota otu n'ime akwụkwọ ya ebe ahụ na akwụkwọ m. Echere m na arụmụka ndị o mere na netwọk mmekọrịta na ọ bụ isi chepụtara ihe a niile na 1991, dị ka o mere na ndị ọzọ, abụghị naanị ikpe. M pụtara, ọ dị nnọọ mfe imeọkọlọtọ-akụ, na ka, ụdị-nke, dee echiche na-enweghị ihe ọ bụla nnwale, na-enweghị ihe ọ bụla tiori, dị nnọọ aro na ị nwere ike ime ya otú a. Ma, ị maara, e nwere nnukwu ọdịiche dị n'etiti naanị inwe echiche ahụ, wee nweta ya ka ọ rụọ ọrụ na nsogbu egwuregwu ụmụaka, wee mee ka ọ rụọ ọrụ na ezigbo nsogbu, na ime echiche nke na-egosi ihe kpatara o ji arụ ọrụ, na mgbe ahụ. na-ebuga ya. E nwere a dum yinye, na ya echiche nke nkà mmụta sayensị otuto bụ na ọ bụ nnọọ mbụ onye dị nnọọ, ụdị-nke, ị maara, nwere echiche nke na, na kwesịrị niile otuto. Nke ahụ bụkwa ihe ọchị.
ZDNet: Ekwela ihe niile ị nụrụ na soshal midia.
YL: M pụtara, isi akwụkwọ na ọ na-ekwu na m kwesịrị idetu enweghị nke ọ bụla n'ime isi echiche nke m na-ekwu banyere ya na akwụkwọ. O mekwara nke a na ndị GAN na ihe ndị ọzọ, nke na-abụghị eziokwu. Ọ dị mfe ịme ọkọlọtọ ọkọlọtọ, ọ na-esiri ike inye onyinye. Na, n'ụzọ, na nke a kpọmkwem akwụkwọ, m kwuru hoo haa na nke a abụghị akwụkwọ nkà mmụta sayensị n'echiche nkịtị nke okwu. Ọ bụ karịa akwụkwọ ọnọdụ gbasara ebe ihe a kwesịrị ịga. Ma enwere echiche ole na ole n'ebe ahụ nwere ike ịdị ọhụrụ, mana ọtụtụ n'ime ha abụghị. Anaghị m ekwu ihe kacha mkpa n'ọtụtụ ihe m dere n'akwụkwọ ahụ, n'ezie.
Nkuzi nkwado agaghịkwa ezuru, LeCun na-ekwusi ike. Ndị na-eme nchọpụta dị ka David Silver nke DeepMind, bụ́ onye mepụtara ihe omume AlphaZero nke maara Chess, Shogi na Go, “na-adabere nnọọ n’omume,” ka LeCun na-ekwu, ma “ọtụtụ n’ime ihe mmụta anyị na-eme, anyị adịghị eme ya site n’ịnara n’ezie. omume, anyị na-eme ya site n'ikiri."
ZDNet: Ma nke ahụ nwere ike ịbụ ebe dị mma ịmalite, n'ihi na m na-achọ ịmata ihe mere i ji gbasoo ụzọ a ugbu a? Kedu ihe mere ị chere maka nke a? Gịnị mere i ji chọọ ide ihe a?
YL: Ọ dị mma, yabụ, a na m eche maka nke a ogologo oge, maka ụzọ mmadụ ga-esi nweta ọgụgụ isi ma ọ bụ ọkwa anụmanụ ma ọ bụ mmụta na ikike. Ma, n'okwu m, a na m ekwu okwu nke ọma gbasara ihe a niile na mmụta mmụta na nkwado mmụta ezughị oke iji ṅomie ụdị mmụta anyị na-ahụ na anụmanụ na mmadụ. M na-eme nke a ihe dị ka afọ asaa ma ọ bụ asatọ. Yabụ, ọ bụghị nso nso a. Enwere m isi okwu na NeurIPS ọtụtụ afọ gara aga ebe m kwuru isi okwu ahụ, n'ezie, na okwu dị iche iche, enwere ndekọ. Ugbu a, gịnị kpatara dee akwụkwọ ugbu a? Abịala m n'isi - [Onye nchọpụta Brain Google] Geoff Hinton emeela ihe yiri ya - M pụtara, n'ezie, ya karịa m, anyị na-ahụ oge na-agwụ. Anyị abụghị nwata.
ZDNet: Iri isii bụ iri ise ọhụrụ.
YL: Nke ahụ bụ eziokwu, mana isi okwu bụ, anyị na-ahụ ọtụtụ nkwupụta maka ihe anyị kwesịrị ime iji kwalite n'ihu n'ọkwa mmadụ nke AI. Ma enwere echiche nke m chere na-eduhie eduhie. Yabụ, otu echiche bụ, Oh, anyị kwesịrị ịgbakwunye echiche ihe atụ n'elu ụgbụ akwara. Amaghịkwa m ka m ga-esi mee nke a. Yabụ, ikekwe ihe m kọwara n'akwụkwọ akụkọ ahụ nwere ike ịbụ otu ụzọ ga-esi mee otu ihe ahụ na-enweghị akara ngosi doro anya. Nke a bụ ụdị Gary Marcuses nke ụwa. Gary Marcus abụghị onye AI, n'agbanyeghị, ọ bụ ọkà n'akparamàgwà mmadụ. O nwebeghị ihe ọ bụla nyere AI. Ọ rụrụ ezigbo ọrụ na akparamaagwa nnwale mana o debeghị akwụkwọ nyocha nke ndị ọgbọ na AI. Yabụ, enwere ndị ahụ.
Enwere [DeepMind ụkpụrụ nyocha ọkà mmụta sayensị] David Silvers nke ụwa na-ekwu, ị maara, ụgwọ ọrụ ezuru, isi, ọ bụ ihe niile banyere mkwado mmụta, anyị dị nnọọ mkpa ime ka ọ dịkwuo irè karị, ọ dị mma? Ma, echere m na ha ezighi ezi, mana echere m na usoro ndị dị mkpa iji mee ka mmụta nkwado dịkwuo mma, n'ụzọ bụ isi, ga-eweghachi mmụta nkwado iji ụdị cherry na achicha ahụ. Na isi ihe na-efu efu bụ ịmụta ka ụwa si arụ ọrụ, ọkachasị site na nleba anya n'emeghị ihe. Nmụta nkwado siri ike dabere n'omume, ị na-amụta ihe gbasara ụwa site n'ime ihe na ịhụ nsonaazụ ya.
ZDNet: Ma ọ na-elekwasị anya n'ụgwọ ọrụ.
YL: Ọ na-elekwasị anya n'ụgwọ ọrụ, na ọ na-elekwasịkwa anya n'omume. Yabụ, ị ga-eme ihe n'ụwa ka ị nwee ike ịmụta ihe gbasara ụwa. Na isi ihe m na-ekwu n'akwụkwọ akụkọ gbasara mmụta nke onwe ya bụ, ọtụtụ n'ime mmụta anyị na-eme, anyị anaghị eme ya site n'ime ihe n'ezie, anyị na-eme ya site na ilele anya. Ma ọ bụ ihe na-adịghị mma, ma maka nkwado mmụta ndị mmadụ, karịsịa, kamakwa maka ọtụtụ ndị ọkà n'akparamàgwà mmadụ na ndị ọkà mmụta sayensị na-eche na, ị maara, ime ihe bụ - Anaghị m ekwu na ime ihe adịghị mkpa, ọ is dị mkpa. Ma echere m na ihe ka ukwuu n'ihe anyị na-amụta bụ nke ukwuu banyere nhazi nke ụwa, ma na-agụnye, n'ezie, mmekọrịta na omume na egwuregwu, na ihe ndị dị otú ahụ, ma ọtụtụ n'ime ya bụ ihe nlele.
ZDNet: Ị ga-ejikwa akara ndị Transformer, ndị asụsụ-ndị mbụ, n'otu oge ahụ. Kedu otu ị ga-esi wuo nke a na-enweghị asụsụ mbụ? Ị nwere ike ijikwa ọtụtụ nde mmadụ.
YL: Ee, amaara m nke ahụ. Ya mere, ee, e nwere asụsụ-ndị mbụ, ndị na-ekwu, ị maara, ọgụgụ isi bụ maka asụsụ, mkpụrụ nke ọgụgụ isi bụ asụsụ, blah, blah, blah. Mana nke ahụ, ụdị, na-achụpụ ọgụgụ isi anụmanụ. Ị mara, anyị erubeghị ebe igwe anyị nwere ọgụgụ isi nwere ọgụgụ isi dịka nwamba. Yabụ, gịnị kpatara na anyị ebidoghị ebe ahụ? Kedu ihe na-enye nwamba ohere ijide ụwa gbara ya gburugburu, mee ihe mara mma mara mma, na atụmatụ na ihe ndị dị otú ahụ, na nkịta ka mma?
Mgbe ahụ, e nwere ndị niile na-asị, Oh, ọgụgụ isi bụ ihe ọha mmadụ, nri? Anyị nwere ọgụgụ isi n'ihi na anyị na-akparịta ụka ma anyị na-agbanwe ozi, na blah, blah, blah. Enwere ụdị ụdị ọ bụla na-abụghị nke ọha na-ezuteghị nne na nna ha maara nke ọma, dị ka octopus ma ọ bụ orangutan.M pụtara, ha [orangutans] n'ezie bụ ndị nne ha gụrụ akwụkwọ, mana ha abụghị anụmanụ na-elekọta mmadụ.
Mana ụdị ndị ọzọ m nwere ike itinye aka bụ ndị na-ekwu na ịcha akwa zuru oke. Yabụ, isi, anyị na-eji gigantic Transformers, anyị na-azụ ha na data multimodal gụnyere, ị maara, vidiyo, ederede, blah, blah, blah. Anyị, ụdị-nke, petrifyihe niile, na tokenize ihe niile, wee zụọ giganticụdị iji mee amụma pụrụ iche, isi, na n'ụzọ ụfọdụ AI ga-apụta na nke a. Ha adịghị njọ, n'echiche na nke ahụ nwere ike ịbụ akụkụ nke usoro ọgụgụ isi n'ọdịnihu. Mana echere m na ọ na-efu iberibe iberibe.
Enwere ụdị ndị ọzọ m ga-eji akwụkwọ a tinye aka. Ma ọ bụ ndị na-eme omume, ndị na-eme omume okpukpe. Yabụ, ndị na-eche echiche nke puru omume bụ naanị usoro ị nwere ike iji kọwaa mmụta igwe. Na dị ka m gbalịrị ịkọwa na ibe, ọ bụ ihu ọma nke ukwuu ịrịọ maka a ụwa nlereanya na-kpamkpam puru omume. Anyị amaghị ka esi eme ya. Enwere ike ịgbakọ. Ya mere, m na-atụ aro ịhapụ echiche a niile. Ma n'ezie, ị maara, nke a bụ nnukwu ogidi nke ọ bụghị naanị mmụta igwe, mana ọnụ ọgụgụ niile, nke na-ekwu na ọ bụ usoro nkịtị maka mmụta igwe.
Ihe ọzọ -
ZDNet: Ị nọ na mpịakọta…
YL: — bụ ihe a na-akpọ generative model. Yabụ, echiche nke ị nwere ike ịmụta ịkọ amụma, ma ị nwere ike mụta ọtụtụ ihe gbasara ụwa site na amụma. Ya mere, m na-enye gị otu vidiyo ma a na m arịọ usoro ahụ ka ọ buru amụma ihe ga-eme na vidiyo ahụ. Enwere m ike ịrịọ gị ka ị buru amụma vidiyo n'ezie yana nkọwa niile. Ma ihe m na-arụrịta ụka banyere ya na akwụkwọ akụkọ bụ na nke ahụ bụ n'ezie nke ukwuu ịjụ na mgbagwoju anya. Nke a bụkwa ihe m gbanwere obi m. Ruo ihe dị ka afọ abụọ gara aga, m na-abụbu onye na-akwado ihe m na-akpọ latent variable generative model, ụdị na-ebu amụma ihe ga-eme na-esote ma ọ bụ ozi na-efu, ikekwe site n'enyemaka nke latent variable, ma ọ bụrụ na amụma enweghị ike ịbụ. deterministic. M hapụkwara m ihe a. Ihe kpatara m ji hapụ nke a dabere na nsonaazụ pụtara ìhè, ebe ndị mmadụ gbalịsiri ike itinye, ụdị, amụma ma ọ bụ ọzụzụ dabere na nrụzi nke ụdị a na-eji na BERT.na ụdị asụsụ buru ibu, ha nwara itinye nke a na onyonyo, ma ọ bụrụla ọdịda zuru oke. Na ihe mere na ọ bụ a zuru ezu ọdịda bụ, ọzọ, n'ihi mgbochi nke puru omume ụdị ebe ọ bụ dịtụ mfe ịkọ discrete tokens dị ka okwu n'ihi na anyị nwere ike gbakọọ puru omume nkesa n'elu okwu niile na akwụkwọ ọkọwa okwu. Nke ahụ dị mfe. Mana ọ bụrụ na anyị arịọ sistemụ ahụ ka ọ mepụta nkesa nke puru omume n'okirikiri vidiyo niile enwere ike, anyị enweghị echiche otu esi eme ya, ma ọ bụ anyị nwere echiche otu esi eme ya, mana anyị amaghị ka esi eme ya. Ọ na-adaba nsogbu mgbakọ na mwepụ na-enweghị ike iwepụ nke anyị na-amaghị otú e si edozi ya.
Lecun kwuru, sị: “Anyị eruteghị n'ókè ígwè ọrụ anyị nwere ọgụgụ isi nwere ọgụgụ isi dị ka nwamba. “Ya mere, gịnị kpatara na anyị ebidoghị ebe ahụ? Kedu ihe na-enye nwamba ohere ijide ụwa gbara ya gburugburu, mee ihe mara mma mara mma, na atụmatụ na ihe ndị dị otú ahụ, na nkịta ka mma? "
Ya mere, ọ bụ ya mere m ji sị ka anyị hapụ echiche nke puru omume ma ọ bụ usoro maka ihe ndị dị otú ahụ, nke na-esighị ike, ụdị ndị dabeere na ume. A na m akwado maka nke a, kwa, ọtụtụ iri afọ, yabụ na nke a abụghị ihe na-adịbeghị anya. Ma n'otu oge ahụ, ịhapụ echiche nke ụdị ndị na-emepụta ihe n'ihi na e nwere ọtụtụ ihe dị n'ụwa nke a na-apụghị ịghọta aghọta ma ghara ịkọ. Ọ bụrụ na ị bụ onye injinia, ị na-akpọ ya mkpọtụ. Ọ bụrụ na ị bụ ọkà mmụta physics, ị na-akpọ ya okpomọkụ. Ma ọ bụrụ na ị bụ onye na-amụ igwe, ị na-akpọ ya, ị maara, nkọwa na-adịghị mkpa ma ọ bụ ihe ọ bụla.
Ya mere, ihe atụ m ji mee ihe na akwụkwọ akụkọ, ma ọ bụ m jiri mee ihe na mkparịta ụka, bụ, ịchọrọ usoro amụma amụma ụwa nke ga-enyere aka na ụgbọ ala na-anya onwe ya, nri? Ọ chọrọ inwe ike ibu amụma, n'ihu, ụzọ ụgbọ ala ndị ọzọ niile, ihe ga-eme ihe ndị ọzọ nwere ike ịkwaga, ndị na-agafe agafe, ịnyịnya ígwè, nwatakịrị na-agba ọsọ na bọl bọl, ihe ndị dị otú ahụ. Yabụ, ụdị ihe niile gbasara ụwa. Ma n'akụkụ okporo ụzọ ahụ, enwere ike inwe osisi, ikuku dịkwa taa, ya mere akwụkwọ ahụ na-agagharị na ifufe, na n'azụ osisi ahụ, e nwere ọdọ mmiri, ma e nwere mmiri na ọdọ mmiri ahụ. Na ndị ahụ bụ, n'ezie, nnukwu ihe atụ na-enweghị atụ. Ma, ị chọghị ka ihe nlereanya gị na-emefu nnukwu ego maka ịkọ ihe ndị ahụ siri ike ịkọ na ndị na-adịghị mkpa. Ya mere, ọ bụ ya mere m ji na-akwado maka nkwonkwo agbakwunyere architecture, ihe ndị ahụ ebe mgbanwe ị na-agbalị ịmepụta, ị naghị agbalị ịkọ ya, ị na-agbalị ịmepụta ya, ma ọ na-agba ọsọ site na ntinye koodu, na ihe ngbanwe ahụ nwere ike iwepụ ọtụtụ nkọwa gbasara ntinye nke na-adịghị mkpa ma ọ bụ dị mgbagwoju anya - n'ụzọ bụ isi, dabara na mkpọtụ.
ZDNet: Anyị tụlere na mbido afọ a ụdị ike dabere, JEPA na H-JEPA. Echiche m, ọ bụrụ na m ghọtara gị nke ọma, ị na-achọta isi ike dị ala ebe amụma abụọ a nke X na Y agbakwunyere yiri nke ahụ, nke pụtara na ọ bụrụ na nduru dị n'osisi n'ime otu, ma ọ dị ihe dị na ya. ndabere nke ihe nkiri, ndị ahụ nwere ike ọ gaghị abụ isi ihe dị mkpa na-eme ka ihe ndị a dị nso na ibe ha.
YL: Right. Yabụ, ihe owuwu JEPA na-anwa n'ezie ịchọta azụmaahịa, nkwekọrịta, n'etiti iwepụta ihe ngosi na-enye nkọwa gbasara ntinye mana enwerekwa amụma site na ibe ya na ọkwa ụfọdụ nke izi ezi ma ọ bụ ntụkwasị obi. Ọ na-achọta mgbanwe. Ya mere, ọ bụrụ na ọ nwere nhọrọ n'etiti emefu a nnukwu ego nke ihe onwunwe gụnyere nkọwa nke ngagharị nke epupụta, na mgbe ahụ modeling na ike nke ga-ekpebi otú epupụta na-akpụ akpụ a nke abụọ site ugbu a, ma ọ bụ naanị idobe na n'ala site na. naanị na-agba ọsọ Y variable site na onye amụma nke na-ewepụ nkọwa ndị ahụ niile, ọ ga-abụ na ọ ga-ewepụ ya n'ihi na ọ na-esiri ike ịmepụta na ijide ya.
ZDNet: Otu ihe tụrụ anya n'anya bụ na ị bụbu onye nkwado nke ịsị "Ọ na-arụ ọrụ, anyị ga-emecha chọpụta tiori nke thermodynamics iji kọwaa ya." N'ebe a, i meela ụzọ nke, "Amaghị m ka anyị ga-esi edozi nke a, mana achọrọ m iwepụta echiche ụfọdụ iji chee echiche banyere ya," na ikekwe na-eru nso a tiori ma ọ bụ echiche, na kacha nta. Nke ahụ na-adọrọ mmasị n'ihi na e nwere ọtụtụ ndị na-etinye ego buru ibu na-arụ ọrụ ụgbọ ala nke nwere ike ịhụ onye na-agafe agafe n'agbanyeghị ma ụgbọ ala ahụ nwere ọgụgụ isi. Ma echere m na ụfọdụ n'ime ndị ahụ ga-abụ ndị a na-adịghị ahụ anya, mana ha ga-asị, "Nke ahụ dị mma, anyị achọghị ịma ma ọ bụrụ na ọ nweghị ọgụgụ isi, anyị arụwo simulation, ịme anwansị ahụ dị ịtụnanya, na anyị ga-aga n'ihu na-akawanye mma, anyị ga-aga n'ihu na-ebuli simulation ahụ. "
Ya mere, ọ bụ ihe na-adọrọ mmasị na ị nọ n'ọnọdụ ikwu ugbu a, ka anyị were nzọụkwụ azụ chee echiche banyere ihe anyị na-eme. Na ụlọ ọrụ na-ekwu na anyị ga-na-na-na-aga n'ókè, ọnụ ọgụgụ, ọnụ ọgụgụ, ọnụ ọgụgụ, n'ihi na crank na-arụ ọrụ n'ezie. M pụtara, semiconductor crank nke GPUs na-arụ ọrụ n'ezie.
YL: Enwere ajụjụ ise n'ebe ahụ. Ya mere, m na-ekwu, scaling dị mkpa. Anaghị m akatọ eziokwu ahụ bụ na anyị kwesịrị ịdị nha. Anyị kwesịrị ịtụ. Ụgbụ akwara ndị ahụ na-akawanye mma ka ha na-ebuwanye ibu. Enweghị ajụjụ na anyị kwesịrị itule. Na ndị ga-enwe ụfọdụ ọkwa nke ezi uche ga-abụ nnukwu. Ọ dịghị ụzọ gburugburu nke ahụ, echere m. Ya mere scaling dị mma, ọ dị mkpa, mana ezughị oke. Nke ahụ bụ isi ihe m na-ekwu. Ọ bụghị naanị ịkpụcha ihe. Nke ahụ bụ isi ihe mbụ.
Isi okwu nke abụọ, ma tiori na-abịa na mbụ na ihe ndị dị otú ahụ. Yabụ, echere m na enwere echiche ndị na-ebute ụzọ na, ị ga-eweghachi azụ wee sị, ọ dị mma, anyị wuru ubube a, mana anyị chọrọ ịga ọnwa ma ọ nweghị ụzọ ọkwa a ga-esi ruo anyị ebe ahụ. Yabụ, isi, ihe m na-ede ebe a bụ, anyị kwesịrị ịrụ rọketi. Enweghị m ike ịnye gị nkọwa nke otu anyị si arụ rọketi, mana ebe a bụ ụkpụrụ ndị bụ isi. Anaghị m ede echiche maka ya ma ọ bụ ihe ọ bụla, mana, ọ ga-abụ rọketi, ọ dị mma? Ma ọ bụ igwe mbuli elu ma ọ bụ ihe ọ bụla. Anyị nwere ike ọ gaghị enwe nkọwa niile nke teknụzụ niile. Anyị na-agbalị ime ka ụfọdụ n'ime ihe ndị ahụ na-arụ ọrụ, dị ka m na-arụ ọrụ na JEPA. Ntinye nkwonkwo na-arụ ọrụ nke ọma maka njirimara onyonyo, mana iji ya zụọ ụdị ụwa, enwere ihe isi ike. Anyị na-arụ ọrụ na ya, anyị na-atụ anya na anyị ga-eme ka ọ rụọ ọrụ soon, ma anyị nwere ike izute ụfọdụ ihe mgbochi ndị anyị na-apụghị imeri, ikekwe.
Mgbe ahụ enwere echiche bụ isi na akwụkwọ akụkọ banyere ịtụgharị uche ebe ọ bụrụ na anyị chọrọ ka usoro ahụ nwee ike ịhazi, nke ị nwere ike iche dị ka ụdị echiche dị mfe, ọ dị ha mkpa inwe mgbanwe mgbanwe. N'ikwu ya n'ụzọ ọzọ, ihe ndị na-adịghị na-agbakọta site na neural net ma ihe ndị bụ - nke uru a na-atụle ka ibelata ụfọdụ ebumnobi ọrụ, ụfọdụ na-eri ọrụ. Ma mgbe ahụ, ị nwere ike iji ọrụ ọnụ ahịa a na-ebugharị omume nke usoro ahụ. Ma nke a abụghị echiche ọhụrụ ma ọlị, nri? Nke a bụ oge gboo, njikwa kacha mma ebe ndabere nke a na-alaghachi na njedebe '50s, mmalite' 60s. Yabụ, anaghị ekwu ihe ọhụrụ ebe a. Ma ihe m na-ekwu bụ na ụdị ntinye aka a ga-abụ akụkụ nke usoro nwere ọgụgụ isi nke nwere ike ịhazi atụmatụ, na omume ya nwere ike ịkọwa ma ọ bụ chịkwaa ọ bụghị site na omume siri ike, ọ bụghị site n'ịkwado nṅomi, kama site n'ebumnobi ọrụ nke na-akwalite omume ahụ - anaghị achụpụ mmụta, ọ bụchaghị, mana ọ na-akpali omume. Ị mara, anyị nwere nke ahụ na ụbụrụ anyị, na anụmanụ ọ bụla nwere ọnụ ahịa dị n'ime ma ọ bụ mkpali dị mkpa maka ihe. Nke ahụ na-eme ka ụmụ ọhụrụ dị ọnwa itoolu chọọ ibili ọtọ. Ọnụ ego nke inwe obi ụtọ mgbe ị na-ebili ọtọ, okwu ahụ na-arụ ọrụ ọnụ bụ hardwired. Mana otu i siri kwụrụ abụghị, nke ahụ bụ mmụta.
"Ịgbanwe ihe dị mma, ọ dị mkpa, mana ezughị ezu," ka LeCun na-ekwu maka nnukwu ụdị asụsụ dị ka mmemme dabere na Transformer nke ụdị GPT-3 dị iche iche. Ndị na-eme mgbanwe mgbanwe kwenyere, "Anyị na-eme ihe niile, ma na-azụ giganticụdị iji kwuo amụma dị iche, na n'ụzọ ụfọdụ AI ga-esi na nke a pụta… mana echere m na ọ na-efu iberibe iberibe. "
ZDNet: Naanị iji mechie isi okwu ahụ, ọtụtụ n'ime obodo mmụta miri emi dị ka ọ dị mma na-aga n'ihu na ihe na-enweghị ọgụgụ isi. Ọ dị ka ị na-eme arụmụka doro anya ebe a na mgbe ụfọdụ ọ na-aghọ ihe na-adịghị. Ụfọdụ ndị mmadụ na-ekwu na anyị achọghị ụgbọ ala kwụụrụ onwe nwere ọgụgụ isi n'ihi na ịchafụ ga-eme ya. Ọ dị ka ị na-ekwu na ọ dịghị mma ka ị na-aga n'ihu n'ụzọ ahụ?
YL: Ị mara, echere m na ọ ga-ekwe omume na anyị ga-enwe ụgbọ ala nwere ọkwa ise na-enweghị ọgụgụ isi. Mana nsogbu dị na ụzọ a, nke a ga-adịru nwa oge, n'ihi na ị ga-emerịrị injinia ọkụ n'ime ya. Yabụ, ị mara, maapụ ụwa niile, were ike-waya ụdị omume ọ bụla akọwapụtara nke ọma, na-anakọta data zuru oke na ị nwere ọnọdụ niile, ụdị, ọnọdụ dị ịtụnanya ị nwere ike izute n'okporo ụzọ, blah, blah, blah. Ma ihe m chere bụ na site na itinye ego na oge zuru oke, ị nwere ike ịmegharị ọkụ ọkụ na ya. Ma n'ikpeazụ, a ga-enwe ihe ngwọta na-enye afọ ojuju na ikekwe ka mma nke gụnyere usoro ndị na-arụ ọrụ ka mma nke ịghọta otú ụwa si arụ ọrụ, ma nwee, ị maara, ụfọdụ ọkwa nke ihe anyị ga-akpọ ezi uche. Ọ dịghị mkpa ka mmadụ-larịị ezi uche, ma ụfọdụ ụdị ihe ọmụma na usoro nwere ike inweta site na-ekiri, ma ọ bụghị ikiri onye ụgbọala, dị nnọọ na-ekiri stof na-agagharị na ịghọta ọtụtụ ihe banyere ụwa, na-ewu a ntọala ndabere. ihe ọmụma banyere otú ụwa si arụ ọrụ, n'elu nke ị nwere ike ịmụta ịkwọ ụgbọala.
Ka m were ihe atụ akụkọ ihe mere eme banyere nke a. Ọhụụ kọmputa oge gboo gbadoro ụkwụ na ọtụtụ modul arụrụ arụ, arụrụ arụ ọrụ, n'elu nke ị ga-enwe, ụdị, obere mmụta mmụta dị mkpa. Yabụ, ihe AlexNet meriri na 2012, nwere n'ụzọ bụ isi nke mbụ, ụdị, ihe nrụpụta nke ejiri aka rụọ, dị ka SIFTs [Scale-Invariant Feature Transform (SIFT), usoro ọhụụ ọhụụ iji mata ihe ndị dị mkpa na onyonyo] na HOG [Histogram of Oriented Gradients, usoro ọzọ kpochapụrụ] na ihe ndị ọzọ dị iche iche. Na oyi akwa nke abụọ, ụdị nke, njiri mara ọkwa etiti dabere na kernels atụmatụ na ihe ọ bụla, yana ụdị usoro anaghị elekọta ya. Ma mgbe ahụ n'elu nke a, ị na-etinye igwe vector na-akwado, ma ọ bụ ihe ọzọ dị mfe nhazi ọkwa. Na nke ahụ bụ, ụdị-nke, ọkọlọtọ pipeline si n'etiti 2000s na 2012. Na nke na-anọchi anya ọgwụgwụ-na-ọgwụgwụ convolutional ụgbụ, ebe ị na-adịghị hardwire ọ bụla nke a, ị dị nnọọ nwere ọtụtụ data, na ị na-azụ ihe ahụ site na njedebe ruo na njedebe, nke bụ ụzọ m na-akwado kemgbe ogologo oge, ma ị maara, ruo mgbe ahụ, ọ bụghị ihe bara uru maka nnukwu nsogbu.
Enweela akụkọ yiri nke ahụ na njirimara okwu ebe, ọzọ, enwere nnukwu injinia zuru ezu maka otu esi ahazi data ahụ, ị na-ewepụta cepstrum oke ọnụ [ihe ntụgharị nke mgbanwe ngwa ngwa Fourier maka nhazi akara], na mgbe ahụ. ị nwere Modelsdị Markov Zoro ezo, nwere ụdị-nke, ụlọ edobere mbụ, blah, blah, blah, yana ngwakọta nke Gaussians. Ya mere, ọ bụ ntakịrị ihe n'otu ụkpụrụ ụlọ dị ka ọhụụ ebe ị ji aka rụọ ọrụ n'ihu, wee bụrụ nke a na-achịkwaghị achịkwa, zụrụ azụ, oyi akwa etiti, wee bụrụ oyi akwa a na-elekọta. Ma ugbu a, nke ahụ ejirila ụgbụ akwara na-agwụcha na njedebe, kpochapụ ya. N'ihi ya, m ụdị ịhụ ihe yiri ebe ahụ na-agbalị ịmụta ihe niile, ma ị ga-enwe nri tupu, nri ije, nri Ọdịdị.
Ndị na-anya ụgbọ ala na-anya onwe ha, mmalite dị ka Waymo na Wayve, 'nwere ntakịrị nchekwube,' ka ọ na-ekwu, site n'iche na ha nwere ike "ịtụba data na ya, ma ị nwere ike ịmụta ihe ọ bụla." Ụgbọ ala ndị na-anya onwe ha na ọkwa 5 nke ADAS ga-ekwe omume, "Ma ị ga-enwe ike ịmepụta ọkụ ọkụ na ya" na ọ ga-abụ "na-agbaji" dị ka ụdị ọhụụ kọmputa mbụ.
ZDNet: Ihe ị na-ekwu bụ, ụfọdụ ndị ga-agbalị ka engineer ihe na-adịghị ugbu a na-arụ ọrụ na miri emi mmụta maka applicability, sị, na ụlọ ọrụ, na ha na-aga na-amalite na-emepụta ihe bụ ihe na-aghọ ochie na kọmputa ọhụụ?
YL: Right. Ma ọ bụ otu ihe kpatara na ndị mmadụ na-arụ ọrụ na ịnya ụgbọ ala kwụụrụ onwe ya ji nwetụ nchekwube n'ime afọ ole na ole gara aga, bụ n'ihi na ị maara, ị nwere ihe ndị a, ụdị, ihe ndị dị ka ụgbụ convolutional na Transformers, na ị nwere ike ịtụba data na ya. , ọ pụkwara ịmụta ihe ọ bụla. Yabụ, ị sị, Ọ dị mma, enwere m ngwọta maka nsogbu ahụ. Ihe mbụ ị na-eme bụ ịmepụta ngosi ebe ụgbọ ala na-anya onwe ya maka nkeji ole na ole n'emeghị onye ọ bụla. Ma mgbe ahụ, ị ga-achọpụta na enwere ọtụtụ ikpe nkuku, ma ị na-agbalị ịkọwa usoro nke ka m na-enweta ka m na-agbakọ ọzụzụ ọzụzụ ugboro abụọ, ị ghọtara na ị gaghị erute ebe ahụ n'ihi na enwere ụdị nkuku dị iche iche. . Ma ịchọrọ ịnwe ụgbọ ala nke ga-akpata ihe mberede na-egbu egbu na-erughị kilomita 200 ọ bụla, nri? Yabụ, kedu ihe ị na-eme? Ọfọn, ị na-aga n'akụkụ abụọ.
Ntuziaka mbụ bụ, kedu ka m ga-esi belata ọnụọgụ data dị mkpa maka sistemụ m ịmụta? Na nke ahụ bụ ebe mmụta nke onwe ya na-abata. Ya mere, ọtụtụ uwe ndị na-anya ụgbọ ala na-enwe mmasị nke ukwuu n'ịmụ ihe na-elekọta onwe ha n'ihi na nke ahụ bụ ụzọ nke ka na-eji gigantic ichekwa data nlekọta maka mmụta mmụta, ma na-arụ ọrụ ka mma site na. tupu ọzụzụ, nnoo. Ma ọ kabeghị nke ọma, mana ọ ga-eme. Ma mgbe ahụ enwere nhọrọ ọzọ, nke ọtụtụ ụlọ ọrụ ndị na-emepe emepe n'oge a nakweere, nke bụ, ọ dị mma, anyị nwere ike ịme ọzụzụ na njedebe na njedebe, ma e nwere ọtụtụ akụkụ nkuku anyị nwere ike ' t aka, otú anyị na-aga dị nnọọ engineer usoro ga-elekọta ndị nkuku ikpe, na, ihu ọma, na-emeso ha dị ka ndị pụrụ iche ikpe, na hardwire akara, na mgbe hardwire a otutu isi omume aka pụrụ iche ọnọdụ. Ma ọ bụrụ na ị nwere nnukwu ndị injinia zuru oke, ị nwere ike wepụ ya. Ma ọ ga-ewe ogologo oge, na n'ikpeazụ, ọ ka ga-abụ ntakịrị kenkuwa, ma eleghị anya, a pụrụ ịdabere na ya nke ọma na ị nwere ike ibuga, ma na ụfọdụ ọkwa nke brittleness, nke, na a ọzọ mmụta dabeere obibia nke nwere ike ịpụta na n'ọdịnihu, ụgbọ ala agaghị enwe n'ihi na ọ nwere ike inwe ụfọdụ larịị nke ezi uche na nghọta banyere otú ụwa si arụ ọrụ.
N'oge dị mkpirikpi, usoro, ụdị, usoro nhazi ga-emeri - ọ na-emeri. Nke ahụ bụ Waymo na ụgbọ mmiri nke ụwa na Wayvena ihe ọ bụla, nke ahụ bụ ihe ha na-eme. E nwekwara usoro mmụta nke na-elekọta onwe ya, nke nwere ike inyere usoro injinia aka inwe ọganihu. Mana mgbe ahụ, n'ikpeazụ, nke nwere ike ịdị ogologo oge maka ụlọ ọrụ ndị ahụ ichere, ọ ga-abụ, ụdị, usoro ịnya ụgbọ ala nwere ọgụgụ isi jikọtara ọnụ.
ZDNet: Anyị na-ekwu gafere ohere itinye ego nke ọtụtụ ndị na-etinye ego.
YL: Nke ahụ dị mma. Ya mere, ajụjụ a bụ, ndị mmadụ ga-enwe ndidi ma ọ bụ na-efunahụ ego tupu arụmọrụ ahụ erute ọkwa a chọrọ.
ZDNet: Ọ nwere ihe na-adọrọ mmasị ikwu banyere ihe mere ị na-ahọrọ ụfọdụ n'ime ihe ndị ị họọrọ na ihe nlereanya? N'ihi na ị na-ehota Kenneth Craik [1943,Ụdị nkọwa], ma ị kpọtụrụ Bryson na Ho [1969, Etinyere njikwa kacha mma], na m na-achọsi ike ihe mere i ji malite mmetụta ndị a, ma ọ bụrụ na ị kwenyere karịsịa na ndị a nwere ya kpọgidere ya ruo ihe ha mere. Gịnị mere i ji malite ebe ahụ?
YL: Ọ dị mma, echeghị m, n'ezie, a kpọgidere nkọwa niile ahụ. Yabụ, Bryson na Ho, nke a bụ akwụkwọ m gụrụ laa azụ na 1987 mgbe mụ na Geoffrey Hinton bụ postdoc na Toronto. Mana amaara m banyere usoro ọrụ a tupu mgbe m na-ede PhD m, wee mee njikọ n'etiti njikwa kacha mma na backprop, n'ezie. Ọ bụrụ n'ezie na ị chọrọ ịbụ, ị maara, ọzọ Schmidhuber, ị ga-ekwu na ezigbo ndị na-emepụta ihe nke backprop bụ ndị na-ahụ maka nchịkwa kachasị mma Henry J. Kelley, Arthur Bryson, na ikekwe ọbụna Lev Pontryagin, onye bụ onye ọkà mmụta Russia nke ezigbo akara azụ. na ngwụcha '50s.
Yabụ, ha achọpụtara ya, na n'ezie, ị nwere ike ịhụ mgbọrọgwụ nke a, mgbakọ na mwepụ n'okpuru nke ahụ, bụ sistemụ Lagrangian. Ya mere, ị nwere ike ịlaghachi na Euler na Lagrange, n'ezie, na ụdị ịchọta a whiff nke a na nkọwa ha nke Lagrangian oge gboo mechanics, n'ezie. Yabụ, n'ihe gbasara njikwa kacha mma, ihe ụmụ okorobịa ndị a nwere mmasị na ya bụ ịgbakọ traktị trajectories. Ị mara, nke a bụ mmalite oghere. Ma ọ bụrụ na ị nwere ihe nlereanya nke rọketi, ọ na-agwa gị ebe a bụ ọnọdụ nke rọketi n'oge t, na nke a bụ ihe m ga-eme, yabụ, mkpali na ndị na-eme ihe dị iche iche, ebe a bụ ọnọdụ rọketi n'oge. t+1.
ZDNet: Ụdị ihe omume steeti, ihe nlereanya bara uru.
YL: Nke ahụ ziri ezi, ndabere nke njikwa. Yabụ, ugbu a, ị nwere ike ịmegharị agbapụ nke rọketi gị site n'ichepụta usoro iwu, wee nwee ụfọdụ ọrụ ọnụ ahịa, nke bụ anya roket na ebumnuche ya, ọdụ oghere ma ọ bụ ihe ọ bụla. Ma mgbe ahụ site n'ụdị ụfọdụ gradient mgbada, ị nwere ike chepụta, kedu ka m ga-esi melite usoro m nke mere na rọketi m n'ezie na-abịaru nso dị ka o kwere na lekwasịrị anya. Nke ahụ ga-abịa site na mgbama na-agbasa azụ azụ n'oge. Na nke ahụ bụ azụ-mgbasa, gradient azụ-propagation. Ihe mgbaàmà ndị ahụ, a na-akpọ ha conjugate variables na Lagrangian mechanics, ma n'ezie, ha bụ gradients. Ya mere, ha chepụtara backprop, ma ha aghọtaghị na a pụrụ iji ụkpụrụ a zụọ a multi-stage usoro nke nwere ike ime ụkpụrụ njirimara ma ọ bụ ihe dị otú ahụ. Aghọtaghị nke a ruo mgbe njedebe '70s, mmalite' 80s, na emebeghị ya ma mee ka ọ rụọ ọrụ ruo etiti '80s. Ọ dị mma, yabụ, nke a bụ ebe backprop n'ezie, ụdị, ewepụrụ n'ihi na ndị mmadụ gosipụtara ebe a bụ ahịrị koodu ole na ole nke ị nwere ike ịzụ ụgbụ akwara, njedebe na njedebe, ọtụtụ. Nke ahụ na-ebulikwa oke nke Perceptron. Ma, ee, enwere njikọ na njikwa kacha mma, mana ọ dị mma.
ZDNet: Yabụ, nke ahụ bụ ogologo ụzọ ikwu na mmetụta ndị a ị malitere na-alaghachi azụ azụ, nke ahụ dịkwa mkpa dị ka mmalite maka gị?
YL: Ee, mana echere m na ihe ndị mmadụ chefuru ntakịrị ihe, enwere obere ọrụ na nke a, ị maara, laa azụ na 90s, ma ọ bụ ọbụna 80s, gụnyere ndị mmadụ dị ka Michael Jordan [MIT Dept. of Brain] na Cognitive Sciences] na ndị dị ka ndị na-adịghị eme neural netwọk ọzọ, ma echiche na ị nwere ike iji neural netwọk maka akara, na ị nwere ike iji oge gboo echiche nke kacha akara. Yabụ, ihe ndị dị ka ihe a na-akpọ njikwa amụma-mkpụrụ, ihe a na-akpọ njikwa amụma ugbu a, echiche a nke ị nwere ike ịmegharị ma ọ bụ chepụta nsonaazụ nke usoro omume ma ọ bụrụ na ị nwere ezigbo ihe nlereanya nke sistemụ ị na-agbalị ịchịkwa. na gburugburu ebe obibi ọ dị. Mgbe ahụ site na gradient mgbada, nnoo — nke a abụghị mmụta, nke a bụ inference — ị nwere ike chepụta ihe kasị mma usoro nke omume ga-ebelata ebumnobi m. Ya mere, iji ọrụ ọnụ na-agbanwe agbanwe maka ntinye aka bụ, echere m, ihe ubi ugbu a nke nnukwu ụgbụ neural chefuru. Mana ọ bụ akụkụ dị egwu nke mmụta igwe ruo ogologo oge. Yabụ, ọ bụla Bayesian Net ma ọ bụ eserese eserese ma ọ bụ ihe eserese nke puru omume jiri ụdị ntinye a. Ị nwere ihe nlereanya na-ejide ihe ndabere n'etiti ụyọkọ mgbanwe, a na-agwa gị uru nke ụfọdụ n'ime mgbanwe ndị ahụ, mgbe ahụ, ị ga-atụle uru kachasị nke mgbanwe ndị ọzọ. Nke ahụ bụ isi ụkpụrụ nke ntinye aka na ụdị eserese na Bayesian Nets, yana ihe ndị dị otú ahụ. Ma echere m na nke ahụ bụ isi ihe echiche kwesịrị ịbụ maka, ịtụgharị uche na nhazi.
ZDNet: Ị bụ kọbọd Bayesian.
YL: Abụ m onye Bayesian na-agaghị ekwe omume. Emere m ihe ọchị ahụ na mbụ. Anọ m na NeurIPS afọ ole na ole gara aga, echere m na ọ bụ na 2018 ma ọ bụ 2019, onye Bayesian jidere m na vidiyo jụrụ m ma m bụ onye Bayesian, m wee sị, Ee, abụ m onye Bayesian, mana m Abụ m onye Bayesian na-abụghị nke puru omume, ụdị nke, Bayesian nwere ike, ma ọ bụrụ na ịchọrọ.
ZDNet: Nke doro anya dị ka ihe si Star mee njem ahụ. Ị kwuru na njedebe nke akwụkwọ a, ọ ga-ewe ọtụtụ afọ nke ịrụsi ọrụ ike iji ghọta ihe ị na-eche. Gwa m ihe ụfọdụ n'ime ọrụ ahụ nwere ugbu a.
YL: Ya mere, m na-akọwa otú ị na-azụ na-ewu JEPA na akwụkwọ. Ma ihe m na-akwado maka ya bụ inwe ụzọ ụfọdụ iji bulie ọdịnaya ozi nke ihe nnọchianya ndị ewepụtara nwere gbasara ntinye. Ma nke abụọ na-ebelata njehie amụma. Ma ọ bụrụ na ị nwere a latent variable na amụma nke na-enye ohere amụma na-abụghị deterministic, ị ga- normalize a latent agbanwe site ibelata ozi ọdịnaya. Ya mere, ị nwere okwu abụọ ugbu a, nke bụ otu ị ga-esi na-ebuli ọdịnaya ozi nke mmepụta nke ụfọdụ neural net, na nke ọzọ bụ otu esi ebelata ozi ọdịnaya nke ụfọdụ mgbanwe latent? Ma ọ bụrụ na ịmeghị ihe abụọ ahụ, usoro ahụ ga-ada. Ọ gaghị amụta ihe ọ bụla na-adọrọ mmasị. Ọ ga-enye ihe ọ bụla ume efu, ihe dị otú ahụ, nke na-abụghị ezigbo ihe nlereanya nke ịdabere. Ọ bụ nsogbu mgbochi mgbochi ka m kwuru.
M na-ekwukwa maka ihe niile ndị mmadụ merela, e nwere naanị ụzọ abụọ iji gbochie ọdịda. Otu bụ ụzọ dị iche iche, nke ọzọ bụ usoro ndị a na-emekarị. Ya mere, echiche a nke ịbawanye ọdịnaya ozi nke ihe nnọchianya nke ntinye abụọ ahụ na ibelata ọdịnaya ozi nke mgbanwe latent, nke bụ nke usoro nhazi oge. Ma ọtụtụ n'ime ọrụ ndị ahụ na-arụkọ ọrụ ọnụ na-eji usoro dị iche. N'ezie, ọ ga-abụ na ha bụ ndị kacha ewu ewu n'oge a. Yabụ, ajụjụ a bụ otu esi elele ọdịnaya ozi n'ụzọ ị ga-ebuli ma ọ bụ wedata? Ma nke ahụ bụ ebe ihe na-agbagwojuru anya n'ihi na anyị amaghị n'ezie ka esi atụ ọdịnaya ozi. Anyị nwere ike ime ya, anyị nwere ike ime ya, anyị nwere ike ime ihe ndị dị otú ahụ. Mana ha anaghị atụle ọdịnaya ozi, nke, n'ezie, ruo n'ókè ụfọdụ akọwapụtaghị nke ọma.
ZDNet: Ọ bụghị iwu Shannon? Ọ bụghị ozi tiori? Ị nwere ụfọdụ ego nke entropy, ezigbo entropy na ọjọọ entropy, na ezigbo entropy bụ usoro akara na-arụ ọrụ, entropy ọjọọ bụ mkpọtụ. Ọ bụghị Shannon doziri ya niile?
YL: I kwuru eziokwu, mana enwere nnukwu ntụpọ n'azụ ya. Ị ziri ezi n'echiche na ọ bụrụ na ị nwere data na-abịakwute gị ma ị nwere ike n'ụzọ ụfọdụ gụpụta data ahụ n'ime akara ngosi dị iche iche, wee tụọ ohere nke ọ bụla n'ime akara ndị ahụ, mgbe ahụ oke ozi nke akara ndị ahụ na-ebu bụ nchikota n'elu ekwe omume akara nke Pi log Pi, nri? Ebee Pi bụ ihe gbasara omume nke akara m - nke ahụ bụ Shannon entropy. [A na-ahazikarị iwu Shannon dị ka H = – ∑ pi log pi.]
Otú ọ dị, nke a bụ nsogbu: Gịnị bụ Pi? Ọ dị mfe mgbe ọnụọgụ nke akara dị ntakịrị ma na-adọta akara ndị ahụ n'onwe ha. Mgbe enwere ọtụtụ akara na ndabere, ọ na-esi ike. Ya mere, ọ bụrụ na ị nwere usoro nke ibe n'ibe na ị na-eche na ibe n'ibe na-nwere onwe ha na ihe gbasara nke puru omume hà n'etiti otu na efu ma ọ bụ ihe ọ bụla, mgbe ahụ ị nwere ike mfe tụọ entropy, enweghị nsogbu. Mana ọ bụrụ na ihe ndị na-abịakwute gị bụ vectors dị elu, dịka, ị maara, okpokolo agba data, ma ọ bụ ihe dị ka nke a, gịnị bụ Pi? Gịnị bụ nkesa? Mbụ ị ga-atụle oghere ahụ, nke bụ nnukwu akụkụ, oghere na-aga n'ihu. Ị maghị etu esi agụta nke a nke ọma. Ị nwere ike iji k- pụtara, wdg. Nke a bụ ihe ndị mmadụ na-eme mgbe ha na-eme mkpakọ vidiyo na mkpakọ oyiyi. Mana ọ bụ naanị ihe gbasara. Na mgbe ahụ, ị ga-eme echiche nke nnwere onwe. Yabụ, o doro anya na n'ime vidiyo, okpokolo agba na-esochi enweghị onwe. Enwere ndabere, na etiti ahụ nwere ike ịdabere na etiti ọzọ ị hụrụ otu elekere gara aga, nke bụ foto nke otu ihe ahụ. Yabụ, ịmara, ị nweghị ike ịtụ Pi. Iji tụọ Pi, ị ga-enwe usoro mmụta igwe nke na-amụta ịkọ amụma. Ya mere, ị laghachiri na nsogbu gara aga. Yabụ, ị nwere ike ịgbakọ naanị oke ozi, n'ezie.
"Ajụjụ a bụ otu esi atụle ọdịnaya ozi n'ụzọ ị ga-ebuli ma ọ bụ wedata?" LeCun kwuru. "Ma nke ahụ bụ ebe ihe na-agbagwoju anya n'ihi na anyị amaghị n'ezie ka esi atụle ọdịnaya ozi." Ihe kachasị mma enwere ike ime ugbu a bụ ịchọta onye nnọchiteanya nke "dị mma maka ọrụ anyị chọrọ."
Ka m were ihe atụ ọzọ pụtara ìhè. Otu n'ime algọridim nke anyị na-egwuri egwu, nke m na-ekwukwa maka ya na mpempe akwụkwọ, bụ ihe a na-akpọ VICReg, variance-invariance-covariance regularization. Ọ bụ n'akwụkwọ dị iche nke e bipụtara na ICLR, na etinyere ya na arXiv ihe dị ka otu afọ gara aga, 2021. Na echiche dị na-ebuli ozi. Na echiche pụtara n'ezie na mbụ akwụkwọ nke otu m kpọrọ Barlow ejima. Ị na-ebuli ọdịnaya ozi nke vector na-esi na neural net pụta site, n'ụzọ bụ isi, na-eche na naanị ndabere dị n'etiti mgbanwe bụ njikọ, ịdabere n'ahịrị. Yabụ, ọ bụrụ na ị na-eche na naanị ịdabere na enwere ike n'etiti ụzọ abụọ nke mgbanwe, ma ọ bụ n'etiti mgbanwe dị na sistemụ gị, bụ njikọ n'etiti ụzọ abụọ bara uru, nke bụ oke siri ike, mgbe ahụ ị nwere ike bulie ọdịnaya ozi na-apụta na sistemụ gị. site n'ịhụ na ndị niile na-agbanwe agbanwe nwere ndị na-abụghị efu variance - ka anyị kwuo, variance otu, ọ dịghị mkpa ihe ọ bụ - na mgbe ahụ azụ-emekọ ha, otu usoro nke a na-akpọ whitening, ọ bụghịkwa ọhụrụ ma. Nsogbu dị na nke a bụ na ị nwere ike inwe ntụkwasị obi dị oke mgbagwoju anya n'etiti ma ọ bụ otu ụdị mgbanwe ma ọ bụ ọbụna naanị ụzọ abụọ nke mgbanwe ndị na-abụghị ndị na-adabere n'ahịrị, na ha anaghị egosi na njikọ. Yabụ, dịka ọmụmaatụ, ọ bụrụ na ị nwere mgbanwe abụọ, yana isi ihe niile nke mgbanwe abụọ ahụ kwụ n'ahịrị n'ụdị spiral, enwere ntụkwasị obi siri ike n'etiti mgbanwe abụọ ahụ, nri? Mana n'ezie, ọ bụrụ na ị gbakọọ njikọ dị n'etiti mgbanwe abụọ ahụ, anaghị ejikọta ha. Yabụ, ebe a bụ ọmụmaatụ ebe ọdịnaya ozi nke mgbanwe abụọ a dị ntakịrị, ọ bụ naanị otu ọnụọgụ n'ihi na ọ bụ ọnọdụ gị na okirikiri. Ha na-de-correlated, n'ihi ya, ị na-eche na ị nwere ọtụtụ ozi na-apụta na ndị abụọ variables mgbe n'ezie na ị na-adịghị, naanị ị nwere, ị maara, ị nwere ike ịkọ otu n'ime variables si nke ọzọ, n'ezie. Yabụ, nke ahụ na-egosi na anyị nwere naanị ụzọ dị nso iji tụọ ọdịnaya ozi.
ZDNet: Yabụ na nke ahụ bụ otu n'ime ihe ị ga-eji nke a arụ ọrụ ugbu a? Nke a bụ ajụjụ ka ukwuu nke otu anyị ga-esi mara mgbe anyị na-ebuli ma na-ebelata ọdịnaya ozi?
YL: Ma ọ bụ ma proxy anyị na-eji maka nke a ọ dị mma maka ọrụ anyị chọrọ. N'ezie, anyị na-eme nke a mgbe niile na mmụta igwe. Ọrụ ọnụ ahịa anyị na-ebelata abụghị nke anyị chọrọ ibelata. Yabụ, dịka ọmụmaatụ, ịchọrọ ịme nhazi ọkwa, ọ dị mma? Ọrụ ọnụ ahịa ịchọrọ iwelata mgbe ị na-azụ ihe nhazi bụ ọnụọgụ mmejọ nke classifier na-eme. Mana nke ahụ bụ ọrụ na-enweghị ike ịdị iche, ọnụ ahịa dị egwu nke ị na-enweghị ike ibelata n'ihi na ị maara na ị ga-agbanwe nha nke ụgbụ akwara gị, ọ nweghị ihe ga-agbanwe ruo mgbe otu n'ime ihe atụ ndị ahụ tụgharịrị mkpebi ya, wee wụli elu. na njehie, nti ma ọ bụ adịghị mma.
ZDNet: Yabụ ị nwere proxy nke bụ ebumnuche ebumnuche ị nwere ike ikwu n'ezie, anyị nwere ike ịgbasa gradients nke ihe a.
YL: Nke ahụ dị mma. Ya mere, ndị mmadụ na-eji nke a cross-entropy ọnwụ, ma ọ bụ SOFTMAX, ị nwere ọtụtụ aha maka ya, ma ọ bụ otu ihe ahụ. Ma ọ bụ isi bụ ihe dị mma nke ọnụ ọgụgụ nke njehie nke usoro ahụ na-eme, ebe a na-eme ka ọ dị nro site na, isi, na-eburu n'uche akara nke usoro ahụ na-enye onye ọ bụla n'ime edemede ahụ.
ZDNet: Ọ nwere ihe anyị ekpuchibeghị nke ị ga-achọ ikpuchi?
YL: O yikarịrị ka ọ na-emesi isi ihe ike. Echere m na sistemụ AI kwesịrị inwe ike ịtụgharị uche, na usoro maka nke a nke m na-akwado na-ebelata ebumnuche ụfọdụ gbasara ụfọdụ mgbanwe latent. Nke ahụ na-enye ohere ka usoro nhazi na iche echiche. Echere m na anyị kwesịrị ịhapụ usoro nke puru omume n'ihi na ọ na-agaghị ekwe omume mgbe anyị chọrọ ime ihe dị ka njide adabere n'etiti nnukwu akụkụ, mgbanwe na-aga n'ihu. Na m na-akwado ịhapụ generative ụdị n'ihi na usoro ga-etinye ọtụtụ ihe onwunwe na-ebu amụma ihe ndị siri ike ịkọ na eleghị anya na-eri oke ego. Na nke ahụ mara mma nke ukwuu. Nke ahụ bụ isi ozi, ma ọ bụrụ na ị chọrọ. Na mgbe ahụ n'ozuzu ije. Mgbe ahụ enwere nkọwa ndị ahụ banyere ọdịdị nke nsụhọ na ọrụ nke nhazi, ma nke a bụ n'ezie ịkọ nkọ.
ZDNet: Anyị ga-enweta nke ahụ oge ọzọ. M ga-ajụ gị, kedu ka ị ga-esi benchmark ihe a? Mana echere m na ị na-aga n'ihu na benchmarking ugbu a?
YL: Ọbụghị ka ọ dị na, ụdị-nke, ụdị dị mfe. Ị nwere ike ime ihe onye ọ bụla na-eme na njikwa ma ọ bụ nkwado mmụta, nke bụ, ịzụ ihe na-egwu egwuregwu Atari ma ọ bụ ihe yiri nke ahụ ma ọ bụ egwuregwu ọzọ nke nwere ụfọdụ ejighị n'aka na ya.
ZDNet: Daalụ maka oge gị, Yann.
English
Arabic
Belarusian
Bengali
Bosnian
Bulgarian
Chinese (Simplified)
Croatian
Czech
Danish
Dutch
English
Estonian
Filipino
Finnish
French
Georgian
German
Greek
Gujarati
Hausa
Hebrew
Hindi
Hmong
Hungarian
Igbo
Indonesian
Italian
Japanese
Javanese
Kazakh
Korean
Kurdish (Kurmanji)
Kyrgyz
Lao
Latvian
Lithuanian
Macedonian
Malagasy
Norwegian
Persian
Polish
Portuguese
Punjabi
Romanian
Russian
Serbian
Slovak
Slovenian
Spanish
Swedish
Thai
Turkish
Ukrainian
Vietnamese
Yoruba