Keep Calm and Stay Smart
04:29
Meta's AI guru LeCun: Pupọ julọ awọn ọna AI loni kii yoo yorisi oye oye
“Mo ro pe awọn eto AI nilo lati ni anfani lati ronu,” Yann LeCun, onimọ-jinlẹ AI olori Meta sọ. Awọn isunmọ AI olokiki loni gẹgẹbi Awọn Ayipada, eyiti ọpọlọpọ eyiti o kọ lori iṣẹ aṣaaju-ọna tirẹ ni aaye, kii yoo to. "O ni lati gbe igbesẹ kan pada ki o sọ pe, O dara, a kọ akaba yii, ṣugbọn a fẹ lọ si oṣupa, ati pe ko si ọna ti akaba yii yoo gba wa sibẹ," LeCun sọ.
Yan LeCun, olori AI ọmowé ti Awọn ohun-ini Meta, oniwun Facebook, Instagram, ati WhatsApp, ṣee ṣe lati fi ami si ọpọlọpọ eniyan ni aaye rẹ.
Pẹlu awọn ipolowo ni Okudu ti a ro nkan lori olupin Atunwo Ṣii, LeCun funni ni iwoye gbooro ti ọna ti o ro pe o ni ileri fun iyọrisi oye oye ipele eniyan ni awọn ẹrọ.
Gbajumo bayi
Itumọ ti ko ba ṣe alaye ninu iwe naa ni ariyanjiyan pe pupọ julọ awọn iṣẹ akanṣe nla ode oni ni AI kii yoo ni anfani lati de ibi-afẹde ipele-eniyan yẹn laelae.
Ni a fanfa yi oṣù pẹlu ZDNet nipasẹ Sun-un, LeCun ṣe kedere pe o n wo pẹlu ṣiyemeji pupọ ọpọlọpọ awọn ọna aṣeyọri julọ ti iwadii ni ikẹkọ jinlẹ ni akoko yii.
“Mo ro pe wọn ṣe pataki ṣugbọn ko to,” olubori Award Turing sọ ZDNet ti awọn ẹlẹgbẹ rẹ 'lepa.
Iyẹn pẹlu awọn awoṣe ede nla bii GPT-3 ti o da lori Transformer ati iru wọn. Gẹgẹbi LeCun ṣe ṣe apejuwe rẹ, awọn olufokansi Oluyipada gbagbọ, “A ṣe ami ohun gbogbo, a si kọ giganticAwọn awoṣe lati ṣe awọn asọtẹlẹ oye, ati bakan AI yoo jade kuro ninu eyi. ”
“Wọn ko ṣe aṣiṣe,” ni o sọ, “ni ọna pe iyẹn le jẹ apakan ti eto ọgbọn ọjọ iwaju, ṣugbọn Mo ro pe o padanu awọn ege pataki.”
tun: Meta's AI luminary LeCun ṣawari aala agbara ti ẹkọ ti o jinlẹ
O jẹ ibawi iyalẹnu ti ohun ti o dabi ẹni pe o ṣiṣẹ nbọ lati ọdọ ọmọwe ti o ṣe pipe lilo awọn nẹtiwọọki iṣọn-alọ ọkan, ilana iṣe iṣe ti o ti ni iṣelọpọ iyalẹnu ni awọn eto ikẹkọ jinlẹ.
LeCun rii awọn abawọn ati awọn idiwọn ni ọpọlọpọ awọn agbegbe aṣeyọri giga ti ibawi naa.
Ẹkọ imudara yoo tun ko to, o ṣetọju. Awọn oniwadi bii David Silver ti DeepMind, ti o ṣe agbekalẹ eto AlphaZero ti o ni oye Chess, Shogi ati Go, n fojusi awọn eto ti o “orisun pupọ,” LeCun ṣe akiyesi, ṣugbọn “pupọ julọ ẹkọ ti a ṣe, a ko ṣe ṣe nipa gbigbe awọn iṣe nitootọ, a ṣe nipasẹ wiwo.”
Lecun, 62, lati irisi ti awọn ewadun ti aṣeyọri, sibẹsibẹ n ṣalaye iyara kan lati koju ohun ti o ro pe awọn ọna afọju si eyiti ọpọlọpọ le yara, ati lati gbiyanju lati ṣabọ aaye rẹ ni itọsọna ti o ro pe ohun yẹ ki o lọ.
“A rii ọpọlọpọ awọn ẹtọ bi kini o yẹ ki a ṣe lati Titari siwaju si ipele AI eniyan,” o sọ. “Ati pe awọn imọran wa eyiti Mo ro pe wọn jẹ aṣina.”
Lecun sọ pé: “A ò tíì dé àyè tí àwọn ẹ̀rọ tó ní làákàyè ti ní òye tó pọ̀ tó bí ológbò. "Nitorina, kilode ti a ko bẹrẹ nibẹ?"
O ti kọ igbagbọ iṣaaju rẹ silẹ ni lilo awọn nẹtiwọọki ipilẹṣẹ ni awọn nkan bii asọtẹlẹ fireemu atẹle ninu fidio kan. "O ti jẹ ikuna patapata," o sọ.
LeCun tako awọn ti o pe ni “awọn iṣeeṣe elesin,” ẹniti “ronu ero iṣeeṣe jẹ ilana nikan ti o le lo lati ṣalaye ikẹkọ ẹrọ.”
Awọn odasaka iṣiro ona ni intractable, o wi. “O ti pọ ju lati beere fun awoṣe agbaye lati jẹ iṣeeṣe patapata; a ko mọ bi a ṣe le ṣe.
Kii ṣe awọn ọmọ ile-iwe nikan, ṣugbọn AI ile-iṣẹ nilo atunyẹwo jinlẹ, jiyan LeCun. Ọpọ eniyan ọkọ ayọkẹlẹ ti n wakọ ti ara ẹni, awọn ibẹrẹ bii Wayve, ti jẹ “ireti diẹ,” o sọ pe, nipa ironu pe wọn le “jabọ data si” awọn nẹtiwọọki aifọkanbalẹ nla “ati pe o le kọ ẹkọ pupọ julọ ohunkohun.”
“O mọ, Mo ro pe o ṣee ṣe patapata pe a yoo ni awọn ọkọ ayọkẹlẹ adase marun-un laisi ọgbọn ti o wọpọ,” o sọ, ni tọka si “ADAS,” eto iranlowo iwakọ to ti ni ilọsiwaju Awọn ofin fun wiwakọ ara ẹni, “ṣugbọn iwọ yoo ni lati ṣe imọ-ẹrọ apaadi kuro ninu rẹ.”
Iru imọ-ẹrọ wiwakọ ti ara ẹni ti o ju-ẹrọ yoo jẹ ohun kan bi creaky ati brittle bi gbogbo awọn eto iran kọnputa ti o jẹ ki o jẹ ti atijo nipasẹ ẹkọ jinlẹ, o gbagbọ.
“Nígbẹ̀yìngbẹ́yín, ìtẹ́lọ́rùn àti ojútùú tí ó dára jù lọ yóò wà tí ó kan àwọn ètò tí ó ṣe iṣẹ́ tí ó dára jù lọ láti lóye bí ayé ṣe ń ṣiṣẹ́.”
Gbajumo bayi
Ni ọna, LeCun nfunni diẹ ninu awọn iwo gbigbẹ ti awọn alariwisi nla julọ, gẹgẹbi ọjọgbọn NYU Gary Marcus - “ko ti ṣe alabapin ohunkohun si AI” - ati Jürgen Schmidhuber, oludari-alakoso ti Dalle Molle Institute fun Iwadi oye oye ti Artificial - “o jẹ. rọrun pupọ lati ṣe gbingbin asia. ”
Ni ikọja awọn atako, aaye pataki diẹ sii ti LeCun ṣe ni pe awọn iṣoro ipilẹ kan koju gbogbo AI, ni pataki, bii o ṣe le wọn alaye.
“O ni lati gbe igbesẹ kan sẹhin ki o sọ pe, O dara, a kọ akaba yii, ṣugbọn a fẹ lati lọ si oṣupa, ko si ọna ti akaba yii yoo gba wa sibẹ,” LeCun sọ nipa ifẹ rẹ lati tọ atunyẹwo ti ipilẹ agbekale. "Ni ipilẹ, ohun ti Mo n kọ nibi ni, a nilo lati kọ awọn apata, Emi ko le fun ọ ni awọn alaye ti bi a ṣe n kọ awọn rockets, ṣugbọn nibi ni awọn ilana ipilẹ."
Iwe naa, ati awọn ero LeCun ninu ifọrọwanilẹnuwo, le ni oye daradara nipa kika ifọrọwanilẹnuwo LeCun ni ibẹrẹ ọdun yii pẹlu ZDNet ninu eyiti o ṣe ariyanjiyan fun ikẹkọ ti ara ẹni ti o da lori agbara bi ọna siwaju fun ẹkọ ti o jinlẹ. Awọn iṣaroye yẹn funni ni oye ti ọna pataki si ohun ti o nireti lati kọ bi yiyan si awọn ohun ti o sọ pe kii yoo jẹ ki o de laini ipari.
Ohun ti o tẹle jẹ iwe afọwọkọ ti o ni irọrun ti ifọrọwanilẹnuwo.
ZDNet: Koko-ọrọ ti iwiregbe wa ni iwe yii, “Ọna kan si oye ẹrọ adase,” ti ikede wo ni 0.9.2 jẹ ẹya ti o wa, bẹẹni?
Yan LeCun: Bẹẹni, Mo ro eyi, too-ti, iwe iṣẹ kan. Nitorinaa, Mo fiweranṣẹ lori Ṣiṣayẹwo Ṣii, nduro fun awọn eniyan lati ṣe awọn asọye ati awọn imọran, boya awọn itọkasi afikun, ati lẹhinna Emi yoo ṣe agbejade ẹya ti a tunṣe.
ZDNet: Mo rii pe Juergen Schmidhuber ti ṣafikun diẹ ninu awọn asọye si Ṣiyẹwo Ṣii.
YL: O dara, bẹẹni, o ṣe nigbagbogbo. Mo tọka si ọkan ninu awọn iwe rẹ nibẹ ninu iwe mi. Mo ro pe awọn ariyanjiyan ti o ṣe lori awọn nẹtiwọọki awujọ ti o ṣe ipilẹ gbogbo eyi ni 1991, gẹgẹ bi o ti ṣe ni awọn ọran miiran, kii ṣe ọran naa. Mo tumọ si, o rọrun pupọ lati ṣegbingbin asia, ati si, iru-ti, kọ imọran laisi eyikeyi awọn adanwo, laisi ero eyikeyi, kan daba pe o le ṣe ni ọna yii. Ṣugbọn, o mọ, iyatọ nla wa laarin nini imọran nikan, ati lẹhinna gbigba lati ṣiṣẹ lori iṣoro ohun-iṣere kan, ati lẹhinna gbigba lati ṣiṣẹ lori iṣoro gidi kan, ati lẹhinna ṣiṣe ilana kan ti o fihan idi ti o fi ṣiṣẹ, ati lẹhinna imuṣiṣẹ rẹ. Nibẹ ni kan gbogbo pq, ati awọn re agutan ti ijinle sayensi gbese ni wipe o jẹ awọn gan akọkọ eniyan ti o kan, too-ti, o mọ, ní awọn agutan ti ti, ti o yẹ ki o gba gbogbo awọn gbese. Ati awọn ti o ni yeye.
ZDNet: Maṣe gbagbọ ohun gbogbo ti o gbọ lori media media.
YL: Mo tumọ si, iwe akọkọ ti o sọ pe o yẹ ki n tọka ko ni eyikeyi awọn imọran akọkọ ti Mo sọrọ nipa rẹ ninu iwe naa. O tun ṣe eyi pẹlu awọn GAN ati awọn ohun miiran, eyiti ko jẹ otitọ. O rọrun lati ṣe dida asia, o nira pupọ lati ṣe idasi kan. Ati pe, nipasẹ ọna, ninu iwe pato yii, Mo sọ ni gbangba pe eyi kii ṣe iwe ijinle sayensi ni ori deede ti ọrọ naa. O jẹ diẹ sii ti iwe ipo kan nipa ibiti nkan yii yẹ ki o lọ. Ati pe awọn imọran meji wa nibẹ ti o le jẹ tuntun, ṣugbọn pupọ julọ kii ṣe. Mo n ko Annabi eyikeyi ayo lori julọ ti ohun ti mo ti kowe ni wipe iwe, pataki.
Ẹkọ imuduro paapaa kii yoo to, LeCun n ṣetọju. Awọn oniwadi bii David Silver ti DeepMind, ti o ṣe agbekalẹ eto AlphaZero ti o ni oye Chess, Shogi ati Go, jẹ “ti o da lori iṣe pupọ,” LeCun ṣe akiyesi, ṣugbọn “pupọ julọ ti ẹkọ ti a ṣe, a ko ṣe nipasẹ gbigbe gangan. awọn iṣe, a ṣe nipasẹ wiwo. ”
ZDNet: Ati pe iyẹn jẹ aaye to dara lati bẹrẹ, nitori Mo ṣe iyanilenu kilode ti o lepa ọna yii ni bayi? Kini o ro nipa eyi? Kini idi ti o fẹ kọ eyi?
YL: O dara, nitorinaa, Mo ti n ronu nipa eyi fun igba pipẹ pupọ, nipa ọna kan si ipele ti eniyan tabi iru-ẹranko iru oye tabi ẹkọ ati awọn agbara. Ati pe, ninu awọn ọrọ mi Mo ti jẹ ohun ti o lẹwa nipa gbogbo nkan yii pe ikẹkọ abojuto mejeeji ati ikẹkọ imuduro ko to lati farawe iru ẹkọ ti a ṣe akiyesi ninu awọn ẹranko ati eniyan. Mo ti n ṣe eyi fun nkan bi ọdun meje tabi mẹjọ. Nitorinaa, kii ṣe aipẹ. Mo ni koko-ọrọ kan ni NeurIPS ni ọpọlọpọ ọdun sẹyin nibiti Mo ti sọ aaye yẹn, pataki, ati awọn ọrọ oriṣiriṣi, awọn gbigbasilẹ wa. Bayi, kilode ti o kọ iwe ni bayi? Mo ti wa si aaye - [Oluwadi Ọpọlọ Google] Geoff Hinton ti ṣe nkan ti o jọra - Mo tumọ si, dajudaju, diẹ sii ju mi lọ, a rii pe akoko n lọ. A kii ṣe ọdọ.
ZDNet: Ogota ni aadọta titun.
YL: Iyẹn jẹ otitọ, ṣugbọn aaye naa ni, a rii ọpọlọpọ awọn iṣeduro bi kini o yẹ ki a ṣe lati Titari siwaju si ipele eniyan ti AI. Ati pe awọn imọran wa ti Mo ro pe wọn ṣina. Nitorinaa, imọran kan ni, Oh, o yẹ ki a ṣafikun ironu aami lori oke awọn netiwọki nkankikan. Ati pe emi ko mọ bi a ṣe le ṣe eyi. Nitorinaa, boya ohun ti Mo ṣalaye ninu iwe le jẹ ọna kan ti yoo ṣe ohun kanna laisi ifọwọyi aami ti o han gbangba. Eyi ni iru aṣa Gary Marcuses ti agbaye. Gary Marcus kii ṣe eniyan AI, nipasẹ ọna, o jẹ onimọ-jinlẹ. Ko ti ṣe alabapin ohunkohun si AI. O ti ṣe iṣẹ ti o dara gaan ni imọ-jinlẹ adanwo ṣugbọn ko kọ iwe atunyẹwo ẹlẹgbẹ kan rara lori AI. Nitorinaa, awọn eniyan yẹn wa.
O wa [DeepMind onimo ijinlẹ iwadii opo] David Silvers ti agbaye ti o sọ pe, o mọ, ere ti to, ni ipilẹ, gbogbo rẹ jẹ nipa ẹkọ imuduro, a kan nilo lati jẹ ki o munadoko diẹ sii, o dara? Ati pe, Mo ro pe wọn ko ṣe aṣiṣe, ṣugbọn Mo ro pe awọn igbesẹ to ṣe pataki si ṣiṣe ikẹkọ imudara siwaju sii daradara, ni ipilẹ, yoo ṣe igbasilẹ ikẹkọ iranlọwọ lati too ṣẹẹri kan lori akara oyinbo naa. Ati apakan akọkọ ti o padanu ni kikọ bi agbaye ṣe n ṣiṣẹ, pupọ julọ nipasẹ akiyesi laisi iṣe. Ẹkọ imudara jẹ orisun iṣe pupọ, o kọ awọn nkan nipa agbaye nipa gbigbe awọn iṣe ati ri awọn abajade.
ZDNet: Ati awọn ti o ni ere-lojutu.
YL: O jẹ idojukọ-ere, ati pe o tun ni idojukọ-iṣe pẹlu. Nitorinaa, o ni lati ṣiṣẹ ni agbaye lati ni anfani lati kọ nkan nipa agbaye. Ati pe ibeere akọkọ ti Mo ṣe ninu iwe naa nipa ikẹkọ ti ara ẹni ni, pupọ julọ ti ẹkọ ti a ṣe, a ko ṣe nipasẹ ṣiṣe awọn iṣe gangan, a ṣe nipasẹ akiyesi. Ati pe o jẹ aiṣedeede pupọ, mejeeji fun awọn eniyan ikẹkọ imudara, ni pataki, ṣugbọn tun fun ọpọlọpọ awọn onimọ-jinlẹ ati awọn onimọ-jinlẹ oye ti o ro pe, o mọ, iṣe jẹ - Emi ko sọ pe iṣe ko ṣe pataki, o is pataki. Ṣugbọn Mo ro pe pupọ julọ ohun ti a kọ jẹ pupọ julọ nipa eto agbaye, ati pe o kan, dajudaju, ibaraenisepo ati iṣe ati ere, ati awọn nkan bii iyẹn, ṣugbọn pupọ ninu rẹ jẹ akiyesi.
ZDNet: Iwọ yoo tun ṣakoso lati fi ami si awọn eniyan Transformer, ede-akọkọ eniyan, ni akoko kanna. Bawo ni o ṣe le kọ eyi laisi ede ni akọkọ? O le ṣakoso lati fi ami si ọpọlọpọ eniyan.
YL: Bẹẹni, Mo ti mọ iyẹn. Nitorinaa, bẹẹni, awọn eniyan akọkọ wa ni ede, ti o sọ pe, o mọ, oye jẹ nipa ede, ipilẹ oye ni ede, blah, blah, blah. Ṣugbọn iyẹn, iru-ti, kọ oye ti ẹranko kuro. Ṣe o mọ, a ko de aaye nibiti awọn ẹrọ ti oye wa ni oye ti o wọpọ bi ologbo. Nitorina, kilode ti a ko bẹrẹ nibẹ? Kini o jẹ ki ologbo kan gba agbaye ti o wa ni ayika, ṣe awọn ohun ti o gbọn, ati gbero ati nkan bii iyẹn, ati awọn aja paapaa dara julọ?
Lẹhinna gbogbo eniyan wa ti o sọ pe, Oh, oye jẹ nkan ti awujọ, abi? A ni oye nitori a sọrọ si ara wa ati pe a paarọ alaye, ati blah, blah, blah. Oriṣiriṣi awọn eya ti kii ṣe awujọ ti ko pade awọn obi wọn ti o ni oye pupọ, bii ẹja ẹlẹsẹ mẹjọ tabi orangutans.Mo tumọ si, wọn [orangutans] dajudaju wọn ti kọ ẹkọ nipasẹ iya wọn, ṣugbọn wọn kii ṣe ẹranko awujọ.
Ṣugbọn ẹka miiran ti awọn eniyan ti MO le fi ami si ni awọn eniyan ti o sọ pe irẹjẹ ti to. Nitorinaa, ni ipilẹ, a kan lo awọn Ayirapada gigantic, a kọ wọn lori data multimodal ti o kan, o mọ, fidio, ọrọ, blah, blah, blah. A, irú-ti, petrifyohun gbogbo, ati ki o tokenize ohun gbogbo, ati ki o si irin giganticawọn awoṣe lati ṣe awọn asọtẹlẹ ọtọtọ, ni ipilẹ, ati bakan AI yoo jade kuro ninu eyi. Wọn ko ṣe aṣiṣe, ni ọna pe iyẹn le jẹ paati ti eto oye ọjọ iwaju. Ṣugbọn Mo ro pe o padanu awọn ege pataki.
Ẹya miiran wa ti awọn eniyan Emi yoo fi ami si pẹlu iwe yii. Ati pe o jẹ awọn iṣeeṣe, awọn iṣeeṣe ẹsin. Nitorinaa, awọn eniyan ti o ronu ilana iṣeeṣe jẹ ilana nikan ti o le lo lati ṣalaye ikẹkọ ẹrọ. Ati pe bi Mo ṣe gbiyanju lati ṣalaye ninu nkan naa, o jẹ pataki pupọ lati beere fun awoṣe agbaye lati jẹ iṣeeṣe patapata. A ko mọ bi a ṣe le ṣe. Iṣiro intractability wa. Nitorinaa Mo n daba lati ju gbogbo imọran yii silẹ. Ati pe dajudaju, o mọ, eyi jẹ ọwọn nla ti kii ṣe ẹkọ ẹrọ nikan, ṣugbọn gbogbo awọn iṣiro, eyiti o sọ pe o jẹ ilana deede fun ikẹkọ ẹrọ.
Ohun miiran -
ZDNet: O wa lori yipo…
YL: - jẹ ohun ti a npe ni awọn awoṣe ipilẹṣẹ. Nitorinaa, imọran ti o le kọ ẹkọ lati ṣe asọtẹlẹ, ati pe o le kọ ẹkọ pupọ nipa agbaye nipasẹ asọtẹlẹ. Nitorinaa, Mo fun ọ ni nkan kan ti fidio ati pe Mo beere lọwọ eto lati sọ asọtẹlẹ ohun ti o ṣẹlẹ ni atẹle ninu fidio naa. Ati pe Mo le beere lọwọ rẹ lati ṣe asọtẹlẹ awọn fireemu fidio gangan pẹlu gbogbo awọn alaye. Ṣugbọn ohun ti Mo jiyan nipa ninu iwe ni pe iyẹn gaan pupọ lati beere ati idiju pupọ. Ati pe eyi jẹ nkan ti Mo yi ọkan mi pada nipa. Titi di ọdun meji sẹyin, Mo jẹ alagbawi ti ohun ti Mo pe ni awọn awoṣe ipilẹṣẹ alayipada, awọn awoṣe ti o sọ asọtẹlẹ ohun ti yoo ṣẹlẹ nigbamii tabi alaye ti o nsọnu, o ṣee ṣe pẹlu iranlọwọ ti oniyipada wiwadi, ti asọtẹlẹ ko ba le jẹ. ipinnu. Ati ki o Mo ti sọ fun soke lori yi. Ati pe idi ti Mo ti fi silẹ lori eyi da lori awọn abajade agbara, nibiti awọn eniyan ti gbiyanju lati lo, too-ti, asọtẹlẹ tabi ikẹkọ ti o da lori atunkọ ti iru ti o lo ni BERTati awọn awoṣe ede nla, wọn ti gbiyanju lati lo eyi si awọn aworan, ati pe o jẹ ikuna pipe. Ati pe idi ti o jẹ ikuna pipe ni, lẹẹkansi, nitori awọn idiwọ ti awọn awoṣe iṣeeṣe nibiti o rọrun lati ṣe asọtẹlẹ awọn ami iyasọtọ bi awọn ọrọ nitori a le ṣe iṣiro pinpin iṣeeṣe lori gbogbo awọn ọrọ ninu iwe-itumọ. Iyẹn rọrun. Ṣugbọn ti a ba beere pe eto naa lati gbejade pinpin iṣeeṣe lori gbogbo awọn fireemu fidio ti o ṣeeṣe, a ko ni imọran bi a ṣe le ṣe paramita rẹ, tabi a ni imọran diẹ bi o ṣe le ṣe paramita rẹ, ṣugbọn a ko mọ bi a ṣe le ṣe deede. O deba iṣoro mathematiki ti ko le yanju ti a ko mọ bi a ṣe le yanju.
Lecun sọ pé: “A ò tíì dé àyè tí àwọn ẹ̀rọ tó ní làákàyè ti ní òye tó pọ̀ tó bí ológbò. “Nitorina, kilode ti a ko bẹrẹ nibẹ? Kini ohun ti o fun laaye ologbo lati mu agbaye ti o wa ni ayika, ṣe awọn ohun ọlọgbọn lẹwa, ati gbero ati nkan bii iyẹn, ati awọn aja paapaa dara julọ?”
Nitorinaa, iyẹn ni idi ti MO fi sọ pe jẹ ki a kọ ẹkọ iṣeeṣe tabi ilana fun awọn nkan bii iyẹn, ọkan ti ko lagbara, awọn awoṣe ti o da lori agbara. Mo ti n ṣe agbero fun eyi, paapaa, fun awọn ọdun mẹwa, nitorinaa kii ṣe nkan aipẹ. Ṣugbọn ni akoko kanna, fifisilẹ ero ti awọn awoṣe ipilẹṣẹ nitori pe ọpọlọpọ awọn nkan wa ni agbaye ti ko ni oye ati kii ṣe asọtẹlẹ. Ti o ba jẹ ẹlẹrọ, o pe ariwo. Ti o ba jẹ physicist, o pe ni ooru. Ati pe ti o ba jẹ eniyan ikẹkọ ẹrọ, o pe, o mọ, awọn alaye ti ko ṣe pataki tabi ohunkohun ti.
Nitorinaa, apẹẹrẹ ti Mo lo ninu iwe naa, tabi Mo ti lo ninu awọn ijiroro, ni, o fẹ eto asọtẹlẹ-aye ti yoo ṣe iranlọwọ ninu ọkọ ayọkẹlẹ ti ara ẹni, otun? O fẹ lati ni anfani lati ṣe asọtẹlẹ, ni ilosiwaju, awọn itọpa ti gbogbo awọn ọkọ ayọkẹlẹ miiran, kini yoo ṣẹlẹ si awọn ohun miiran ti o le gbe, awọn ẹlẹsẹ, awọn kẹkẹ keke, ọmọde ti n ṣiṣẹ lẹhin bọọlu afẹsẹgba, awọn nkan bii iyẹn. Nitorina, gbogbo iru nkan nipa aye. Ṣugbọn ni agbegbe ọna, awọn igi le wa, ati pe afẹfẹ wa loni, nitorinaa awọn ewe n lọ ni afẹfẹ, ati lẹhin awọn igi nibẹ ni adagun kan, ati awọn ripples wa ninu adagun naa. Ati pe iyẹn jẹ, ni pataki, awọn iyalẹnu aisọtẹlẹ pupọ. Ati pe, iwọ ko fẹ ki awoṣe rẹ lo iye pataki ti awọn orisun asọtẹlẹ awọn nkan wọnyẹn ti o ṣoro lati ṣe asọtẹlẹ ati pe ko ṣe pataki. Nitorinaa iyẹn ni idi ti MO ṣe n ṣeduro fun iṣọpọ ifisinu apapọ, awọn nkan wọnyẹn nibiti oniyipada ti o n gbiyanju lati ṣe awoṣe, iwọ ko gbiyanju lati sọ asọtẹlẹ rẹ, o n gbiyanju lati ṣe awoṣe, ṣugbọn o ṣiṣẹ nipasẹ koodu koodu, ati koodu koodu le ṣe imukuro ọpọlọpọ awọn alaye nipa titẹ sii ti ko ṣe pataki tabi idiju pupọ - ni ipilẹ, deede si ariwo.
ZDNet: A sọrọ ni ibẹrẹ ọdun yii awọn awoṣe ti o da lori agbara, JEPA ati H-JEPA. Ori mi, ti MO ba loye rẹ ni deede, ṣe o n wa aaye ti agbara kekere nibiti awọn asọtẹlẹ meji ti awọn ifibọ X ati Y jọra julọ, eyiti o tumọ si pe ti ẹiyẹle kan ba wa ninu igi kan, ati pe ohun kan wa ninu abẹlẹ ti iṣẹlẹ kan, awọn le ma jẹ awọn aaye pataki ti o jẹ ki awọn ifibọ wọnyi sunmọ ara wọn.
YL: Ọtun. Nitorinaa, faaji JEPA gaan n gbiyanju lati wa iṣowo kan, adehun, laarin awọn aṣoju yiyọkuro ti o jẹ alaye ti o pọju nipa awọn igbewọle ṣugbọn tun ṣe asọtẹlẹ lati ara wọn pẹlu ipele ti deede tabi igbẹkẹle. O n wa iṣowo kan. Nitorinaa, ti o ba ni yiyan laarin lilo iye awọn orisun pupọ pẹlu awọn alaye ti išipopada ti awọn ewe, ati lẹhinna ṣe apẹẹrẹ awọn agbara ti yoo pinnu bii awọn ewe naa ṣe n gbe iṣẹju-aaya kan lati igba yii, tabi o kan sisọ pe lori ilẹ nipasẹ kan besikale nṣiṣẹ Y oniyipada nipasẹ kan asọtẹlẹ ti o ti jade gbogbo awọn ti awon alaye, o yoo jasi o kan imukuro o nitori o ni o kan ju gidigidi lati awoṣe ki o si Yaworan.
ZDNet: Ohun kan ti o yanilẹnu ni pe o ti jẹ alatilẹyin nla ti sisọ “O ṣiṣẹ, a yoo ro ero nigbamii ti imọ-jinlẹ ti thermodynamics lati ṣalaye rẹ.” Nibi o ti gba ọna ti, “Emi ko mọ bi a ṣe le yanju eyi dandan, ṣugbọn Mo fẹ lati fi diẹ ninu awọn imọran siwaju lati ronu nipa rẹ,” ati boya paapaa sunmọ imọ-jinlẹ tabi arosọ kan, ni o kere ju. Iyẹn jẹ iyanilenu nitori pe ọpọlọpọ eniyan n lo owo pupọ ṣiṣẹ lori ọkọ ayọkẹlẹ ti o le rii alarinkiri laibikita boya ọkọ ayọkẹlẹ naa ni oye ti o wọpọ. Ati pe Mo ro pe diẹ ninu awọn eniyan yẹn yoo jẹ, kii ṣe ami si, ṣugbọn wọn yoo sọ pe, “Iyẹn dara, a ko bikita ti ko ba ni oye ti o wọpọ, a ti kọ simulation kan, kikopa naa jẹ iyalẹnu, ati pe a yoo tẹsiwaju ni ilọsiwaju, a yoo tẹsiwaju iwọn kikopa naa. ”
Ati nitorinaa o jẹ iyanilenu pe o wa ni ipo lati sọ ni bayi, jẹ ki a gbe igbesẹ kan sẹhin ki o ronu nipa ohun ti a n ṣe. Ati pe ile-iṣẹ naa n sọ pe a kan yoo lọ si iwọn, iwọn, iwọn, iwọn, nitori pe crank ṣiṣẹ gaan. Mo tumọ si, ibẹrẹ semikondokito ti awọn GPU ṣiṣẹ gaan.
YL: Bi, awọn ibeere marun wa nibẹ. Nitorinaa, Mo tumọ si, wiwọn jẹ dandan. Emi ko ṣofintoto otitọ pe o yẹ ki a ṣe iwọn. A yẹ ki o iwọn. Àwọn àwọ̀n ara wọ̀nyẹn máa ń dára sí i bí wọ́n ṣe ń dàgbà sí i. Ko si ibeere ti a yẹ ki o iwọn. Ati awọn ti yoo ni diẹ ninu awọn ipele ti ogbon ori yoo jẹ nla. Ko si ọna ni ayika iyẹn, Mo ro pe. Nitorinaa wiwọn dara, o jẹ dandan, ṣugbọn ko to. Iyẹn ni aaye ti Mo n ṣe. Kii ṣe iwọn iwọn nikan. Iyẹn ni aaye akọkọ.
Ojuami keji, boya imọran wa ni akọkọ ati awọn nkan bii iyẹn. Nitorinaa, Mo ro pe awọn imọran wa ti o wa ni akọkọ pe, o ni lati gbe igbesẹ kan sẹhin ki o sọ, o dara, a kọ akaba yii, ṣugbọn a fẹ lọ si oṣupa ati pe ko si ọna ti akaba yii yoo gba wa sibẹ. Nitorinaa, ni ipilẹ, ohun ti Mo nkọ nibi ni, a nilo lati kọ awọn apata. Emi ko le fun ọ ni awọn alaye ti bi a ti kọ rockets, sugbon nibi ni o wa awọn ipilẹ agbekale. Ati pe Emi ko kọ ẹkọ kan fun rẹ tabi ohunkohun, ṣugbọn, yoo jẹ rọkẹti, o dara? Tabi elevator aaye tabi ohunkohun ti. A le ma ni gbogbo alaye ti gbogbo imọ-ẹrọ. A n gbiyanju lati jẹ ki diẹ ninu awọn nkan wọnyẹn ṣiṣẹ, bii Mo ti n ṣiṣẹ lori JEPA. Ifibọpọ apapọ ṣiṣẹ daradara fun idanimọ aworan, ṣugbọn lati lo lati ṣe ikẹkọ awoṣe agbaye, awọn iṣoro wa. A n ṣiṣẹ lori rẹ, a nireti pe a yoo jẹ ki o ṣiṣẹ soon, ṣùgbọ́n a lè bá àwọn ìṣòro kan pàdé níbẹ̀ tí a kò lè borí, bóyá.
Lẹhinna ero pataki kan wa ninu iwe nipa ero nibiti ti a ba fẹ awọn eto lati ni anfani lati gbero, eyiti o le ronu bi ọna ero ti o rọrun, wọn nilo lati ni awọn oniyipada wiwakọ. Ni awọn ọrọ miiran, awọn nkan ti ko ṣe iṣiro nipasẹ eyikeyi neural net ṣugbọn awọn nkan ti o jẹ - ti iye wọn jẹ aropin lati dinku iṣẹ akanṣe kan, diẹ ninu iṣẹ idiyele. Ati lẹhinna o le lo iṣẹ idiyele yii lati wakọ ihuwasi ti eto naa. Ati pe eyi kii ṣe imọran tuntun rara, otun? Eyi jẹ kilasika pupọ, iṣakoso ti o dara julọ nibiti ipilẹ ti eyi tun pada si awọn 50s ti o pẹ, ni kutukutu 60s. Nitorinaa, ko beere eyikeyi aratuntun nibi. Ṣugbọn ohun ti Mo n sọ ni pe iru ifọkasi yii gbọdọ jẹ apakan ti eto oye ti o lagbara lati gbero, ati pe ihuwasi rẹ le jẹ pato tabi ṣakoso kii ṣe nipasẹ ihuwasi lile, kii ṣe nipasẹ gbigbera afarawe, ṣugbọn nipasẹ iṣẹ idi kan ti iwakọ ihuwasi — ko ni wakọ eko, dandan, sugbon o iwakọ ihuwasi. Ṣe o mọ, a ni iyẹn ninu ọpọlọ wa, ati pe gbogbo ẹranko ni idiyele ojulowo tabi awọn iwuri fun awọn nkan. Ti o nfa ọmọ osu mẹsan lati fẹ lati dide. Iye owo ti idunnu nigbati o ba dide, ọrọ yẹn ninu iṣẹ idiyele jẹ wiwọ lile. Ṣugbọn bi o ṣe dide kii ṣe, ẹkọ niyẹn.
“Iwọnwọn dara, o jẹ dandan, ṣugbọn ko to,” ni LeCun sọ ti awọn awoṣe ede nla gẹgẹbi awọn eto ti o da lori Transformer ti GPT-3 orisirisi. Awọn olufokansi Amunawa gbagbọ, “A ṣe ami ohun gbogbo, a si ṣe ikẹkọ giganticAwọn awoṣe lati ṣe awọn asọtẹlẹ oye, ati bakan AI yoo jade kuro ninu eyi… ṣugbọn Mo ro pe o padanu awọn ege pataki. ”
ZDNet: O kan lati yi aaye yẹn jade, pupọ ti agbegbe ikẹkọ jinlẹ dabi pe o dara siwaju pẹlu nkan ti ko ni oye ti o wọpọ. O dabi ẹnipe o n ṣe ariyanjiyan ti o han kedere nibi pe ni aaye kan o di aibikita. Diẹ ninu awọn eniyan sọ pe a ko nilo ọkọ ayọkẹlẹ adase pẹlu oye ti o wọpọ nitori wiwọn yoo ṣe. O dabi pe o n sọ pe ko dara lati kan tẹsiwaju ni ọna yẹn?
YL: Ṣe o mọ, Mo ro pe o ṣee ṣe patapata pe a yoo ni awọn ọkọ ayọkẹlẹ adase ipele marun laisi oye ti o wọpọ. Ṣugbọn iṣoro pẹlu ọna yii, eyi yoo jẹ igba diẹ, nitori iwọ yoo ni lati ṣe ẹlẹrọ apaadi kuro ninu rẹ. Nitorinaa, o mọ, ṣe maapu gbogbo agbaye, okun-lile gbogbo iru ihuwasi ọran-igun kan pato, gba data ti o to ti o ni gbogbo, iru-ti, awọn ipo ajeji ti o le ba pade lori awọn ọna, blah, blah, blah. Ati pe amoro mi ni pe pẹlu idoko-owo to ati akoko, o le kan ẹlẹrọ apaadi kuro ninu rẹ. Ṣugbọn nikẹhin, itẹlọrun diẹ sii ati o ṣee ṣe ojutu ti o dara julọ ti o kan awọn eto ti o ṣe iṣẹ ti o dara julọ ti agbọye ọna ti agbaye n ṣiṣẹ, ati pe o mọ, ipele diẹ ti ohun ti a yoo pe ni oye ti o wọpọ. Ko nilo lati jẹ oye ti o wọpọ ipele ti eniyan, ṣugbọn diẹ ninu iru imọ ti eto naa le gba nipasẹ wiwo, ṣugbọn kii ṣe wiwo ẹnikan ti n wakọ, o kan wiwo nkan ti nlọ ni ayika ati oye pupọ nipa agbaye, ṣiṣe ipilẹ ti ẹhin. imọ nipa bi agbaye ṣe n ṣiṣẹ, lori oke eyiti o le kọ ẹkọ lati wakọ.
Jẹ ki n gba apẹẹrẹ itan kan ti eyi. Iranran kọnputa kilasika da lori ọpọlọpọ awọn wiwọ lile, awọn modulu ti a ṣe, lori oke eyiti iwọ yoo ni, iru-ara, ipele tinrin ti ẹkọ. Nitorinaa, nkan ti o lu nipasẹ AlexNet ni ọdun 2012, ni ipilẹ ipele akọkọ, iru-ara, awọn isediwon ẹya-ara ti a fi ọwọ ṣe, bii SIFTs (Iyipada Ẹya Aṣa-Iyipada Iyipada (SIFT), ilana iran Ayebaye lati ṣe idanimọ awọn nkan pataki ni aworan kan] ati HOG [Histogram of Oriented Gradients, ilana Ayebaye miiran] ati ọpọlọpọ awọn nkan miiran. Ati lẹhinna ipele keji ti, too-ti, awọn ẹya ipele aarin ti o da lori awọn ekuro ẹya ati ohunkohun ti, ati diẹ ninu awọn ọna ti ko ni abojuto. Ati lẹhinna lori oke eyi, o fi ẹrọ fekito atilẹyin kan, tabi bibẹẹkọ olutọpa ti o rọrun ti o rọrun. Ati pe iyẹn ni, iru-ara, opo gigun ti epo lati aarin-2000s si 2012. Ati pe eyi ti rọpo nipasẹ awọn apapọ convolutional opin-si-opin, nibiti o ko ṣe lile eyikeyi ninu eyi, o kan ni data pupọ, ati pe o kọ nkan naa lati opin si opin, eyiti o jẹ ọna ti Mo ti n ṣeduro fun igba pipẹ, ṣugbọn o mọ, titi di igba naa, ko wulo fun awọn iṣoro nla.
Itan kan ti o jọra wa ni idanimọ ọrọ nibiti, lẹẹkansi, iye nla ti imọ-ẹrọ alaye wa fun bii o ṣe ṣaju data naa, o yọkuro cepstrum iwọn-ibi-iwọn [iyipada ti Yipada Yara Fourier fun sisẹ ifihan agbara], ati lẹhinna o ni Awọn awoṣe Markov Farasin, pẹlu too-ti, faaji ti a ṣeto tẹlẹ, blah, blah, blah, pẹlu Adalu ti Gaussians. Ati nitorinaa, o jẹ diẹ ti faaji kanna bi iran nibiti o ti ṣe afọwọṣe iwaju-ipari, ati lẹhinna a ko ni abojuto ni itumo, ikẹkọ, Layer aarin, ati lẹhinna Layer abojuto lori oke. Ati pe ni bayi iyẹn ti jẹ, ni ipilẹ, ti parẹ nipasẹ awọn netiwọnu nkankikan si opin. Nitorinaa Mo rii iru nkan ti o jọra nibẹ ti igbiyanju lati kọ ohun gbogbo, ṣugbọn o ni lati ni ẹtọ ṣaaju, faaji ti o tọ, eto ti o tọ.
Awọn eniyan ọkọ ayọkẹlẹ ti n wakọ ti ara ẹni, awọn ibẹrẹ bii Waymo ati Wayve, ti jẹ “ireti diẹ ju,” o sọ, nipa ironu pe wọn le “ju data sinu rẹ, ati pe o le kọ ẹkọ pupọ julọ ohunkohun.” Awọn ọkọ ayọkẹlẹ awakọ ti ara ẹni ni Ipele 5 ti ADAS ṣee ṣe, “Ṣugbọn iwọ yoo ni lati ṣe ẹlẹrọ apaadi kuro ninu rẹ” ati pe yoo jẹ “brittle” bii awọn awoṣe iran kọnputa kutukutu.
ZDNet: Ohun ti o n sọ ni pe, diẹ ninu awọn eniyan yoo gbiyanju lati ṣe imọ-ẹrọ ohun ti ko ṣiṣẹ lọwọlọwọ pẹlu ẹkọ ti o jinlẹ fun lilo, sọ, ni ile-iṣẹ, ati pe wọn yoo bẹrẹ lati ṣẹda nkan ti o jẹ ohun ti o di igba atijọ ni iranran kọmputa?
YL: Ọtun. Ati pe o jẹ apakan idi ti awọn eniyan ti n ṣiṣẹ lori awakọ adase ti ni ireti diẹ ju ni awọn ọdun diẹ sẹhin, nitori, o mọ, o ni iwọnyi, too-ti, awọn nkan jeneriki bii awọn netiwọki ati awọn Ayirapada, ti o le jabọ data sibẹ. , ati pe o le kọ ẹkọ pupọ ohunkohun. Nitorinaa, o sọ pe, O dara, Mo ni ojutu si iṣoro yẹn. Ohun akọkọ ti o ṣe ni pe o kọ demo kan nibiti ọkọ ayọkẹlẹ n wakọ funrararẹ fun iṣẹju diẹ laisi ipalara ẹnikẹni. Ati lẹhinna o rii pe ọpọlọpọ awọn ọran igun lo wa, ati pe o gbiyanju lati gbero ọna ti bawo ni MO ṣe dara julọ bi MO ṣe ilọpo eto ikẹkọ, ati pe o rii pe iwọ kii yoo de ibẹ nitori gbogbo iru awọn ọran igun lo wa. . Ati pe o nilo lati ni ọkọ ayọkẹlẹ kan ti yoo fa ijamba iku kere ju gbogbo 200 milionu ibuso, otun? Nitorina, kini o ṣe? O dara, o rin ni awọn ọna meji.
Itọsọna akọkọ ni, bawo ni MO ṣe le dinku iye data ti o jẹ pataki fun eto mi lati kọ ẹkọ? Ati pe eyi ni ibi ti ẹkọ ti ara ẹni ti nwọle. Nitorina, ọpọlọpọ awọn aṣọ ọkọ ayọkẹlẹ ti ara ẹni ni o nifẹ pupọ si ẹkọ ti ara ẹni nitori pe ọna ti o tun nlo awọn gigantic oye ti data abojuto fun ẹkọ imitation, ṣugbọn nini iṣẹ ti o dara julọ nipasẹ ikẹkọ ṣaaju, pataki. Ati awọn ti o ti ko oyimbo panned jade sibẹsibẹ, ṣugbọn o yoo. Ati lẹhinna aṣayan miiran wa, eyiti ọpọlọpọ awọn ile-iṣẹ ti o ni ilọsiwaju diẹ sii ni aaye yii ti gba, eyiti o jẹ, o dara, a le ṣe ikẹkọ ipari-si-opin, ṣugbọn ọpọlọpọ awọn ọran igun ti a le wa ' t mu, ki a ba ti lọ si o kan ẹlẹrọ awọn ọna šiše ti yoo gba itoju ti awon igun igba, ati, besikale, toju wọn bi pataki igba, ati hardwire Iṣakoso, ati ki o si hardwire a pupo ti ipilẹ ihuwasi lati mu awọn pataki ipo. Ati pe ti o ba ni ẹgbẹ nla ti awọn onimọ-ẹrọ, o le fa kuro. Ṣugbọn o yoo gba akoko pipẹ, ati ni ipari, yoo tun jẹ brittle diẹ, boya o gbẹkẹle to pe o le fi ranṣẹ, ṣugbọn pẹlu diẹ ninu ipele ti brittleness, eyiti, pẹlu ọna ti o da lori ẹkọ diẹ sii ti o le han ninu ojo iwaju, paati yoo ko ni nitori o le ni diẹ ninu awọn ipele ti o wọpọ ori ati oye nipa bi aye ṣiṣẹ.
Ni kukuru igba, awọn, too-ti, ẹlẹrọ ona yoo win - o ti gba tẹlẹ. Iyẹn ni Waymo ati Cruise ti aye ati Wayveati ohunkohun ti, ti o ni ohun ti won se. Lẹhinna ọna ikẹkọ ti a ṣe abojuto ara ẹni wa, eyiti o ṣee ṣe yoo ṣe iranlọwọ fun ọna ti o ni imọ-ẹrọ lati ni ilọsiwaju. Ṣugbọn lẹhinna, ni ṣiṣe pipẹ, eyiti o le gun ju fun awọn ile-iṣẹ wọnyẹn lati duro de, yoo ṣee ṣe, iru-ara, eto awakọ oye adase diẹ sii.
ZDNet: A sọ kọja aaye idoko-owo ti ọpọlọpọ awọn oludokoowo.
YL: Iyẹn tọ. Nitorinaa, ibeere naa ni, awọn eniyan yoo padanu sũru tabi pari owo ṣaaju iṣẹ ṣiṣe de ipele ti o fẹ.
ZDNet: Njẹ ohunkohun ti o nifẹ lati sọ nipa idi ti o fi yan diẹ ninu awọn eroja ti o yan ninu awoṣe? Nitoripe o tọka Kenneth Craik [1943,Iseda ti Alaye], ati pe o tọka si Bryson and Ho [1969, Iṣakoso aipe ti a lo], ati pe Mo ṣe iyanilenu nipa idi ti o fi bẹrẹ pẹlu awọn ipa wọnyi, ti o ba gbagbọ paapaa pe awọn eniyan wọnyi ni o kan mọ bi ohun ti wọn ti ṣe. Kini idi ti o bẹrẹ nibẹ?
YL: O dara, Emi ko ro pe, dajudaju, wọn ti kan gbogbo awọn alaye naa. Nitorinaa, Bryson ati Ho, eyi jẹ iwe ti Mo ka pada ni ọdun 1987 nigbati Mo jẹ postdoc pẹlu Geoffrey Hinton ni Toronto. Ṣugbọn Mo mọ nipa laini iṣẹ yii tẹlẹ nigbati Mo nkọ PhD mi, ati ṣe asopọ laarin iṣakoso to dara julọ ati ẹhin, ni pataki. Ti o ba fẹ lati jẹ gaan, o mọ, Schmidhuber miiran, iwọ yoo sọ pe awọn olupilẹṣẹ gidi ti backprop jẹ awọn onimọ-jinlẹ iṣakoso ti o dara julọ Henry J. Kelley, Arthur Bryson, ati boya paapaa Lev Pontryagin, ti o jẹ onimọran ara ilu Russia ti iṣakoso to dara julọ. ninu awọn ti pẹ '50s.
Nitorinaa, wọn ṣe iṣiro rẹ, ati ni otitọ, o le rii ipilẹ ti eyi, mathimatiki labẹ iyẹn, jẹ awọn ẹrọ Lagrangian. Nitorinaa o le pada si Euler ati Lagrange, ni otitọ, ati pe o rii iru whiff ti eyi ni itumọ wọn ti awọn oye kilasika Lagrangian, looto. Nitorinaa, ni agbegbe ti iṣakoso to dara julọ, kini awọn eniyan wọnyi nifẹ si ni ipilẹ awọn itọpa rocket. O mọ, eyi ni ọjọ ori aaye ibẹrẹ. Ati pe ti o ba ni awoṣe ti rọkẹti, o sọ fun ọ nibi ni ipo ti rocket ni akoko t, ati pe eyi ni igbese ti Emi yoo ṣe, nitorinaa, titari ati awọn oṣere ti oniruuru, eyi ni ipo rocket ni akoko t+1.
ZDNet: Awoṣe igbese-ipinlẹ, awoṣe iye kan.
YL: Iyẹn tọ, ipilẹ iṣakoso. Nitorinaa, ni bayi o le ṣe adaṣe ibon yiyan ti rọkẹti rẹ nipa jijuro lẹsẹsẹ awọn aṣẹ, ati lẹhinna o ni iṣẹ idiyele diẹ, eyiti o jẹ ijinna ti rocket si ibi-afẹde rẹ, aaye aaye kan tabi ohunkohun ti o jẹ. Ati lẹhinna nipasẹ iru iru isunmọ gradient, o le ro ero, bawo ni MO ṣe le ṣe imudojuiwọn ilana iṣe mi ki rokẹti mi yoo sunmọ bi o ti ṣee ṣe si ibi-afẹde naa. Ati pe iyẹn ni lati wa nipasẹ awọn ifihan agbara isọdọtun sẹhin ni akoko. Ati pe iyẹn ni isọdọtun-pada, isọdọtun-pada-sisọ. Awọn ifihan agbara wọnyẹn, wọn pe wọn ni awọn oniyipada conjugate ni awọn ẹrọ Lagrangian, ṣugbọn ni otitọ, wọn jẹ gradients. Nitorinaa, wọn ṣẹda backprop, ṣugbọn wọn ko mọ pe ilana yii le ṣee lo lati ṣe ikẹkọ eto-ipele pupọ ti o le ṣe idanimọ apẹẹrẹ tabi nkan bii iyẹn. Eyi ko rii daju gaan titi boya awọn ọdun 70 ti pẹ, ni kutukutu 80s, ati lẹhinna ko ṣe imuse gangan ati ṣe lati ṣiṣẹ titi di aarin-’80s. O dara, nitorinaa, eyi ni ibi ti backprop looto, iru-ti, mu kuro nitori awọn eniyan fihan nibi ni awọn laini koodu diẹ ti o le ṣe ikẹkọ apapọ neural, opin si ipari, multilayer. Ati pe o gbe awọn idiwọn ti Perceptron soke. Ati, bẹẹni, awọn asopọ wa pẹlu iṣakoso to dara julọ, ṣugbọn o dara.
ZDNet: Nitorinaa, iyẹn ni ọna pipẹ ti sisọ pe awọn ipa wọnyi ti o bẹrẹ pẹlu wọn nlọ pada si backprop, ati pe iyẹn ṣe pataki bi aaye ibẹrẹ fun ọ?
YL: Bẹẹni, ṣugbọn Mo ro pe ohun ti eniyan gbagbe kekere kan nipa, iṣẹ diẹ wa lori eyi, o mọ, pada ni awọn ọdun 90, tabi paapaa awọn 80s, pẹlu nipasẹ awọn eniyan bii Michael Jordan [MIT Dept. of Brain] ati Awọn sáyẹnsì Imọ] ati awọn eniyan bii iyẹn ti ko ṣe awọn netiwọọki nkankikan mọ, ṣugbọn imọran pe o le lo awọn netiwọọki fun iṣakoso, ati pe o le lo awọn imọran kilasika ti iṣakoso to dara julọ. Nitorinaa, awọn nkan bii ohun ti a pe ni iṣakoso asọtẹlẹ awoṣe, kini a pe ni iṣakoso asọtẹlẹ awoṣe, imọran yii pe o le ṣe adaṣe tabi fojuinu abajade ti ọkọọkan awọn iṣe ti o ba ni awoṣe to dara ti eto ti o n gbiyanju lati ṣakoso. Ati ayika ti o wa ninu rẹ. Ati lẹhinna nipasẹ irandiwọn, pataki - eyi kii ṣe ẹkọ, eyi jẹ itọkasi - o le ṣawari kini ilana ti o dara julọ ti awọn iṣe ti yoo dinku ipinnu mi. Nitorinaa, lilo iṣẹ idiyele kan pẹlu oniyipada wiwaba fun itọkasi jẹ, Mo ro pe, nkan ti awọn irugbin lọwọlọwọ ti awọn netiwọọki titobi nla ti gbagbe nipa. Ṣugbọn o jẹ paati kilasika pupọ ti ẹkọ ẹrọ fun igba pipẹ. Nitorinaa, gbogbo Nẹtiwọọki Bayesian tabi awoṣe ayaworan tabi awoṣe ayaworan iṣeeṣe lo iru itọka yii. O ni awoṣe ti o gba awọn igbẹkẹle laarin opo awọn oniyipada, a sọ fun ọ ni iye diẹ ninu awọn oniyipada, ati lẹhinna o ni lati sọ iye ti o ṣeeṣe julọ ti iyoku awọn oniyipada. Iyẹn ni ipilẹ ipilẹ ti itọkasi ni awọn awoṣe ayaworan ati Awọn Nẹtiwọọki Bayesian, ati awọn nkan bii iyẹn. Ati pe Mo ro pe iyẹn ni ipilẹ kini ironu yẹ ki o jẹ nipa, ero ati igbero.
ZDNet: Iwọ jẹ kọlọfin Bayesian.
YL: Emi ni Bayesian ti kii ṣe iṣeeṣe. Mo ṣe awada yẹn tẹlẹ. Mo wa ni NeurIPS ni tootọ ni ọdun diẹ sẹhin, Mo ro pe ọdun 2018 tabi 2019 ni, ati pe ọmọ Bayesian kan mu mi lori fidio ti o beere lọwọ mi boya ọmọ Bayesian ni mi, Mo sọ pe, Bẹẹni, ọmọ Bayesian ni mi, ṣugbọn Mo Mo jẹ Bayesian ti kii ṣe iṣeeṣe, iru-ti, Bayesian ti o da lori agbara, ti o ba fẹ.
ZDNet: Eyi ti pato dun bi nkankan lati Star Trek. O mẹnuba ni ipari iwe yii, yoo gba awọn ọdun ti iṣẹ lile gaan lati mọ ohun ti o lero. Sọ fun mi nipa kini diẹ ninu iṣẹ yẹn ni ninu.
YL: Nitorinaa, Mo ṣalaye bi o ṣe ṣe ikẹkọ ati kọ JEPA ninu iwe naa. Ati pe ami ti Mo n ṣe agbero fun ni nini diẹ ninu awọn ọna lati mu akoonu alaye pọ si ti awọn aṣoju ti o fa jade ni nipa titẹ sii. Ati lẹhinna ọkan keji n dinku aṣiṣe asọtẹlẹ naa. Ati pe ti o ba ni oniyipada wiwakọ ninu asọtẹlẹ eyiti o fun laaye asọtẹlẹ lati jẹ ti kii ṣe ipinnu, o ni lati ṣe deede tun oniyipada wiwadi nipa didinku akoonu alaye rẹ. Nitorinaa, o ni awọn ọran meji ni bayi, eyiti o jẹ bii o ṣe mu akoonu alaye pọ si ti iṣelọpọ ti awọn nẹtiwọọki nkankikan, ati pe ọkan miiran ni bawo ni o ṣe dinku akoonu alaye ti diẹ ninu awọn oniyipada wiwaba? Ati pe ti o ko ba ṣe awọn nkan meji yẹn, eto naa yoo ṣubu. O yoo ko eko ohunkohun awon. O yoo fun odo agbara si ohun gbogbo, nkankan bi wipe, eyi ti o jẹ ko kan ti o dara awoṣe ti gbára. Iṣoro idena-idaabobo ni mo mẹnuba.
Ati pe Mo n sọ nipa gbogbo awọn nkan ti eniyan ti ṣe tẹlẹ, awọn isọri meji ti awọn ọna lati yago fun iparun. Ọkan jẹ awọn ọna iyatọ, ati ekeji ni awọn ọna deede. Nitorinaa, ero yii ti mimu akoonu alaye pọ si ti awọn aṣoju ti awọn igbewọle meji ati idinku akoonu alaye ti oniyipada wiwakọ, ti o jẹ ti awọn ọna deede. Ṣugbọn ọpọlọpọ awọn iṣẹ ti o wa ninu awọn ile-iṣẹ ifisinu apapọ n lo awọn ọna iyatọ. Ni otitọ, wọn le jẹ olokiki julọ ni akoko yii. Nitorinaa, ibeere naa ni deede bawo ni o ṣe wọn akoonu alaye ni ọna ti o le mu dara tabi dinku? Ati pe iyẹn ni ibiti awọn nkan ti di idiju nitori a ko mọ gangan bi a ṣe le wọn akoonu alaye. A le isunmọ rẹ, a le di oke, a le ṣe awọn nkan bii iyẹn. Ṣugbọn wọn ko ṣe iwọn akoonu alaye nitootọ, eyiti, nitootọ, si iwọn diẹ paapaa ko ti ni asọye daradara.
ZDNet: Kii ṣe Ofin Shannon? Kii ṣe ilana alaye? O ti ni iye kan ti entropy, entropy ti o dara ati entropy buburu, ati entropy ti o dara jẹ eto aami ti o ṣiṣẹ, entropy buburu jẹ ariwo. Ṣe kii ṣe gbogbo rẹ ni ipinnu nipasẹ Shannon?
YL: O tọ, ṣugbọn abawọn pataki kan wa lẹhin iyẹn. O tọ ni ori pe ti o ba ni data ti o nbọ si ọ ati pe o le ṣe iwọn awọn data naa sinu awọn ami iyasọtọ, lẹhinna o wọn iṣeeṣe ti ọkọọkan awọn aami wọnyẹn, lẹhinna iye alaye ti o pọ julọ ti awọn aami wọnyẹn gbe ni apao lori awọn ti ṣee aami ti Pi log Pi, otun? Nibo Pi ni iṣeeṣe aami emi - iyẹn ni entropy Shannon. [Ofin Shannon jẹ agbekalẹ ni igbagbogbo bi H = – ∑ pi log pi.]
Eyi ni iṣoro naa, botilẹjẹpe: Kini Pi? O rọrun nigbati nọmba awọn aami ba kere ati pe awọn aami ti fa ni ominira. Nigbati ọpọlọpọ awọn aami ba wa, ati awọn igbẹkẹle, o ṣoro pupọ. Nitorinaa, ti o ba ni ọkọọkan ti awọn die-die ati pe o ro pe awọn die-die jẹ ominira ti ara wọn ati pe iṣeeṣe jẹ dogba laarin ọkan ati odo tabi ohunkohun, lẹhinna o le ni rọọrun wiwọn entropy, ko si iṣoro. Ṣugbọn ti awọn nkan ti o wa sọdọ rẹ ba jẹ awọn onisẹpo-giga, bii, o mọ, awọn fireemu data, tabi nkan bii eyi, kini o jẹ Pi? Kini pinpin? Ni akọkọ o ni lati ṣe iwọn aaye yẹn, eyiti o jẹ iwọn-giga, aaye ti nlọsiwaju. O ko ni imọran bi o ṣe le ṣe iwọn eyi daradara. O le lo k-tumosi, bbl Eyi ni ohun ti eniyan ṣe nigba ti wọn ṣe fidio funmorawon ati aworan funmorawon. Sugbon o jẹ isunmọ nikan. Ati lẹhinna o ni lati ṣe awọn arosinu ti ominira. Nitorinaa, o han gbangba pe ninu fidio kan, awọn fireemu ti o tẹle ko ni ominira. Awọn igbẹkẹle wa, ati pe fireemu naa le dale lori fireemu miiran ti o rii ni wakati kan sẹhin, eyiti o jẹ aworan ti ohun kanna. Nitorina, o mọ, o ko le ṣe iwọn Pi. Lati wọn Pi, o ni lati ni eto ẹkọ ẹrọ ti o kọ ẹkọ lati sọtẹlẹ. Ati nitorinaa o pada si iṣoro iṣaaju. Nitorinaa, o le isunmọ iwọn alaye nikan, pataki.
"Ibeere naa ni gangan bawo ni o ṣe wọn akoonu alaye ni ọna ti o le mu dara tabi dinku?" wí pé LeCun. “Ati pe iyẹn ni ibiti awọn nkan ti di idiju nitori a ko mọ gangan bi a ṣe le wọn akoonu alaye.” Ohun ti o dara julọ ti o le ṣee ṣe ni lati wa aṣoju ti o “dara to fun iṣẹ-ṣiṣe ti a fẹ.”
Jẹ ki mi ya kan diẹ nja apẹẹrẹ. Ọkan ninu algoridimu ti a ti nṣere pẹlu, ati pe Mo ti sọrọ nipa ninu nkan naa, jẹ nkan yii ti a pe ni VICReg, isọdọtun iyatọ-aiṣedeede-covariance. O wa ninu iwe lọtọ ti a tẹjade ni ICLR, ati ti o ti fi lori arXiv nipa odun kan ṣaaju ki o to, 2021. Ati awọn agutan nibẹ ni lati mu iwọn alaye. Ati awọn agutan kosi wá jade ti ẹya sẹyìn iwe nipa ẹgbẹ mi ti a npe ni Barlow Twins. O mu akoonu alaye pọ si ti fekito ti n jade lati inu apapọ nkankikan nipasẹ, ni ipilẹ, ni ro pe igbẹkẹle nikan laarin awọn oniyipada jẹ ibamu, igbẹkẹle laini. Nitorinaa, ti o ba ro pe igbẹkẹle nikan ti o ṣee ṣe laarin awọn orisii awọn oniyipada, tabi laarin awọn oniyipada ninu eto rẹ, jẹ awọn ibatan laarin awọn orisii awọn ohun iyebiye, eyiti o jẹ isunmọ ti o ni inira pupọ, lẹhinna o le mu akoonu alaye ti n jade ninu eto rẹ pọ si. nipa ṣiṣe idaniloju pe gbogbo awọn oniyipada ni iyatọ ti kii ṣe odo - jẹ ki a sọ, iyatọ ọkan, ko ṣe pataki ohun ti o jẹ - ati lẹhinna ṣe atunṣe-pada wọn, ilana kanna ti a npe ni funfun, kii ṣe tuntun boya. Iṣoro pẹlu eyi ni pe o le ni awọn igbẹkẹle eka pupọ laarin boya awọn ẹgbẹ ti awọn oniyipada tabi paapaa awọn orisii awọn oniyipada ti kii ṣe awọn igbẹkẹle laini, ati pe wọn ko ṣafihan ni awọn ibamu. Nitorinaa, fun apẹẹrẹ, ti o ba ni awọn oniyipada meji, ati gbogbo awọn aaye ti awọn oniyipada meji naa laini ni diẹ ninu iru ajija, igbẹkẹle ti o lagbara pupọ wa laarin awọn oniyipada meji, otun? Ṣugbọn ni otitọ, ti o ba ṣe iṣiro ibamu laarin awọn oniyipada meji, wọn ko ni ibamu. Nitorinaa, eyi ni apẹẹrẹ nibiti akoonu alaye ti awọn oniyipada meji wọnyi kere pupọ, o jẹ opoiye kan nikan nitori pe o jẹ ipo rẹ ni ajija. Wọn jẹ isọdọkan, nitorinaa o ro pe o ni alaye pupọ ti o jade ninu awọn oniyipada meji nigba ti o daju pe o ko, iwọ nikan ni, o mọ, o le sọ asọtẹlẹ ọkan ninu awọn oniyipada lati ekeji, pataki. Nitorinaa, iyẹn fihan pe a ni awọn ọna isunmọ pupọ lati wiwọn akoonu alaye.
ZDNet: Ati nitorinaa iyẹn jẹ ọkan ninu awọn nkan ti o ni lati ṣiṣẹ ni bayi pẹlu eyi? Eyi ni ibeere ti o tobi julọ ti bawo ni a ṣe mọ nigba ti a n pọ si ati dinku akoonu alaye bi?
YL: Tabi boya aṣoju ti a nlo fun eyi dara to fun iṣẹ-ṣiṣe ti a fẹ. Ni otitọ, a ṣe eyi ni gbogbo igba ni ẹkọ ẹrọ. Awọn iṣẹ idiyele ti a dinku kii ṣe awọn ti a fẹ gaan lati dinku. Nitorinaa, fun apẹẹrẹ, o fẹ ṣe isọdi, o dara? Iṣẹ idiyele ti o fẹ dinku nigbati o ṣe ikẹkọ olutọpa kan jẹ nọmba awọn aṣiṣe ti classifier n ṣe. Ṣugbọn iyẹn jẹ iyatọ ti kii ṣe iyatọ, iṣẹ idiyele ẹru ti o ko le dinku nitori o mọ pe iwọ yoo yi awọn iwuwo ti apapọ neural rẹ pada, ko si ohun ti yoo yipada titi ọkan ninu awọn apẹẹrẹ wọnyẹn yoo yi ipinnu rẹ pada, lẹhinna fo kan. ninu aṣiṣe, rere tabi odi.
ZDNet: Nitorinaa o ni aṣoju kan eyiti o jẹ iṣẹ ibi-afẹde ti o le sọ ni pato, a le dajudaju ṣiṣan awọn gradients ti nkan yii.
YL: Iyẹn tọ. Nitorinaa awọn eniyan lo pipadanu isonu-entropy yii, tabi SOFTMAX, o ni awọn orukọ pupọ fun, ṣugbọn ohun kanna ni. Ati pe o jẹ ipilẹ jẹ isunmọ didan ti nọmba awọn aṣiṣe ti eto naa ṣe, nibiti smoothing ti ṣe nipasẹ, ni ipilẹ, ni akiyesi Dimegilio ti eto naa fun ọkọọkan awọn ẹka naa.
ZDNet: Njẹ ohunkohun ti a ko ti bo ti o fẹ lati bo?
YL: Ó ṣeé ṣe kó máa tẹnu mọ́ àwọn kókó pàtàkì. Mo ro pe awọn eto AI nilo lati ni anfani lati ronu, ati ilana fun eyi ti Mo n ṣeduro ni idinku diẹ ninu awọn idi pẹlu ọwọ si diẹ ninu awọn oniyipada wiwaba. Ti o faye gba awọn ọna šiše lati gbero ati idi. Mo ro pe o yẹ ki a kọ ilana ilana iṣeeṣe naa silẹ nitori pe ko ṣee ṣe nigba ti a fẹ ṣe awọn nkan bii awọn igbẹkẹle imudani laarin iwọn-giga, awọn oniyipada lilọsiwaju. Ati pe Mo n ṣeduro lati kọ awọn awoṣe ipilẹṣẹ silẹ nitori eto naa yoo ni lati fi ọpọlọpọ awọn orisun lọ si asọtẹlẹ awọn nkan ti o nira pupọ lati ṣe asọtẹlẹ ati boya jẹ awọn orisun pupọ. Ati pe iyẹn lẹwa pupọ. Iyẹn ni awọn ifiranṣẹ akọkọ, ti o ba fẹ. Ati ki o si awọn ìwò faaji. Lẹhinna awọn akiyesi wọnyẹn wa nipa iseda ti aiji ati ipa ti atunto, ṣugbọn eyi jẹ akiyesi gaan.
ZDNet: A yoo gba si wipe nigbamii ti. Emi yoo beere lọwọ rẹ, bawo ni o ṣe ṣe ala-ilẹ nkan yii? Ṣugbọn Mo gboju pe o ti wa siwaju diẹ sii lati aṣepari ni bayi?
YL: Ko dandan ti o jina ni, too-ti, yepe awọn ẹya. O le ṣe ohun ti gbogbo eniyan ṣe ni iṣakoso tabi ẹkọ imuduro, eyiti o jẹ, o kọ nkan naa lati ṣe awọn ere Atari tabi nkan bii iyẹn tabi ere miiran ti o ni aidaniloju diẹ ninu rẹ.
ZDNet: O ṣeun fun akoko rẹ, Yann.
English
Arabic
Belarusian
Bengali
Bosnian
Bulgarian
Chinese (Simplified)
Croatian
Czech
Danish
Dutch
English
Estonian
Filipino
Finnish
French
Georgian
German
Greek
Gujarati
Hausa
Hebrew
Hindi
Hmong
Hungarian
Igbo
Indonesian
Italian
Japanese
Javanese
Kazakh
Korean
Kurdish (Kurmanji)
Kyrgyz
Lao
Latvian
Lithuanian
Macedonian
Malagasy
Norwegian
Persian
Polish
Portuguese
Punjabi
Romanian
Russian
Serbian
Slovak
Slovenian
Spanish
Swedish
Thai
Turkish
Ukrainian
Vietnamese
Yoruba