Keep Calm and Stay Smart
04:29
Meta's AI guru LeCun: Ny ankamaroan'ny fomba fiasa AI ankehitriny dia tsy hitarika velively amin'ny tena faharanitan-tsaina
"Heveriko fa mila mahay manjohy hevitra ny rafitra AI," hoy i Yann LeCun, lehiben'ny mpahay siansa AI ao amin'ny Meta. Ny fomba fiasa AI malaza ankehitriny toy ny Transformers, izay maro amin'izy ireo dia miorina amin'ny asan'ny mpisava lalana manokana eo amin'ny saha, dia tsy ho ampy. "Tsy maintsy mihemotra ianao ary miteny hoe, Eny, nanamboatra ity tohatra ity izahay, saingy te-ho any amin'ny volana izahay, ary tsy misy fomba hahatongavan'ity tohatra ity ho any," hoy i LeCun.
Yann LeCun, lehiben'ny mpahay siansa AI Ny Meta Properties, tompon'ny Facebook, Instagram, ary WhatsApp, dia azo inoana fa hanamarika olona maro eo amin'ny saha misy azy.
Miaraka amin'ny fandefasana lahatsoratra iray amin'ny volana Jona amin'ny lohamilina Open Review, LeCun dia nanolotra topimaso midadasika momba ny fomba heveriny fa manana fampanantenana amin'ny fanatrarana ny faharanitan-tsain'olombelona amin'ny milina.
Popular ankehitriny
Raha tsy voalaza ao amin'ny gazety dia ny fifandirana fa ny ankamaroan'ny tetikasa lehibe amin'izao fotoana izao amin'ny AI dia tsy ho afaka hahatratra izany tanjona amin'ny olombelona izany.
Tamin'ny dinika tamin'ity volana ity niaraka tamin'ny ZDNet amin'ny alàlan'ny Zoom, LeCun dia nanazava fa mijery amin'ny fisalasalana lehibe ny maro amin'ireo fomba fikarohana mahomby indrindra amin'ny fianarana lalina amin'izao fotoana izao.
"Heveriko fa ilaina izy ireo saingy tsy ampy," hoy ilay mpandresy Turing Award ZDNet amin'ny zavatra ataon'ny namany.
Anisan'izany ny maodely fiteny lehibe toy ny Transformer-based GPT-3 sy ny mitovy aminy. Araka ny fanamarihan'i LeCun azy, mino ny Transformer devotées hoe: "Maneho ny zava-drehetra izahay, ary mampiofana goavambe.modely hanao faminaniana miavaka, ary amin'ny fomba ahoana no hivoahan'ny AI. "
"Tsy diso izy ireo," hoy izy, "amin'ny heviny fa mety ho singa iray amin'ny rafitra manan-tsaina amin'ny ho avy izany, saingy heveriko fa tsy ampy ny singa ilaina."
koa: Meta's AI luminaire LeCun dia mandinika ny sisintanin'ny angovo amin'ny fianarana lalina
Fanakianana manafintohina momba izay toa miasa avy amin'ny manam-pahaizana izay nanatsara ny fampiasana tambajotra neural convolutional, teknika azo ampiharina izay tena namokatra tamin'ny programa fianarana lalina.
LeCun dia mahita lesoka sy fetra amin'ny sehatra hafa mahomby amin'ny fifehezana.
Tsy ho ampy na oviana na oviana ny fianarana fanamafisana, hoy hatrany izy. Ireo mpikaroka toa an'i David Silver ao amin'ny DeepMind, izay namolavola ny programa AlphaZero izay nahay ny Chess, Shogi ary Go, dia mifantoka amin'ny fandaharana izay “tena mifototra amin'ny asa”, hoy i LeCun, fa “ny ankamaroan'ny fianarana ataontsika dia tsy ataontsika. manao izany amin'ny fandraisana andraikitra marina, manao izany amin'ny fandinihana izahay. "
Lecun, 62 taona, raha jerena ny zava-bita nandritra ny am-polony taona maro, dia naneho fahamaikana ny hiatrika izay heveriny ho lalan-jamba izay mety hirotorotoan'ny maro, ary hiezaka hamporisika ny sahany amin'ny lalana heveriny fa tokony halehany.
"Mahita fanambarana be dia be momba ny tokony hataontsika isika mba handroso mankany amin'ny AI amin'ny olombelona," hoy izy. "Ary misy hevitra izay heveriko fa diso lalana."
Hoy i Lecun: “Tsy tonga amin'ny hoe manana saina mitovy amin'ny saka ny milinanay. “Koa nahoana raha manomboka eo isika?”
Nandao ny finoany taloha izy tamin'ny fampiasana tambajotra miteraka amin'ny zavatra toy ny faminaniany ny sary manaraka amin'ny horonan-tsary. “Tsy fahombiazana tanteraka izany”, hoy izy.
LeCun dia manameloka ireo antsoiny hoe "probabilista ara-pinoana", izay "mihevitra ny teoria mety ho ny hany rafitra azonao ampiasaina hanazavana ny fianarana milina."
Ny fomba fiasa ara-statistika dia tsy azo fehezina, hoy izy. “Be loatra ny fangatahana modely manerantany ho azo inoana tanteraka; tsy haintsika ny fomba hanaovana izany.”
Tsy ny akademika ihany, fa ny AI indostrialy dia mila eritreritra lalina, hoy i LeCun. Ny vahoaka mitondra fiara, ny fanombohana toa an'i Wayve, dia "somary be fanantenana", hoy izy, tamin'ny fieritreretana fa afaka "manipy data amin'ny" tambajotra neural lehibe izy ireo "ary afaka mianatra zavatra betsaka ianao."
"Fantatrao, heveriko fa azo atao tanteraka ny hanana fiara tsy miankina amin'ny ambaratonga dimy tsy misy saina," hoy izy, miresaka momba ny "ADAS," rafitra fanampiana mpamily mandroso teny ho an'ny mitondra fiara, "fa tsy maintsy manao injeniera amin'ny helo ianao."
Ny teknolojia mitondra tena be loatra toy izany dia ho zavatra toy ny mikoropaka sy marefo toy ny fandaharan'asan'ny informatika rehetra izay efa lany andro noho ny fianarana lalina, hoy izy.
"Amin'ny farany, hisy vahaolana mahafa-po kokoa ary mety ho tsara kokoa izay misy rafitra izay manao asa tsara kokoa amin'ny fahazoana ny fomba fiasan'izao tontolo izao."
Popular ankehitriny
Teny an-dalana, LeCun dia manolotra fomba fijery manjavozavo amin'ireo mpitsikera lehibe indrindra azy, toa an'i Gary Marcus, mpampianatra NYU — “tsy mbola nitondra na inona na inona ho an'ny AI” — ary Jürgen Schmidhuber, talen'ny Dalle Molle Institute for Artificial Intelligence Research — “izany dia tena mora tokoa ny manao fananganan-tsaina”.
Ankoatra ny fanakianana, ny teboka manan-danja indrindra nataon'i LeCun dia ny olana fototra sasany miatrika ny AI rehetra, indrindra ny fomba fandrefesana vaovao.
"Tsy maintsy mihemotra ianao ary miteny hoe, Eny, nanamboatra ity tohatra ity izahay, saingy te-ho any amin'ny volana izahay, ary tsy misy fomba hahatongavan'ity tohatra ity ho any," hoy i LeCun momba ny faniriany hieritreritra indray. ny foto-kevitra fototra. “Raha ny tokony ho izy, ny zavatra soratako eto dia, mila manamboatra balafomanga isika, tsy afaka manome anao ny antsipiriany momba ny fomba fanamboarana balafomanga izahay, fa ireto no fitsipika fototra.”
Ny gazety, sy ny eritreritr'i LeCun tamin'ny tafatafa, dia azo takarina kokoa amin'ny famakiana ny tafatafa nataon'i LeCun tamin'ny fiandohan'ity taona ity miaraka amin'ny ZDNet izay ilazany ny momba ny fianarana mifehy tena mifototra amin'ny angovo ho lalana mankany amin'ny fianarana lalina. Ireo fisaintsainana ireo dia manome fahatsapana ny fomba fiasa fototra amin'ny zavatra antenainy hatsangana ho solon'ireo zavatra lazainy fa tsy ho tonga any amin'ny tsipika fahatongavana.
Ity manaraka ity dia dika mitovy amin'ny fanadinadinana.
ZDNet: Ny lohahevitry ny resadresakay dia ity taratasy ity, "Lalan-dàlana mankany amin'ny faharanitan-tsaina amin'ny milina tsy miankina", amin'ny dikan-teny 0.9.2 inona no dikan-teny misy, eny?
Yann LeCun: Eny, heveriko ho toy ny antontan-taratasy miasa ity. Noho izany, navoakako tao amin'ny Open Review izany, miandry ny olona hanao fanehoan-kevitra sy soso-kevitra, angamba references fanampiny, ary avy eo dia hamokatra dikan-teny nohavaozina aho.
Popular ankehitriny
ZDNet: Hitako fa i Juergen Schmidhuber dia efa nanampy hevitra vitsivitsy tao amin'ny Open Review.
YL: Eny, eny, manao izany foana izy. Notanisaiko tao amin'ny taratasiko ny iray amin'ireo taratasiny. Heveriko fa ny hevitra nataony tao amin'ny tambajotra sosialy fa noforoniny tamin'ny 1991 izany rehetra izany, toy ny nataony tamin'ny tranga hafa, dia tsy izany. Ny tiako holazaina dia tena mora ny manao izanyfambolen-tsaina, ary ny, karazana, manoratra hevitra tsy misy andrana, tsy misy teoria, manoro hevitra fotsiny fa afaka manao izany ianao. Saingy, fantatrao, misy fahasamihafana lehibe eo amin'ny fananana ny hevitra fotsiny, ary avy eo mametraka azy hiasa amin'ny olan'ny kilalao, ary avy eo mampandeha azy amin'ny olana tena izy, ary avy eo manao teoria mampiseho ny anton'izany, ary avy eo fametrahana azy. Misy rojo iray manontolo, ary ny heviny momba ny crédit ara-tsiansa dia ny hoe io no olona voalohany indrindra, karazana, fantatrao, nanana ny hevitra momba an'izany, izay tokony hahazo ny crédit rehetra. Ary mampihomehy izany.
ZDNet: Aza mino izay rehetra renao amin'ny tambajotra sosialy.
YL: Ny tiako holazaina dia ny gazety lehibe lazainy fa tokony hotanisaiko dia tsy manana ny hevi-dehibe resahiko ao amin'ny gazety. Nanao izany koa izy tamin'ny GAN sy ny zavatra hafa, izay tsy marina. Mora ny manao fananganan-tsaina, sarotra kokoa ny mandray anjara. Ary raha ny marina, ato amin'ity lahatsoratra manokana ity, dia nilaza mazava aho fa tsy taratasy siantifika amin'ny heviny mahazatra ny teny. Taratasy momba ny toerana tokony halehan'io zavatra io kokoa. Ary misy hevitra roa ao izay mety ho vaovao, fa ny ankamaroany dia tsy izany. Tsy mitaky laharam-pahamehana amin'ny ankamaroan'ny zavatra nosoratako tao amin'io taratasy io aho, raha ny marina.
Tsy ho ampy na oviana na oviana ny fianarana fanamafisana, hoy hatrany i LeCun. Ireo mpikaroka toa an'i David Silver avy ao amin'ny DeepMind, izay namolavola ny programa AlphaZero izay nahay ny Chess, Shogi ary Go, dia “tena mifototra amin'ny hetsika”, hoy i LeCun, saingy “ny ankamaroan'ny fianarana ataontsika dia tsy ataontsika amin'ny fandraisana an-tanana. asa, ataontsika amin’ny fandinihana izany.”
ZDNet: Ary mety ho toerana tsara hanombohana izany, satria manontany tena aho hoe nahoana ianao no nanaraka an'io lalana io ankehitriny? Inona no nahatonga anao hieritreritra an'izany? Nahoana ianao no te hanoratra ity?
YL: Eny ary, efa ela be aho no nieritreritra an'io, momba ny lalana mankany amin'ny faharanitan-tsain'ny olombelona na ny biby na ny fianarana sy ny fahaiza-manao. Ary, tao anatin'ny lahateniko dia niloa-bava aho momba ity zavatra rehetra ity fa ny fianarana manara-maso sy ny fianarana fanamafisana dia tsy ampy mba haka tahaka ny karazana fianarana hitantsika amin'ny biby sy ny olombelona. Efa fito na valo taona aho no nanao izany. Noho izany, tsy vao haingana. Nanana lahateny lehibe aho tao amin'ny NeurIPS taona maro lasa izay izay nanaovako an'io hevitra io, amin'ny ankapobeny, ary lahateny isan-karazany, misy ny fandraisam-peo. Ankehitriny, nahoana no manoratra taratasy izao? Tonga amin'ny teboka aho - [mpikaroka Google Brain] Geoff Hinton dia nanao zavatra mitovy amin'izany - ny tiako holazaina, azo antoka fa izy mihoatra noho izaho, hitantsika fa lany ny fotoana. Tsy tanora izahay.
ZDNet: Enimpolo no dimampolo vaovao.
YL: Marina izany, fa ny zava-misy dia mahita fanambarana maro isika momba ny tokony hataontsika mba handrosoana mankany amin'ny haavon'ny AI. Ary misy hevitra izay heveriko fa diso lalana. Noho izany, ny hevitra iray dia, Oh, tokony hampiditra hevitra an'ohatra fotsiny eo ambonin'ny harato neural isika. Ary tsy haiko ny fomba hanaovana izany. Noho izany, angamba izay nohazavaiko tao amin'ny gazety dia mety ho fomba iray izay hanao zavatra mitovy tsy misy fanodikodinana marika mazava. Izany no karazana Gary Marcuses an'izao tontolo izao. Gary Marcus dia tsy olona AI, raha ny marina, dia psikology izy. Tsy mbola nandray anjara tamin'ny AI izy. Nanao asa tena tsara tamin'ny psikolojia andrana izy saingy tsy nanoratra taratasy navoakan'ny mpiara-mianatra momba ny AI. Noho izany, misy ireo olona ireo.
Misy ny [siantifika mpikaroka momba ny foto-kevitra DeepMind] David Silvers avy amin'izao tontolo izao izay miteny hoe, fantatrao fa ampy ny valisoa, amin'ny ankapobeny, momba ny fianarana fanamafisana izany, mila ataontsika mahomby kokoa izany, okay? Ary, heveriko fa tsy diso izy ireo, saingy heveriko fa ny dingana ilaina amin'ny fampivoarana ny fianarana fanamafisana kokoa, amin'ny ankapobeny, dia hanaisotra ny fianarana fanamafisana amin'ny karazana serizy amin'ny mofomamy. Ary ny ampahany lehibe tsy hita dia ny fianarana ny fomba fiasan'izao tontolo izao, indrindra amin'ny fandinihana tsy misy hetsika. Ny fianarana fanamafisana dia tena mifototra amin'ny hetsika, mianatra zavatra momba an'izao tontolo izao ianao amin'ny alàlan'ny fandraisana andraikitra sy fahitana ny vokatra.
ZDNet: Ary mifantoka amin'ny valisoa izany.
YL: Mifantoka amin'ny valisoa izy io, ary mifantoka amin'ny asa ihany koa. Noho izany, tsy maintsy mihetsika eo amin'izao tontolo izao ianao mba hahafahanao mianatra zavatra momba an'izao tontolo izao. Ary ny fitakiana lehibe ataoko ao amin'ny gazety momba ny fianarana mifehy tena dia ny ankamaroan'ny fianarana ataontsika, tsy ataontsika amin'ny fandraisana andraikitra marina, fa amin'ny fandinihana. Ary tena tsy mahazatra izany, na ho an'ny fanamafisana ny fianarana ny olona, indrindra indrindra, fa koa ho an'ny psikology maro sy ny mpahay siansa ara-tsaina izay mihevitra fa, fantatrao, ny hetsika dia - tsy milaza aho fa tsy ilaina ny hetsika, izany. is tena ilaina. Saingy heveriko fa ny ankamaroan'ny zavatra ianarantsika dia momba ny firafitry ny tontolo, ary misy, mazava ho azy, ny fifaneraserana sy ny hetsika ary ny lalao, ary ny zavatra toy izany, fa ny ankamaroany dia fandinihana.
ZDNet: Azonao atao ihany koa ny manamarika ny olona Transformer, ny olona voalohany amin'ny fiteny, amin'ny fotoana iray ihany. Ahoana no ahafahanao manangana izany raha tsy misy fiteny aloha? Azonao atao ny manaisotra olona maro.
YL: Eny, zatra izany aho. Noho izany, eny, misy ny olona voalohany amin'ny fiteny, izay miteny hoe, fantatrao fa ny faharanitan-tsaina dia momba ny fiteny, ny fototry ny faharanitan-tsaina dia ny fiteny, blah, blah, blah. Saingy izany, karazana, dia manala ny faharanitan-tsain'ny biby. Fantatrao fa tsy tonga amin'ny toerana misy ny milina manan-tsaina manana saina be toy ny saka isika. Koa nahoana raha manomboka eo? Inona no mahatonga ny saka hahatakatra ny tontolo manodidina, hanao zavatra marani-tsaina, ary hanao drafitra sy zavatra toy izany, ary tsara kokoa ny alika?
Avy eo dia misy ny olona rehetra manao hoe: Oh, ny faharanitan-tsaina dia zavatra ara-tsosialy, sa tsy izany? Mahira-tsaina izahay satria mifampiresaka sy mifanakalo vaovao, ary blah, blah, blah. Misy karazam-biby tsy ara-piarahamonina tsy mifankahita amin'ny ray aman-dreniny izay tena marani-tsaina, toy ny horita na orangutans.Ny tiako holazaina dia azo antoka fa ampianarin'ny reniny izy ireo [orangutans], saingy tsy biby ara-tsosialy.
Fa ny sokajin'olona hafa azoko tsininy dia ny olona milaza fa ampy ny scaling. Noho izany, amin'ny ankapobeny, mampiasa Transformers goavambe fotsiny izahay, mampiofana azy ireo amin'ny angon-drakitra multimodal izay misy, fantatrao, horonan-tsary, lahatsoratra, blah, blah, blah. Isika, karazana, mitsingevanany zava-drehetra, ary tokenize ny zava-drehetra, ary avy eo dia mampiofana goavambemaodely hanao faminaniana miavaka, amin'ny ankapobeny, ary amin'ny fomba ahoana no hivoahan'ny AI. Tsy diso izy ireo, amin'ny heviny fa mety ho singa iray amin'ny rafitra manan-tsaina ho avy izany. Saingy heveriko fa tsy ampy ireo singa ilaina.
Misy sokajin'olona hafa holazaiko amin'ity taratasy ity. Ary ny probabilists, ny probabilists ara-pivavahana. Noho izany, ireo olona izay mihevitra ny mety ho teoria no hany rafitra azonao ampiasaina hanazavana ny fianarana milina. Ary raha nanandrana nanazava tao amin'ilay lahatsoratra aho, dia be loatra ny fangatahana modely manerantany ho azo antoka tanteraka. Tsy haintsika ny fomba hanaovana izany. Misy ny intractability kajy. Noho izany dia manolo-kevitra ny handroaka ity hevitra iray manontolo ity aho. Ary mazava ho azy, fantatrao fa ity dia andry lehibe tsy ny fianarana milina ihany, fa ny antontan'isa rehetra, izay milaza fa ny fomba mahazatra amin'ny fianarana milina.
Ny zavatra hafa -
ZDNet: Ao anaty horonan-tsary ianao…
YL: - dia ilay antsoina hoe modely generative. Noho izany, ny hevitra hoe afaka mianatra maminany ianao, ary mety hianatra zavatra betsaka momba an'izao tontolo izao amin'ny alàlan'ny faminaniana. Noho izany, omeko ampahany amin'ny horonan-tsary ianao ary mangataka ny rafitra aho mba haminavina izay hitranga manaraka ao amin'ny horonan-tsary. Ary mety hanontany anao aho mba haminavina ny frame video tena misy miaraka amin'ny antsipiriany rehetra. Fa ny tiako holazaina amin'ny gazety dia hoe be loatra ny manontany ary sarotra loatra. Ary ity dia zavatra niova hevitra momba izany. Hatramin'ny roa taona teo ho eo lasa izay, dia mpisolovava ny antsoina hoe latent variable generative models aho, modely izay maminavina izay hitranga manaraka na ny fampahalalana tsy hita, mety noho ny fanampian'ny variable latent, raha tsy azo atao ny vinavina. deterministic. Ary nilavo lefona aho. Ary ny antony nandaozako an'io dia mifototra amin'ny valim-pikarohana empirika, izay nanandrana nampihatra, karazana, fanofanana mifototra amin'ny vinavina na fanarenana amin'ny karazana ampiasaina amin'ny BERT ny olona.ary ireo modely amin'ny fiteny lehibe, nanandrana nampihatra izany tamin'ny sary izy ireo, ary tsy nahomby tanteraka izany. Ary ny antony tsy fahombiazana tanteraka dia, indray, noho ny teritery amin'ny modely mety ho mora ny maminavina mari-pamantarana miavaka toy ny teny satria azontsika atao ny manisa ny fizarana mety amin'ny teny rehetra ao amin'ny rakibolana. Mora izany. Fa raha mangataka amin'ny rafitra hamokatra ny fizarana mety amin'ny sary rehetra azo atao izahay, dia tsy manana hevitra ny fomba hamaritana azy, na manana hevitra ny fomba hamaritana azy, fa tsy haiko ny fomba handaminana azy. Mamely olana ara-matematika tsy hay tohaina izay tsy haintsika ny hamaha azy.
Hoy i Lecun: “Tsy tonga amin'ny hoe manana saina mitovy amin'ny saka ny milinanay. “Koa nahoana raha manomboka eo isika? Inona no mamela ny saka hahatakatra ny tontolo manodidina, hanao zavatra marani-tsaina, ary hanao drafitra sy zavatra toy izany, ary ny alika dia tsara kokoa?
Noho izany, izany no antony ilazako hoe andao hiala amin'ny teoria mety hitranga na ny rafitra ho an'ny zavatra toy izany, ilay malemy kokoa, modely mifototra amin'ny angovo. Efa am-polony taona maro aho no niaro an'io, ka tsy zavatra vao haingana izany. Saingy miaraka amin'izay koa, miala amin'ny hevitra momba ny modelim-pamokarana satria be dia be ny zavatra eto amin'izao tontolo izao izay tsy takatry ny saina ary tsy azo vinavinaina. Raha injeniera ianao dia antsoina hoe tabataba. Raha fizika ianao dia antsoina hoe hafanana. Ary raha olona mianatra milina ianao dia miantso azy io, fantatrao, antsipiriany tsy misy dikany na inona na inona.
Noho izany, ny ohatra nampiasaiko tao amin'ny gazety, na nampiasaiko tamin'ny lahateny, dia mila rafitra faminanian'izao tontolo izao izay hanampy amin'ny fiara mitondra tena, sa tsy izany? Te ho afaka maminavina mialoha ny lalan'ny fiara hafa rehetra, inona no hitranga amin'ny zavatra hafa izay mety hivezivezy, mpandeha an-tongotra, bisikileta, ankizy mihazakazaka manaraka baolina, zavatra toy izany. Noho izany, ny zava-drehetra momba ny tontolo iainana. Ny sisin-dalana anefa dia mety hisy hazo, ary misy rivotra ankehitriny, ka ny raviny dia mihetsiketsika amin'ny rivotra, ary ao ambadiky ny hazo dia misy dobo, ary misy ripple ao anaty dobo. Ary ireo, amin'ny ankapobeny, dia trangan-javatra tsy ampoizina. Ary, tsy tianao ny handany loharanon-karena be dia be amin'ny faminaniany ireo zavatra sarotra vinavinaina sy tsy misy dikany ny modelyo. Ka izany no mahatonga ahy hisolo vava ny maritrano miaraka amin'ny embedding, ireo zavatra izay misy ny fari-piainana ezahinao atao modely, tsy manandrana maminavina azy ianao, manandrana manamboatra azy, fa mandeha amin'ny encoder, ary io encoder io dia afaka manafoana antsipiriany be dia be momba ny fampidirana izay tsy misy dikany na sarotra loatra - amin'ny ankapobeny, mitovy amin'ny tabataba.
ZDNet: Noresahinay tamin'ny fiandohan'ity taona ity ny modely mifototra amin'ny angovo, ny JEPA sy H-JEPA. Ny hevitro, raha azoko tsara ianao, dia mahita ny teboka ambany angovo ianao izay mitovy indrindra amin'ireo faminaniana roa momba ny X sy Y, izay midika fa raha misy voromailala iray ao anaty hazo iray, ary misy zavatra ao amin'ny ambadiky ny sehatra iray, mety tsy ireo no tena zava-dehibe mahatonga ireo embddings mifanakaiky.
YL: marina. Noho izany, ny maritrano JEPA dia tena manandrana mitady fifanakalozam-bola, marimaritra iraisana, eo amin'ny fanalana ireo fanehoana izay mampahafantatra indrindra momba ny fampidirana nefa azo vinavinaina ihany koa miaraka amin'ny haavo marina na azo itokisana. Mahita fifampiraharahana izany. Noho izany, raha manana safidy eo amin'ny fandaniana loharanon-karena be dia be ao anatin'izany ny antsipirian'ny fihetsiky ny ravina, ary avy eo ny modely ny dinamika izay hanapa-kevitra ny fomba fihetsehan'ny ravina iray segondra manomboka izao, na mandatsaka izany eo amin'ny tany fotsiny. amin'ny ankapobeny fotsiny ny fampandehanana ny Y variable amin'ny alàlan'ny vinavina iray izay manafoana ireo antsipiriany rehetra ireo, dia mety hofoanana fotsiny izany satria sarotra loatra ny manao modely sy misambotra.
ZDNet: Ny zavatra iray mahagaga dia ianao dia mpanohana lehibe nilaza hoe "Mandeha izany, ho hitantsika any aoriana ny teoria momba ny thermodynamika hanazava izany." Eto ianao dia naka fomba fijery, "Tsy fantatro hoe ahoana no fomba hamahana an'io, fa te-hanolotra hevitra sasantsasany aho hieritreretana momba izany," ary mety hanatona teoria na petra-kevitra mihitsy aza, amin'ny kely indrindra. Mahavariana izany satria be dia be ny olona mandany vola be amin'ny asa amin'ny fiara izay afaka mahita ny mpandeha an-tongotra na dia manana saina aza ny fiara. Ary alaiko sary an-tsaina fa ny sasany amin'ireo olona ireo dia ho, tsy voatsindrona, fa hiteny izy ireo hoe: "Tsara izany, tsy miraharaha izahay na dia tsy manana saina aza izany, nanamboatra simulation izahay, mahagaga ny simulation, ary hihatsara hatrany izahay, hanamafy hatrany ny simulation.
Ary noho izany dia mahaliana fa eo amin'ny toerana iray ianao izao dia izao, andao isika hihemotra ary hieritreritra ny zavatra ataontsika. Ary ny indostria dia milaza fa handeha fotsiny isika, mizana, mizana, mizana, satria tena miasa io crank io. Ny tiako holazaina dia tena miasa ny crank semiconductor an'ny GPU.
YL: Misy fanontaniana dimy ao. Noho izany, ny tiako holazaina dia ilaina ny scaling. Tsy manakiana ny tokony hataontsika isika. Tokony hanao scale isika. Mihatsara kokoa ireo harato neural ireo rehefa mihalehibe. Tsy misy fanontaniana tokony hataontsika. Ary ireo izay hanana ambaratongam-pahalalana sasany dia ho lehibe. Tsy misy fomba azo anaovana izany, hoy aho. Noho izany dia tsara ny scaling, ilaina izany, fa tsy ampy. Izay no hevitra arosoko. Tsy scaling fotsiny izany. Izay no teboka voalohany.
Hevitra faharoa, ny teoria ve no voalohany sy ny toy izany. Noho izany, heveriko fa misy foto-kevitra tonga aloha fa tsy maintsy mihemotra ianao ary miteny hoe, eny, nanamboatra an'io tohatra io izahay, saingy te-ho any amin'ny volana izahay ary tsy misy fomba hahatongavan'ity tohatra ity ho any. Noho izany, amin'ny ankapobeny, ny zavatra soratako eto dia, mila manamboatra balafomanga isika. Tsy afaka manome anao ny antsipiriany momba ny fomba fanamboarana balafomanga izahay, fa ireto ny fitsipika fototra. Ary tsy manoratra teoria momba an'io aho na inona na inona, fa, ho rocket izany, okay? Na ascenseur espace na inona. Mety tsy manana ny antsipiriany rehetra momba ny teknolojia rehetra isika. Miezaka ny hanatanteraka ny sasany amin'ireo zavatra ireo izahay, toy ny niasako tamin'ny JEPA. Ny fametahana itambarana dia tena miasa tsara ho an'ny famantarana ny sary, fa ny fampiasana azy hanofana modely manerantany dia misy fahasarotana. Miasa amin'izany izahay, manantena izahay fa hahomby soon, saingy mety ho tojo sakantsakana sasany isika any izay tsy ho vitantsika, angamba.
Avy eo dia misy hevi-dehibe ao amin'ny taratasy momba ny fisainana izay raha tiantsika ny rafitra ho afaka handrafitra, izay azonao heverina ho endrika tsotra amin'ny fisainana, dia mila manana fari-pitsipika latent izy ireo. Raha lazaina amin'ny teny hafa, ny zavatra izay tsy kajy amin'ny neural net fa ny zavatra - izay ny sandany dia nalaina mba hanamaivanana ny sasany tanjona tanjona, ny sasany vidiny. Ary avy eo dia azonao atao ny mampiasa an'io fiasa lafo vidy io mba hitondrana ny fihetsiky ny rafitra. Ary tsy hevitra vaovao mihitsy izany, sa tsy izany? Ity dia tena mahazatra, fanaraha-maso tsara indrindra izay miverina amin'ny faran'ny taona 50, fiandohan'ny taona 60. Noho izany, tsy mitaky zava-baovao eto. Fa ny lazaiko dia ity karazana fanatsoahan-kevitra ity dia tsy maintsy tafiditra ao anatin'ny rafitra manan-tsaina izay afaka manao drafitra, ary ny fitondran-tenany dia azo faritana na fehezina tsy amin'ny fitondran-tena mafy, tsy amin'ny fiankinan-doha, fa amin'ny asa tanjona izay. mitondra ny fitondran-tena - tsy mitondra ny fianarana, tsy maintsy, fa mitondra ny fitondran-tena. Fantatrao fa manana izany ao amin'ny atidohantsika isika, ary ny biby tsirairay dia manana vidiny intrinsic na antony manosika ny zavatra. Izany no mahatonga ny zaza sivy volana te hitsangana. Ny vidin'ny falifaly rehefa mitsangana ianao, io teny io ao amin'ny fampiasam-bola dia raikitra. Fa ny fomba fijoroanao dia tsy izany, izany no fianarana.
"Tsara ny scaling, ilaina izany, saingy tsy ampy," hoy i LeCun momba ny modely amin'ny fiteny goavambe toy ny programa mifototra amin'ny Transformer amin'ny karazany GPT-3. Ny mpivavaka amin'ny Transformer dia mino hoe: "Maneho ny zava-drehetra izahay, ary mampiofana goavanamaodely hanao faminaniana miavaka, ary amin'ny fomba ahoana no hivoahan'ny AI…
ZDNet: Mba hamaranana an'io teboka io fotsiny, ny ankamaroan'ny vondrom-piarahamonina fianarana lalina dia toa mandeha tsara amin'ny zavatra tsy misy dikany. Toa manao tohan-kevitra mazava tsara eto ianao fa misy fotoana manjary mikorontana. Misy olona milaza fa tsy mila fiara tsy miankina amin'ny saina satria ny scaling no hanao izany. Toa milaza ianao fa tsy mety ny manohy an'io lalana io?
YL: Fantatrao, heveriko fa azo atao tanteraka ny hanana fiara tsy miankina amin'ny ambaratonga dimy tsy misy saina. Saingy ny olana amin'ity fomba fiasa ity, dia ho vonjimaika izany, satria tsy maintsy manamboatra ny helo amin'izany ianao. Noho izany, fantatrao, sarintany izao tontolo izao, tariby mafy amin'ny karazana fihetsika zorony manokana, manangona angon-drakitra ampy izay anananao ny toe-javatra hafahafa rehetra azonao atrehina eny an-dalana, blah, blah, blah. Ary ny heveriko fa miaraka amin'ny fampiasam-bola sy fotoana ampy dia azonao atao ny manamboatra ny helo amin'izany. Saingy amin'ny farany dia hisy vahaolana mahafa-po kokoa ary mety ho tsara kokoa izay misy rafitra izay manao asa tsara kokoa amin'ny fahatakarana ny fomba fiasan'izao tontolo izao, ary manana, fantatrao, ny ambaratonga sasany amin'ny antsointsika hoe saina. Tsy ilaina ny fahaiza-misaina amin'ny olombelona, fa karazana fahalalana azon'ny rafitra amin'ny fijerena, fa tsy mijery olona mitondra fiara, mijery fotsiny ny zavatra mandehandeha ary mahatakatra zavatra betsaka momba an'izao tontolo izao, manorina fototra fototra. fahalalana momba ny fomba fiasan'izao tontolo izao, izay ahafahanao mianatra mitondra fiara.
Mamelà ahy haka ohatra ara-tantara momba izany. Ny fahitan'ny ordinatera mahazatra dia nifototra tamin'ny maodely maro voarindra, novolavolaina, ary ambonin'izany dia hanana fianarana manify ianao. Noho izany, ireo zavatra nodarohan'i AlexNet tamin'ny taona 2012, dia nanana dingana voalohany, karazana, fandrafetana endri-javatra, toy ny SIFTs [Scale-Invariant Feature Transform (SIFT), teknika fahitana mahazatra hamantarana zavatra misongadina ao anaty sary] ary HOG [Histogram of Oriented Gradients, teknika mahazatra hafa] ary zavatra maro hafa. Ary avy eo ny sosona faharoa, karazana, endri-javatra antonony mifototra amin'ny kernel endri-javatra sy na inona na inona, ary karazana fomba tsy voafehy. Ary ambonin'izany, mametraka milina vector fanohanana ianao, na fanasokajiana somary tsotra. Ary izany dia karazana fantsona mahazatra nanomboka tamin'ny tapaky ny taona 2000 ka hatramin'ny 2012. Ary izany dia nosoloina harato convolutional end-to-end, izay tsy anananao mafy an'izany, fa manana data be dia be ianao, ary mampiofanao ilay zavatra hatramin'ny farany ka hatramin'ny farany, izay ilay fomba natolotro hatry ny ela, saingy fantatrao, hatramin'izay, dia tsy azo ampiharina amin'ny olana lehibe.
Nisy tantara mitovitovy amin'izany amin'ny fanekena ny kabary izay, indray, nisy injeniera amin'ny antsipiriany be dia be momba ny fomba fanodinanao mialoha ny angon-drakitra, nalainao ny cepstrum miendrika faobe [fandikan'ny Fast Fourier Transform ho an'ny fanodinana famantarana], ary avy eo manana Models miafina Markov ianao, miaraka amin'ny karazana, maritrano efa napetraka, blah, blah, blah, miaraka amin'ny Mixture of Gaussians. Ary noho izany, dia somary mitovy ny maritrano amin'ny fahitana izay nanaovanao tanana eo anoloana, ary avy eo ny sosona tsy voafehy, voaofana, afovoany, ary avy eo misy sosona manara-maso eo ambony. Ary ankehitriny izany dia, amin'ny ankapobeny, nofafana tamin'ny harato neural farany. Noho izany dia toa mahita zavatra mitovy amin'izany aho amin'ny fiezahana hianatra ny zava-drehetra, saingy tsy maintsy manana ny tsara aloha ianao, ny maritrano mety, ny rafitra mety.
Ny vahoaka mitondra fiara, ireo fanombohana toa an'i Waymo sy Wayve, dia "somary be fanantenana loatra", hoy izy, tamin'ny fieritreretana fa afaka "manipy angon-drakitra amin'izany, ary afaka mianatra zavatra betsaka ianao." Ny fiara mitondra tena ao amin'ny Level 5 an'ny ADAS dia azo atao, "Saingy tsy maintsy manamboatra ny helo ianao" ary ho "mora" toy ny maodely fahita amin'ny ordinatera.
ZDNet: Ny zavatra lazainao dia, ny olona sasany dia hiezaka hanamboatra izay tsy mandeha amin'izao fotoana izao miaraka amin'ny fianarana lalina ho an'ny fampiharana, hoy, amin'ny indostria, ary hanomboka hamorona zavatra izay lasa lany andro amin'ny fahitana solosaina izy ireo?
YL: marina. Ary anisan'ny nahatonga ny olona miasa amin'ny fiara tsy miankina ho be fanantenana loatra tato anatin'ny taona vitsivitsy, dia satria, fantatrao, manana an'ireto, karazana, zavatra mahazatra toy ny convolutional nets sy Transformers, izay ahafahanao manipy data amin'izany. , ary afaka mianatra zavatra betsaka. Noho izany, hoy ianao, Okay, manana ny vahaolana amin'io olana io aho. Ny zavatra voalohany ataonao dia ny manangana demo izay mitondra ny fiara mandritra ny minitra vitsy tsy mandratra olona. Ary avy eo dia tsapanao fa be dia be ny tranga an-joron-trano, ary miezaka mamolavola ny filahatry ny hoe hatraiza no mahazo tsara kokoa aho rehefa ampitomboiko avo roa heny ny fiofanana, ary tsapanao fa tsy ho tonga any mihitsy ianao satria misy karazana tranga isan-karazany. . Ary mila manana fiara izay hiteraka lozam-pifamoivoizana mahafaty latsaky ny 200 tapitrisa kilometatra ianao, sa tsy izany? Inona àry no ataonao? Eny, mandeha amin'ny lalana roa ianao.
Ny tari-dalana voalohany dia, ahoana no ahafahako mampihena ny habetsaky ny angon-drakitra ilaina amin'ny fianarako? Ary eo no idiran'ny fianarana manara-tena. Noho izany, maro ireo akanjo mitondra fiara no tena liana amin'ny fianarana samirery satria izany dia fomba iray mbola hampiasana angon-drakitra fanaraha-maso be dia be ho an'ny fianarana maka tahaka, fa ny fampandehanana tsara kokoa amin'ny fanofanana mialoha, amin'ny ankapobeny. Ary mbola tsy nipoitra izany, fa ho tanteraka. Ary avy eo dia misy ny safidy hafa, izay noraisin'ny ankamaroan'ny orinasa efa mandroso kokoa amin'izao fotoana izao, izany hoe, okay, afaka manao ny fiofanana amin'ny faran'ny farany isika, saingy misy tranga an-jorony maro azontsika ' t, noho izany dia handeha amin'ny rafitra injeniera izay hikarakara ireo tranga an-jorony ireo isika, ary, amin'ny ankapobeny, hitondra azy ireo ho toy ny tranga manokana, ary hanamafisana ny fanaraha-maso, ary avy eo dia hanamboatra fitondran-tena fototra maro hiatrehana toe-javatra manokana. Ary raha manana ekipa injeniera lehibe ianao, dia azonao atao ny manala izany. Saingy haharitra ela izany, ary amin'ny farany, dia mbola ho simba kely, angamba azo ianteherana fa azonao ampiasaina, saingy miaraka amin'ny haavon'ny hakingan-tsaina, izay, miaraka amin'ny fomba fiasa mifototra amin'ny fianarana izay mety hiseho amin'ny ho avy, ny fiara dia tsy hanana satria mety manana ambaratongam-pahalalana sy fahatakarana ny fomba fiasan'izao tontolo izao.
Ao anatin'ny fotoana fohy, ny fomba fiasa ara-teknika dia handresy - efa mandresy izany. Izany no Waymo sy Cruise an'izao tontolo izao ary Wayveary na inona na inona, dia izany no ataony. Avy eo dia misy ny fomba fianarana manara-maso, izay mety hanampy amin'ny fandrosoana ara-teknika. Saingy, amin'ny fotoana maharitra, izay mety ho lava loatra ho an'ireo orinasa ireo andrasany, dia mety ho, karazana, rafitra mitondra fiara manan-tsaina mitambatra kokoa.
ZDNet: Lazainay fa mihoatra ny faravodilanitra fampiasam-bolan'ny ankamaroan'ny mpampiasa vola.
YL: Marina izany. Noho izany, ny fanontaniana dia hoe, ho very faharetana ve ny olona sa ho lany vola vao tonga amin'ny ambaratonga tadiavina ny fampisehoana.
ZDNet: Misy zavatra mahaliana holazaina ve momba ny antony nisafidiananao ny singa sasany nofidinao tao amin'ny maodely? Satria mitanisa an'i Kenneth Craik [1943,Ny toetran'ny Fanazavana], ary mitanisa an'i Bryson sy Ho [1969, Nampiasa fanaraha-maso tsara indrindra], ary manontany tena aho hoe nahoana ianao no nanomboka tamin'ireo fitaomana ireo, raha nino indrindra ianao fa ireo olona ireo dia nanamafy izany hatramin'ny zavatra nataony. Nahoana ianao no nanomboka teo?
YL: Eny, tsy heveriko, azo antoka fa nofantsihana avokoa ny antsipiriany rehetra. Noho izany, Bryson sy Ho, ity dia boky novakiako tamin'ny 1987 fony aho postdoc niaraka tamin'i Geoffrey Hinton tany Toronto. Saingy efa fantatro mialoha ny momba an'io asa io fony aho nanoratra ny PhD, ary nanao ny fifandraisan'ny fanaraha-maso tsara indrindra sy ny backprop, indrindra. Raha tena tianao ny ho, fantatrao, Schmidhuber hafa, dia holazainao fa ny tena mpamorona ny backprop dia tena manam-pahaizana momba ny fanaraha-maso tsara indrindra Henry J. Kelley, Arthur Bryson, ary angamba na Lev Pontryagin aza, izay Rosiana teorista momba ny fanaraha-maso tsara indrindra. tamin'ny faramparan'ny '50s.
Noho izany, fantatr'izy ireo izany, ary raha ny marina, azonao atao ny mahita ny fototry an'io, ny matematika eo ambanin'izany, dia ny mekanika Lagrangian. Noho izany dia afaka miverina any amin'i Euler sy Lagrange ianao, raha ny marina, ary karazana mahita an'io amin'ny famaritana ny mekanika klasika Lagrangian. Noho izany, ao anatin'ny tontolon'ny fanaraha-maso tsara indrindra, ny tena nahaliana azy ireo dia ny fanaovana fikajiana ny lalan'ny balafomanga. Fantatrao fa tamin'ny vanim-potoana voalohan'ny habakabaka izany. Ary raha manana modely amin'ny balafomanga ianao, dia milaza aminao fa eto ny toetry ny balafomanga amin'ny fotoana t, ary izao ny hetsika horaisiko, noho izany, thrust sy actuators isan-karazany, eto ny toetry ny balafomanga amin'ny fotoana. t + 1.
ZDNet: Modely hetsika fanjakana, modely sarobidy.
YL: Marina izany, fototry ny fanaraha-maso. Noho izany, ankehitriny ianao dia afaka manao simulate ny fitifirana ny balafomanga amin'ny alalan'ny sary an-tsaina ny filaharan'ny baiko, ary avy eo dia manana ny sasany vidiny, izay ny halaviran'ny balafomanga ho any amin'ny tanjona, ny habakabaka na inona na inona. Ary avy eo amin'ny karazana fidinan'ny gradient, azonao fantarina, ahoana no ahafahako manavao ny filaharan'ny hetsika ataoko mba hahatongavan'ny balafoko akaiky araka izay azo atao amin'ny tanjona. Ary izany dia tsy maintsy tonga amin'ny alàlan'ny fampielezam-peo mihemotra amin'ny fotoana. Ary izany no back-propagation, gradient back-propagation. Ireo famantarana ireo dia antsoina hoe variable conjugate amin'ny mekanika Lagrangian, fa raha ny marina dia gradients izy ireo. Noho izany, namorona backprop izy ireo, saingy tsy tsapan'izy ireo fa ity fitsipika ity dia azo ampiasaina hanofanana rafitra misy dingana maromaro izay afaka manao fanekena ny lamina na zavatra toy izany. Tsy tena nitranga izany raha tsy tamin'ny faramparan'ny taona 70, tany am-piandohan'ireo taona 80, ary avy eo dia tsy nampiharina sy niasa hatramin'ny tapaky ny taona 80. Eny ary, eto no tena niaingan'ny backprop, karazana, satria nasehon'ny olona eto fa misy andalana vitsivitsy izay ahafahanao mampiofana harato neural, faran'ny farany, multilayer. Ary izany dia manandratra ny fetran'ny Perceptron. Ary, eny, misy fifandraisana amin'ny fanaraha-maso tsara indrindra, saingy tsy maninona izany.
ZDNet: Noho izany, fomba lava be izany hilazana fa ireo fitaomana natombokao ireo dia niverina tany amin'ny backprop, ary zava-dehibe izany ho fanombohana anao?
YL: Eny, saingy heveriko fa ny zavatra hadinon'ny olona kely, dia nisy asa kely momba izany, fantatrao, tany amin'ny '90s, na ny '80s, anisan'izany ny olona toa an'i Michael Jordan [MIT Dept. of Brain. sy Cognitive Sciences] ary ny olona toa izany izay tsy manao harato neural intsony, fa ny hevitra hoe afaka mampiasa harato neural ianao mba hifehezana, ary afaka mampiasa hevitra klasika momba ny fanaraha-maso tsara indrindra ianao. Noho izany, zavatra toy ny antsoina hoe fanaraha-maso modely-predictive, izay antsoina ankehitriny hoe fanaraha-maso modely-predictive, ity hevitra ity izay azonao atao tahaka na alaina sary an-tsaina ny vokatry ny filaharan'ny hetsika raha manana modely tsara amin'ny rafitra ezahinao fehezina ianao. ary ny tontolo iainany. Ary avy eo amin'ny fidinana miandalana, amin'ny ankapobeny — tsy fianarana izany, fa inference — azonao fantarina hoe inona no filaharan'ny hetsika tsara indrindra izay hanamaivana ny tanjoko. Noho izany, ny fampiasana ny fampiasam-bola miaraka amin'ny fari-pitsipika latent ho an'ny inference dia, heveriko, zavatra izay hadinon'ny voly amin'izao fotoana izao ny harato neural lehibe. Saingy singa tena mahazatra amin'ny fianarana milina nandritra ny fotoana ela. Noho izany, isaky ny Bayesian Net na maodely grafika na maodely grafika probabilistika dia nampiasa io karazana inference io. Manana modely ianao izay misambotra ny fiankinan-doha eo amin'ny vondron'olona miovaova, lazaina aminao ny sandan'ny variable sasany, ary avy eo dia mila manatsoaka ny sanda mety indrindra amin'ny sisa amin'ny variables ianao. Izany no fitsipika fototry ny fanatsoahan-kevitra amin'ny maodely grafika sy Bayesian Nets, sy ny zavatra toy izany. Ary heveriko fa izany no tokony ho fototry ny fanjohian-kevitra, ny fisainana sy ny fandrindrana.
ZDNet: Bayesian efi-trano ianao.
YL: Bayesian tsy misy probabilistika aho. Efa nanao an'io vazivazy io aho taloha. Tena tao amin'ny NeurIPS aho taona vitsivitsy lasa izay, heveriko fa tamin'ny 2018 na 2019 izany, ary noraisin'ny Bayesian tao anaty vidéo aho izay nanontany ahy raha Bayesian aho, ary hoy aho hoe, Eny, Bayesian aho, fa izaho Bayesian tsy misy probabilistika aho, karazana, Bayesian mifototra amin'ny angovo, raha tianao.
ZDNet: Izay tena toa zavatra avy Star Trek. Nolazainao tao amin'ny faran'ity taratasy ity fa mila asa mafy an-taonany maro vao tonga saina ny zavatra eritreretinao. Lazao ahy ny momba ny sasany amin'ireo asa amin'izao fotoana izao.
YL: Noho izany, hazavaiko ny fomba fanofananao sy fananganana ny JEPA amin'ny taratasy. Ary ny mason-tsivana izay tolorako dia ny fananana fomba iray hampitomboana ny votoatin'ny fampahalalam-baovao izay ananan'ireo fanehoan-kevitra nalaina momba ny fampidirana. Ary avy eo ny faharoa dia manamaivana ny fahadisoana vinavina. Ary raha manana fari-pahaizan'ny latent ianao ao amin'ny vinavina izay mamela ny vinavina ho tsy voafaritra, dia tsy maintsy manara-penitra ihany koa ity fari-piarovana ity ianao amin'ny alàlan'ny fanamaivanana ny votoatiny fampahalalana. Noho izany, manana olana roa ianao izao, dia ny fomba hampitomboanao ny votoatin'ny fampahalalam-baovao amin'ny famoahana ny harato neural sasany, ary ny iray hafa dia ny fomba hampihenana ny votoatin'ny fampahalalana amin'ny fari-pahaizan'ny latent sasany? Ary raha tsy manao ireo zavatra roa ireo ianao dia hirodana ny rafitra. Tsy hianatra zavatra mahaliana izany. Hanome angovo aotra ho an'ny zava-drehetra, zavatra toy izany, izay tsy modely tsara amin'ny fiankinan-doha. Ny olan'ny fisorohana ny fianjerana no lazaiko.
Ary ny zavatra rehetra nataon'ny olona no lazaiko, dia misy sokajy roa ihany ny fomba hisorohana ny firodanan'ny. Ny iray dia fomba mifanohitra, ary ny iray hafa dia ireo fomba mahazatra. Noho izany, ity hevitra ity amin'ny fampitomboana ny votoatin'ny fampahalalam-baovao amin'ny fanehoana ny fampidiran-dresaka roa sy ny fampihenana ny votoatin'ny fampahalalana ao amin'ny fari-piarovana miafina, izay an'ny fomba mahazatra. Saingy ny ankamaroan'ny asa amin'ireo maritrano fampitaovana iraisana ireo dia mampiasa fomba mifanohitra. Raha ny marina, izy ireo angamba no malaza indrindra amin'izao fotoana izao. Noho izany, ny fanontaniana dia ny fomba handrefesanao ny votoatin'ny fampahalalana amin'ny fomba ahafahanao manatsara na manamaivana? Ary eo no lasa sarotra ny zava-drehetra satria tsy fantatsika ny fomba fandrefesana ny votoatin'ny fampahalalana. Afaka manombantombana izany isika, afaka mamehy azy ambony, afaka manao zavatra toy izany. Saingy tsy mandrefy ny votoatin'ny fampahalalana izy ireo, izay, raha ny marina, amin'ny lafiny iray dia tsy voafaritra tsara akory.
ZDNet: Tsy Lalàn'i Shannon ve izany? Tsy théorie d'information ve izany? Manana entropy maromaro ianao, entropy tsara ary entropy ratsy, ary ny entropy tsara dia rafitra marika miasa, ny entropy ratsy dia tabataba. Tsy voavahan'i Shannon ve izany rehetra izany?
YL: Marina ny anao, saingy misy lesoka lehibe ao ambadik'izany. Marina ny hevitrao fa raha manana angon-drakitra tonga ao aminao ianao ary azonao atao ny mametaka ny angon-drakitra ho marika miavaka, ary avy eo mandrefy ny mety ho an'ny tsirairay amin'ireo marika ireo ianao, dia ny habetsaky ny fampahalalana ambony indrindra entin'ireo marika ireo dia ny mamintina ny mety ho famantarana ny Pi log Pi, sa tsy izany? izay Pi dia ny mety ho marika i - izany no entropy Shannon. [Ny Lalàn'i Shannon dia matetika novolavolaina ho H = – ∑ pi log pi.]
Izao anefa ny olana: Inona no atao Pi? Mora izany rehefa kely ny isan'ny tandindona ary atao tsy miankina ny marika. Rehefa misy marika sy fiankinana maro dia sarotra be izany. Noho izany, raha manana filaharan'ny bits ianao ary heverinao fa tsy miankina amin'ny tsirairay ny bits ary mitovy ny mety ho eo amin'ny iray sy aotra na inona na inona, dia azonao atao ny mandrefy mora foana ny entropy, tsy misy olana. Fa raha ny zavatra tonga aminao dia véctors avo dimensional, toy ny, fantatrao, frame data, na zavatra toy izao, inona no Pi? Inona ny fizarana? Voalohany dia mila mametaka io habaka io ianao, izay habaka avo lenta sy mitohy. Tsy hainao ny fomba fanisana azy io araka ny tokony ho izy. Azonao atao ny mampiasa k-means, sns. Izany no ataon'ny olona rehefa manao compression video sy compression sary. Fa tombantombana ihany. Ary avy eo dia tsy maintsy manao vinavina momba ny fahaleovantena. Noho izany, mazava ho azy fa amin'ny horonan-tsary dia tsy mahaleo tena ny frames nifandimby. Misy ny fiankinan-doha, ary io frame io dia mety hiankina amin'ny frame hafa hitanao ora iray lasa izay, izay sarin'ny zavatra mitovy. Noho izany, fantatrao, tsy afaka mandrefy ianao Pi. Mandrefy Pi, tsy maintsy manana rafitra fianarana milina izay mianatra maminavina ianao. Ary noho izany dia miverina amin'ny olana teo aloha ianao. Noho izany, azonao atao ny manombatombana ny fatran'ny fampahalalana, amin'ny ankapobeny.
"Ny fanontaniana dia hoe ahoana no handrefesanao ny votoatin'ny fampahalalana amin'ny fomba ahafahanao manatsara na manamaivana?" hoy i LeCun. "Ary teo no lasa sarotra ny zava-drehetra satria tsy fantatsika ny fomba fandrefesana ny votoatin'ny fampahalalana." Ny tsara indrindra azo atao hatramin'izao dia ny fitadiavana proxy izay "afaka amin'ny asa tadiavintsika".
Mamelà ahy haka ohatra mivaingana kokoa. Ny iray amin'ireo algorithm izay nilalao anay, ary noresahiko tao amin'ilay sombiny, dia ity zavatra antsoina hoe VICReg ity, variance-invariance-covariance regularization. Ao amin'ny taratasy misaraka izay navoaka tao amin'ny ICLR, ary napetraka tamin'ny arXiv izany tokony ho herintaona mialoha, 2021. Ary ny hevitra ao dia ny hampitombo ny vaovao. Ary ny hevitra dia tena nivoaka avy amin'ny taratasy teo aloha nataon'ny vondrona antsoina hoe Barlow Twins. Ampitomboinao ny votoatin'ny fampahalalam-baovao iray mivoaka avy amin'ny harato neural, amin'ny ankapobeny, amin'ny fiheverana fa ny hany fiankinan-doha eo amin'ny variables dia ny fifandraisana, ny fiankinan-doha amin'ny tsipika. Noho izany, raha heverinao fa ny hany fiankinan-doha azo atao eo amin'ny mpivady roa, na eo anelanelan'ny fari-piainana ao amin'ny rafitrao, dia ny fifamatorana misy eo amin'ny fananana sarobidy, izay ny tombantombana faran'izay henjana, dia azonao atao ny mampitombo ny votoatin'ny fampahalalana mivoaka avy amin'ny rafitrao. amin'ny fanaovana antoka fa ny variables rehetra dia tsy misy variana aotra - andao atao hoe, variance iray, tsy maninona na inona izany - ary avy eo mampifandray azy ireo, dingana mitovy amin'ny antsoina hoe whitening, tsy vaovao koa izany. Ny olana amin'ity dia ny hoe afaka manana fiankinan-doha be dia be ianao eo amin'ny vondron'olona variables na ireo variables vitsivitsy izay tsy miankina amin'ny linear, ary tsy miseho amin'ny fifandraisana. Noho izany, ohatra, raha manana fari-piainana roa ianao, ary ny teboka rehetra amin'ireo fari-pahalalana roa ireo dia milahatra amin'ny karazana spiral, dia misy fiankinan-doha mafy eo amin'ireo fari-piainana roa ireo, sa tsy izany? Saingy raha ny marina, raha kajy ny fifandraisana misy eo amin'ireo variables roa ireo dia tsy mifandray izy ireo. Noho izany, ity misy ohatra iray izay tena kely ny votoatin'ny fampahalalana an'ireo variables roa ireo, iray ihany izany satria ny toeranao ao amin'ny spiral. De-correlated izy ireo, noho izany dia heverinao fa manana fampahalalana be dia be avy amin'ireo variables roa ireo ianao raha ny marina dia tsy izany, ianao ihany no manana, fantatrao, azonao atao ny maminavina ny iray amin'ireo variables amin'ny iray hafa, amin'ny ankapobeny. Noho izany, izany dia mampiseho fa tsy manana afa-tsy fomba tena tombantombana isika handrefesana ny votoatin'ny fampahalalana.
ZDNet: Ary izany no iray amin'ireo zavatra tsy maintsy iasanao amin'izao fotoana izao? Ity no fanontaniana lehibe kokoa ny amin'ny fomba ahafantarantsika rehefa manabe sy manamaivana ny votoaty vaovao isika?
YL: Na ny proxy ampiasainay amin'izany dia ampy tsara amin'ny asa tadiavintsika. Raha ny marina dia manao izany foana izahay amin'ny fianarana milina. Ny fampiasa vola ahenanay dia tsy izay tena tiana hahena mihitsy. Ka, ohatra, te hanao fanasokajiana ianao, okay? Ny fiasan'ny vidiny tianao hahena rehefa manofana mpanasokajy ianao dia ny isan'ny lesoka ataon'ny mpanasokajy. Fa izany dia asa tsy manavaka, mampihoron-koditra izay tsy azonao ahena satria fantatrao fa hanova ny lanjan'ny harato neural ianao, tsy hisy hiova raha tsy ny iray amin'ireo santionany ireo no mamadika ny fanapahan-keviny, ary avy eo dia mitsambikina. amin'ny fahadisoana, tsara na ratsy.
ZDNet: Noho izany dia manana proxy ianao izay fiasa tanjona izay azonao lazaina, azo antoka fa afaka mikoriana ny gradients amin'ity zavatra ity.
YL: Marina izany. Ka ny olona mampiasa an'io fatiantoka cross-entropy io, na SOFTMAX, manana anarana maromaro ho an'izany ianao, fa mitovy ihany. Ary amin'ny ankapobeny dia fanombanana malefaka ny isan'ny fahadisoana ataon'ny rafitra, izay anaovana ny fanamafisam-peo, amin'ny ankapobeny, amin'ny fiheverana ny isa omen'ny rafitra ho an'ny sokajy tsirairay.
ZDNet: Misy zavatra tsy voaresakay ve tianao holazaina?
YL: Manantitrantitra ny hevi-dehibe angamba izany. Heveriko fa ny rafitra AI dia mila mahay manjohy hevitra, ary ny dingana ho an'ity tolorako ity dia manamaivana ny tanjona sasany momba ny fari-piadidiana sasany. Izany dia mamela ny rafitra handamina sy hisaintsaina. Heveriko fa tokony hiala amin'ny rafitra probabilistika isika satria sarotra be izany rehefa te hanao zavatra toy ny fiankinan-doha amin'ny fiankinan-doha eo amin'ny fari-pitsipika avo lenta sy mitohy. Ary manoro hevitra ny hiala amin'ny maodely miteraka aho satria tsy maintsy hanokana loharanon-karena be loatra ny rafitra haminavina zavatra sarotra vinavinaina ary mety handany loharanon-karena be loatra. Ary tena izany tokoa. Izany no hafatra lehibe, raha tianao. Ary avy eo ny maritrano ankapobeny. Avy eo dia misy ireo tombantombana momba ny toetran'ny fahatsiarovan-tena sy ny anjara asan'ny configurator, saingy tena fanombantombanana izany.
ZDNet: Ho tonga amin’izany isika amin’ny manaraka. Saika hanontany anao aho, ahoana no fomba amaritanao an'io zavatra io? Fa ataoko fa somary lavitry ny benchmarking ianao izao?
YL: Tsy voatery ho lavitra loatra amin'ny dikan-teny tsotra. Azonao atao ny manao izay ataon'ny rehetra amin'ny fanaraha-maso na fanamafisana ny fianarana, izany hoe mampiofanao ny zavatra hilalao lalao Atari na zavatra toy izany na lalao hafa izay misy fisalasalana ao anatiny.
ZDNet: Misaotra tamin'ny fotoananao, Yann.
English
Arabic
Belarusian
Bengali
Bosnian
Bulgarian
Chinese (Simplified)
Croatian
Czech
Danish
Dutch
English
Estonian
Filipino
Finnish
French
Georgian
German
Greek
Gujarati
Hausa
Hebrew
Hindi
Hmong
Hungarian
Igbo
Indonesian
Italian
Japanese
Javanese
Kazakh
Korean
Kurdish (Kurmanji)
Kyrgyz
Lao
Latvian
Lithuanian
Macedonian
Malagasy
Norwegian
Persian
Polish
Portuguese
Punjabi
Romanian
Russian
Serbian
Slovak
Slovenian
Spanish
Swedish
Thai
Turkish
Ukrainian
Vietnamese
Yoruba