Keep Calm and Stay Smart
04:29
Meta's AI guru LeCun: Piraniya nêzîkatiyên AI-ê yên îroyîn dê tu carî rê nedin îstîxbarata rastîn
Yann LeCun, serekê zanyarê AI yê Meta, dibêje: "Ez difikirim ku pergalên AI-ê hewce ne ku karibin aqil bikin." Nêzîkatiyên îroyîn ên populer ên AI-ê yên wekî Transformers, ku pir ji wan li ser xebata wî ya pêşeng a li qadê ava dibin, dê ne bes bin. LeCun dibêje: "Divê hûn gavekê paşde bavêjin û bibêjin, baş e, me ev nêrdewan çêkir, lê em dixwazin herin heyvê, û çu rê tune ku ev nêrdewan me bigihîne wir."
Yann LeCun, zanyarê sereke AI Meta Properties, xwedan Facebook, Instagram, û WhatsApp, îhtîmal e ku di warê xwe de gelek kesan bişopîne.
Bi şandina di hezîranê de perçeyek fikirîn li ser servera Vekolîna Vekirî, LeCun li ser nêzîkatiyek ku ew difikire ku ji bo bidestxistina îstîxbarata asta mirovî ya di makîneyan de soz digire, nêrînek berfireh pêşkêşî kir.
Niha nuha
Tête gotin ku heke di kaxezê de neyê vegotin ev nîqaş e ku piraniya projeyên mezin ên îro di AI-ê de dê çu carî nikaribin bigihîjin wê armanca asta mirovî.
Di gotûbêja vê mehê de bi ZDNet bi rêya Zoom, LeCun eşkere kir ku ew bi gumanek mezin li gelek rêçên herî serfiraz ên lêkolînê yên di fêrbûna kûr de di dema niha de dinêre.
"Ez difikirim ku ew hewce ne lê ne bes in," xelatgirê Xelata Turing got ZDNet ji lêgerînên hevalên xwe re.
Di nav wan de modelên zimanên mezin ên wekî GPT-3-ya bingehîn Transformer û yên mîna wan hene. Wekî ku LeCun wê diyar dike, dilsozên Transformer bawer dikin, "Em her tiştî token dikin, û mezinan perwerde dikin.modelên ku pêşbîniyên veqetandî bikin, û bi rengekî AI dê ji vê yekê derkeve.
"Ew ne xelet in," ew dibêje, "di vê wateyê de ku dibe ku ew pêkhateyek pergalek hişmend a pêşerojê be, lê ez difikirim ku ew perçeyên bingehîn winda dike."
Jî: Ronahiya AI-ê ya Meta LeCun sînorê enerjiyê ya fêrbûna kûr vedikole
Ew rexneyek matmayî ye ji tiştê ku xuya dike ku ji zanyarê ku karanîna torên neuralî yên konvolutional tekûz kiriye, teknîkek pratîkî ya ku di bernameyên fêrbûna kûr de pir hilberdar e tê.
LeCun di gelek warên din ên pir serfiraz ên dîsîplînê de kêmasî û sînoran dibîne.
Fêrbûna xurtkirinê jî dê qet têrê neke, ew diparêze. Lêkolînerên wekî David Silver ji DeepMind, yê ku bernameya AlphaZero ya ku Chess, Shogi û Go serwer bû pêş xist, balê dikişîne ser bernameyên ku "pir-based çalakiyê ne", LeCun dibîne, lê "piraniya fêrbûna ku em dikin, em nakin. bi rastî çalakiyan bikin, em bi çavdêriyê bikin.”
Lecun, 62, ji perspektîfa destkeftiyên dehsalan, dîsa jî aciziyek diyar dike ku meriv bi tiştên ku ew difikire rêyên kor ber bi ku dibe ku gelek ber bi wan ve diherikin re rû bi rû ne, û hewl bide ku zeviya xwe ber bi riya ku ew difikire ku tişt divê biçe biçewisîne.
"Em gelek îddîayan dibînin ka divê em çi bikin da ku ber bi AI-ya asta mirovî ve pêş bikevin," wî dibêje. "Û raman hene ku ez difikirim ku xelet têne rêve kirin."
Lecun dibîne: "Em ne di wê astê de ne ku makîneyên me yên jîr bi qasî pisîkê xwedî aqilê hevpar bin." "Ji ber vê yekê, çima em li wir dest pê nakin?"
Wî dev ji baweriya xwe ya berê ya di karanîna torên hilberîner de di tiştên wekî pêşbînkirina çarçoveyek din a vîdyoyê de berdaye. "Ev têkçûnek tam bû," wî dibêje.
LeCun kesên ku ew jê re dibêje "îhtimalparêzên olî" şermezar dike, yên ku "difikirin ku teoriya îhtîmalê çarçoveyek yekane ye ku hûn dikarin bikar bînin da ku fêrbûna makîneyê rave bikin."
Nêzîkatiya safî ya statîstîkî neçar e, ew dibêje. “Ew pir zêde ye ku meriv modelek cîhanê bi tevahî îhtîmalek be; em nizanin çawa bikin.”
Ne tenê akademîsyen, lê AI-ya pîşesaziyê hewceyê ji nûve fikirînek kûr e, dibêje LeCun. Girseya otomobîlên xwe-ajovan, destpêkek mîna Wayve, "hinekî pir xweşbîn" bûne, ew dibêje, bi fikirîna ku ew dikarin "daneyan bavêjin" torên mezin ên neuralî "û hûn dikarin pir tiştek fêr bibin."
"Hûn dizanin, ez difikirim ku bi tevahî mimkun e ku em ê bibin xwediyê otomobîlên xweser ên asta pêncan bêyî aqilê hevbeş," ew dibêje, behsa "ADAS" dike. sîstema alîkariya ajokerê pêşketî şertên ji bo xwe-ajotinê, "lê hûn ê neçar bimînin ku ji vê yekê endezyar bikin."
Teknolojiya xwe-ajotinê ya pir endezyarkirî dê wekî hemî bernameyên dîtina komputerê yên ku ji hêla fêrbûna kûr ve hatine qedîm kirin tiştek qerz û qels be, ew bawer dike.
"Di dawiyê de, dê çareseriyek têrkertir û belkî çêtir hebe ku pergalên ku di têgihîştina awayê xebitandina cîhanê de karekî çêtir dikin pêk tîne."
Niha nuha
Di rê de, LeCun hin nêrînên hişk ên rexnegirên xwe yên herî mezin pêşkêşî dike, wek profesorê NYU Gary Marcus - "wî qet tiştek ji AI-yê re nekiriye" - û Jürgen Schmidhuber, hev-rêveberê Enstîtuya Dalle Molle ji bo Lêkolînên Zehmetkêşiya Hunerî - "ew e çandina alê pir hêsan e.”
Ji bilî rexneyan, xala girîngtir ku ji hêla LeCun ve hatî destnîşan kirin ev e ku hin pirsgirêkên bingehîn bi hemî AI-yê re rû bi rû dimînin, nemaze, meriv çawa agahdarî dipîve.
"Divê hûn gavekê paşde bavêjin û bibêjin, baş e, me ev nêrdewan ava kir, lê em dixwazin herin heyvê, û çu rê tune ku ev nêrdewan me bigihîne wir," dibêje LeCun li ser daxwaza xwe ya ji nû ve fikirandinê. têgehên bingehîn. "Di bingeh de, tiştê ku ez li vir dinivîsim ev e, divê em rokêtan çêkin, ez nikarim hûrguliyên ku em rokêtan çêdikin bidin we, lê li vir prensîbên bingehîn hene."
Kaxez, û ramanên LeCun di hevpeyivînê de, bi xwendina hevpeyvîna LeCun di destpêka vê salê de bi baştir tê fam kirin. ZDNet ku tê de ew ji fêrbûna xwe-serperiştiya-bingeha enerjiyê re wekî rêyek berbi pêş ji bo fêrbûna kûr nîqaş dike. Ew refleks têgehek nêzîkatiya bingehîn dide tiştê ku ew hêvî dike ku wekî alternatîfek ji tiştên ku ew îdîa dike ava bike dê negihêje xeta dawiyê.
Tiştê ku li jêr tê nivîsandina hevpeyivînê bi sivikî hatî guherandin e.
ZDNet: Mijara sohbeta me ev kaxez e, "Rêyek berbi îstîxbarata makîneya xweser," ya kîjan guhertoya 0.9.2 guhertoya heyî ye, erê?
Yann LeCun: Erê, ez vê yekê wekî belgeyek xebatê dihesibînim. Ji ber vê yekê, min ew li ser Open Review şand, li benda ku mirov şîrove û pêşniyaran bikin, dibe ku referansên din bikin, û dûv re ez ê guhertoyek nûvekirî çêkim.
ZDNet: Ez dibînim ku Juergen Schmidhuber berê hin şîrove li Open Review zêde kir.
YL: Erê, erê, ew her gav dike. Ez yek ji kaxizên wî li wir di kaxeza xwe de vedibêjim. Ez difikirim ku argumanên ku wî li ser torên civakî çêkiriye ku wî di bingeh de ev hemî di sala 1991-an de îcad kiriye, wekî ku wî di dozên din de kiriye, ne wusa ye. Yanî ew pir hêsan e ku meriv bikeçandina alê, û bi rengekî, ramanek bêyî ceribandin, bêyî teoriyek binivîsin, tenê pêşniyar dikin ku hûn dikarin bi vî rengî bikin. Lê, hûn dizanin, ferqek mezin heye di navbera tenê bûna ramanê de, û dûv re ku ew li ser pirsgirêkek pêlîstokê bixebite, û dûv re jî ew li ser pirsgirêkek rastîn bixebite, û dûv re kirina teoriyek ku nîşan dide ka çima ew dixebite, û dûv re bicihkirina wê. Zincîrek tevahî heye, û ramana wî ya krediya zanistî ev e ku ew yekem kesê ku tenê, bi rengekî, hûn dizanin, ramana wê hebû, ku divê hemî krediyê bigire. Û ev pêkenok e.
ZDNet: Her tiştê ku hûn li ser medyaya civakî dibihîzin bawer nekin.
YL: Yanî di kaxeza sereke ya ku ew dibêje divê ez behs bikim yek ji wan ramanên sereke yên ku ez di kaxezê de qala wan dikim tune. Wî ev yek bi GAN û tiştên din re jî kir, ku ne rast derketin. Çêkirina alê hêsan e, kirina tevkariyê pir dijwartir e. Û, bi awayê, di vê gotara taybetî de, min bi eşkere got ku ev ne kaxezek zanistî ye bi wateya gelemperî ya peyvê. Ew bêtir kaxezek helwestek e ku di derheqê ku divê ev tişt biçe ku derê. Û li wir çend raman hene ku dibe ku nû bin, lê piraniya wan ne wusa ye. Ez li ser piraniya tiştên ku min di wê kaxezê de nivîsandibû, bi esasî ti pêşanî nakim.
Fêrbûna xurtkirinê jî dê qet têrê neke, LeCun diparêze. Lêkolînerên wekî David Silver ji DeepMind, yê ku bernameya AlphaZero ya ku Chess, Shogi û Go serdest kir, pêşve xist, "pir-based çalakiyê ne," LeCun temaşe dike, lê "piraniya fêrbûna ku em dikin, em bi rastî bi girtina wê nakin. çalakiyan, em bi çavdêriyê dikin.”
ZDNet: Û belkî ew cîhek baş e ku meriv dest pê bike, ji ber ku ez meraq dikim çima te niha vê rêyê şopand? Hûn li ser vê yekê çi difikirin? Çima te xwest vê binivîse?
YL: Welê, ji ber vê yekê, ez demek pir dirêj li ser vê difikirim, li ser rêyek berbi aqilê mirovî an asta heywanan an fêrbûn û jêhatîbûnên. Û, di axaftinên xwe de ez li ser vê yekê pir bi deng bûm ku hem fêrbûna bi çavdêrî û hem jî hînbûna xurtkirinê têrê nake ku ew celeb fêrbûna ku em di heywan û mirovan de dibînin bişopînin. Heft-heşt sal in ez vî karî dikim. Ji ber vê yekê, ew ne nû ye. Min gelek sal berê li NeurIPS serpêhatiyek hebû ku min ew xal destnîşan kir, bi bingehîn, û axaftinên cihêreng, tomar hene. Naha, çima nuha kaxezek binivîsin? Ez hatim nuqteyê - [lêkolerê Google Brain] Geoff Hinton tiştek wusa kiribû - ez dibêjim, bê guman, wî ji min bêtir, em dibînin ku dem diqede. Em ne ciwan in.
ZDNet: Şêst pêncî ya nû ye.
YL: Ew rast e, lê xal ev e, em gelek îddîayan dibînin ka divê em çi bikin da ku ber bi asta mirovî ya AI-ê ve pêş bikevin. Û fikrên ku ez difikirim ku xelet têne rêve kirin hene. Ji ber vê yekê, yek fikir ev e, Oh, divê em tenê ramana sembolîk li ser torên neuralî zêde bikin. Û ez nizanim çawa bikim. Ji ber vê yekê, dibe ku ya ku min di kaxezê de rave kir nêzîkatiyek be ku dê heman tiştî bêyî manîpulasyona sembola eşkere bike. Ev celebê kevneşopî yê Gary Marcuses ê cîhanê ye. Gary Marcus ne kesek AI-ê ye, bi awayê, ew psîkolog e. Wî tu carî tiştek ji AI-ê re nekiriye. Wî di psîkolojiya ezmûnî de bi rastî karekî baş kiriye lê wî tu carî li ser AI-ê kaxezek pejirandî nenivîsandiye. Ji ber vê yekê, ew kes hene.
[Zanyarê lêkolînê yê prensîbê DeepMind] David Silvers ê cîhanê heye ku dibêje, hûn dizanin, xelat bes e, di bingeh de, ew hemî li ser fêrbûna bihêzkirinê ye, tenê hewce ye ku em wê hinekî bikêrtir bikin, baş e? Û, ez difikirim ku ew ne xelet in, lê ez difikirim ku gavên pêwîst ji bo ku fêrbûna bihêzkirinê bikêrtir bibe, bi bingehîn, dê fêrbûna bihêzkirinê bi rengek kirazek li ser kekê veguhezîne. Û beşa sereke ya wenda fêrbûna cîhan çawa dixebite, bi piranî bi çavdêriya bêyî çalakiyê. Fêrbûna xurtkirinê pir-based çalakiyê ye, hûn bi pêkanîna çalakiyan û dîtina encaman li ser cîhanê tiştan fêr dibin.
ZDNet: Û ew li ser xelatê ye.
YL: Ew li ser xelatê ye, û ew jî li ser çalakiyê ye. Ji ber vê yekê, divê hûn li cîhanê tevbigerin da ku hûn bikaribin li ser cîhanê tiştek fêr bibin. Û îdiaya sereke ya ku ez di kaxezê de li ser fêrbûna xwe-çavdêrî dikim ev e, piraniya fêrbûna ku em dikin, em bi rastî çalakiyan nakin, em bi çavdêriyê dikin. Û ew pir ne ortodoks e, hem ji bo bihêzkirina mirovên hînbûna mirovan, bi taybetî, hem jî ji bo gelek psîkolog û zanyarên cognitive ku difikirin ku, hûn dizanin, kiryar ev e - ez nabêjim kiryar ne girîng e, ew is pêwist. Lê ez difikirim ku piraniya tiştên ku em fêr dibin bi piranî li ser strukturên cîhanê ne, û bê guman, têkilî û kiryar û lîstikê, û tiştên mîna wê vedihewîne, lê gelek ji wan çavdêrî ne.
ZDNet: Di heman demê de hûn ê di heman demê de mirovên Transformer, mirovên yekem-ziman jî bişkînin. Meriv çawa pêşî bêyî ziman dikare vê yekê ava bike? Hûn dikarin gelek kesan bişkînin.
YL: Erê, ez bi wê re adetî me. Ji ber vê yekê, erê, zimanek yekem heye, ku dibêje, hûn dizanin, aqilmendî bi ziman ve girêdayî ye, substrata aqilmendiyê ziman e, blah, blah, blah. Lê ew, cûreyek, hişmendiya heywanan red dike. Hûn dizanin, em ne di wê astê de ne ku makîneyên me yên jîr bi qasî pisîkê xwedî aqilê hevpar bin. Ji ber vê yekê, çima em li wir dest pê nakin? Ma ew çi ye ku dihêle pisîkek dinyaya hawîrdorê bigire, tiştên pir biaqil bike, û plan û tiştên weha, û kûçikan hîn çêtir?
Wê demê hemû kesên ku dibêjin, Ax, aqil tiştekî civakî ye, ne? Em jîr in ji ber ku em bi hev re dipeyivin û em agahdarî diguhezînin, û blah, bla, bla. Her cure cureyên necivakî hene ku tu carî bi dêûbavên xwe yên pir jîr nacivin, wek heştap an orangutan.Ez dibêjim, ew [orangutan] bê guman ji hêla diya xwe ve têne perwerde kirin, lê ew ne heywanên civakî ne.
Lê kategoriya din a mirovan ku ez dikarim destnîşan bikim kesên ku dibêjin pîvandin bes e. Ji ber vê yekê, di bingeh de, em tenê Transformersên giyanî bikar tînin, em wan li ser daneyên pirmodal ên ku, hûn dizanin, vîdyo, nivîs, blah, blah, blah, perwerde dikin. Em, cûre-cûre, qut dikinher tiştî, û her tiştî tokenîze bikin, û dûv re gigantîk perwerde bikinmodelên ku pêşbîniyên veqetandî bikin, di bingeh de, û bi rengekî AI dê ji vê yekê derkeve. Ew ne xelet in, di vê wateyê de ku dibe ku ew bibe parçeyek pergala hişmendiya pêşerojê. Lê ez difikirim ku ew perçeyên bingehîn winda dike.
Kategoriyek din a mirovan heye ku ez ê bi vê kaxezê îşaret bikim. Û ew muhtemel in, muhtemelên olî ne. Ji ber vê yekê, mirovên ku teoriya îhtîmalê difikirin çarçoveyek yekane ye ku hûn dikarin bikar bînin da ku fêrbûna makîneyê rave bikin. Û wek ku min hewl da ku di beşê de rave bikim, di bingeh de pir zêde ye ku meriv modelek cîhanê bi tevahî îhtîmal be. Em nizanin çawa bikin. Nerazîbûna hesabkirinê heye. Ji ber vê yekê ez pêşniyar dikim ku tevahiya vê ramanê bavêjim. Û bê guman, hûn dizanin, ev stûnek mezin a ne tenê fêrbûna makîneyê, lê hemî statîstîkan e, ku îdîa dike ku ji bo fêrbûna makîneyê formalîzma normal e.
Tiştê din -
ZDNet: Tu li ser piyan î…
YL: - ew e ku jê re modelên hilberîner tê gotin. Ji ber vê yekê, ramana ku hûn dikarin fêr bibin ku pêşbîniyê bikin, û dibe ku hûn dikarin bi pêşbîniyê gelek li ser cîhanê fêr bibin. Ji ber vê yekê, ez perçeyek vîdyoyê didim we û ez ji pergalê dipirsim ku pêşbîn bike ka di vîdyoyê de çi diqewime. Û dibe ku ez ji we bipirsim ku hûn bi hemî hûrguliyan çarçoveyên vîdyoyê yên rastîn pêşbînî bikin. Lê tiştê ku ez di kaxezê de nîqaş dikim ev e ku ew bi rastî pir pir pirs e û pir tevlihev e. Û ev tiştek e ku min fikra xwe guhert. Heya bi qasî du sal berê, ez parêzvanê tiştên ku ez jê re dibêjim modelên hilberîner ên guhêrbarên nepenî bûm, modelên ku pêşbînî dikin ka dê paşerojê çi bibe an agahdariya ku wenda ye, dibe ku bi alîkariya guhêrbarek nepenî, heke pêşbînî neyê kirin. diyarker. Û min dev ji vê yekê berda. Sedema ku min dev ji vê yekê berdaye li ser bingeha encamên ampîrîkî ye, ku li wir mirovan hewl dane ku perwerdehiya ku di BERT-ê de tê bikar anîn serî, celeb, pêşbînîkirin an ji nû veavakirinê bidin.û modelên zimanên mezin, wan hewl da ku vê yekê li ser wêneyan bicîh bikin, û ew bi tevahî têkçû. Sedema ku ew têkçûnek tam e, dîsa ji ber astengiyên modelên îhtîmalî ye ku li wir pêşbînkirina nîşaneyên veqetandî yên mîna peyvan bi nisbeten hêsan e ji ber ku em dikarin dabeşkirina îhtîmalê li ser hemî peyvên di ferhengê de hesab bikin. Ew hêsan e. Lê heke em ji pergalê bipirsin ku dabeşkirina îhtîmalê li ser hemî çarçoveyên vîdyoyê yên mimkun hilberîne, em nizanin ka meriv çawa wê parameterîze bike, an jî ramanek me heye ku meriv wê çawa parameterîze bike, lê em nizanin meriv wê çawa çawa normalîze bike. Ew pirsgirêkek matematîkî ya bêserûber dike ku em nizanin ka meriv çawa çareser bike.
Lecun dibîne: "Em ne di wê astê de ne ku makîneyên me yên jîr bi qasî pisîkê xwedî aqilê hevpar bin." "Ji ber vê yekê, çima em li wir dest pê nakin? Ma ew çi ye ku dihêle pisîkek dinyaya hawîrdorê bigire, tiştên pir biaqil bike, û plan û tiştên weha bike, û kûçikan hîn çêtir?
Ji ber vê yekê, ji ber vê yekê ez dibêjim bila dev ji teoriya îhtîmal an çarçoweya tiştên weha berdin, ya qelstir, modelên enerjiyê. Ez ji bo vê yekê, di heman demê de, bi deh salan piştgirî dikim, ji ber vê yekê ev ne tiştek nû ye. Lê di heman demê de, dev ji ramana modelên hilberîner berdidin ji ber ku di cîhanê de gelek tişt hene ku nayên têgihîştin û pêşbînîkirin. Ger hûn endezyar bin, hûn jê re dibêjin deng. Ger hûn fîzîknas bin, hûn jê re dibêjin germ. Û heke hûn mirovek fêrbûna makîneyê ne, hûn jê re dibêjin, hûn dizanin, hûrguliyên negirêdayî an her tiştê.
Ji ber vê yekê, mînaka ku min di kaxezê de bikar aniye, an jî min di axaftinan de bikar aniye, ev e, hûn pergalek pêşbîniya cîhanê dixwazin ku di otomobîlek xwe-ajotinê de bibe alîkar, ne rast? Dixwaze ku bikaribe pêşî li trajektorên hemî otomobîlên din pêşbîn bike, ka dê çi were serê tiştên din ên ku dikarin bilivin, peya, bisîklet, zarokek ku li dû topek futbolê dimeşe, tiştên weha. Ji ber vê yekê, her cûre tiştên li ser cîhanê. Lê li sînorê rê, dibe ku dar hebin, û îro ba heye, ji ber vê yekê pel li ber bayê dizivirin, û li pişt daran hewzek heye, û di hewzê de rijandin. Û ew, bi bingehîn, bi gelemperî diyardeyên nediyar in. Û, hûn nexwazin ku modela we gelek çavkaniyên girîng xerc bike da ku wan tiştên ku pêşbînkirina wan dijwar û ne girîng in pêşbîn bike. Ji ber vê yekê ez parêzvaniya mîmariya hevgirtî dikim, wan tiştan ku guherbara ku hûn hewl didin model bikin, hûn ne hewl didin ku wê pêşbîn bikin, hûn hewl didin ku wê model bikin, lê ew bi şîfrekerek derbas dibe, û ew şîfreker dikare gelek hûrguliyên der barê têketinê de ku ne girîng an jî pir tevlihev in - di bingeh de, bi dengbêjiyê re wekhev, ji holê rake.
ZDNet: Me di destpêka vê salê de modelên enerjiyê, JEPA û H-JEPA nîqaş kir. Aqilê min, ger ez we rast fêm bikim, gelo hûn nuqteya kêm enerjiyê dibînin ku ev her du pêşbîniyên binavkirina X û Y herî dişibin hev, ev tê vê wateyê ku heke di darê de kevokek di yekî de hebe, û tiştek di nav de hebe. paşperdeya dîmenek, dibe ku ew ne xalên bingehîn bin ku van vehewandinan nêzî hev dikin.
YL: Rast. Ji ber vê yekê, mîmariya JEPA bi rastî hewl dide ku di navbera derxistina nûnertiyên ku herî zêde di derbarê têketinan de agahdar in lê di heman demê de bi hin astek rastbûn an pêbaweriyê ji hevûdu re jî pêşbîn in, danûstendinek, lihevkirinek bibîne. Bazirganiyek dibîne. Ji ber vê yekê, ger di navbera xerckirina gelek çavkaniyan de, di nav de hûrguliyên tevgera pelan de, hilbijarka wê hebe, û dûv re modelkirina dînamîkên ku dê biryarê bide ka pel ji nuha de çawa diherikin, an jî tenê wê biavêje ser erdê. tenê di bingeh de guhêrbar Y bi navgînek pêşbînek ku hemî wan hûrguliyan ji holê radike dimeşîne, belkî ew ê tenê wê ji holê rake ji ber ku modelkirin û girtina wê pir dijwar e.
ZDNet: Tiştek ku ecêbmayî ye ev e ku hûn parêzvanek mezin bûn ku digotin "Ew dixebite, em ê paşê teoriya termodinamîkê fam bikin da ku wê rave bikin." Li vir we nêzîkatiyek girtiye, "Ez nizanim em ê çawa hewcedar vê yekê çareser bikin, lê ez dixwazim hin ramanan derxim pêş da ku li ser wê bifikirim," û dibe ku tewra nêzikî teoriyek an hîpotezek jî bibe, li kêmtirî. Ew balkêş e ji ber ku gelek kes hene ku gelek drav xerc dikin ku li ser otomobîlê dixebitin ku dikarin peyayan bibînin bêyî ku otomobîl xwedî aqilê hevpar e. Û ez texmîn dikim ku hin ji wan kesan dê neyên îşaretkirin, lê ew ê bibêjin, "Baş e, me ferq nake ku ew ne xwediyê aqilê hevbeş be, me simulasyonek çêkiriye, simulasyon ecêb e, û em ê pêşkeftinê bidomînin, em ê mezinkirina simulasyonê bidomînin."
Û ji ber vê yekê balkêş e ku hûn di rewşekê de ne ku niha bibêjin, werin em gav paşde bavêjin û li ser tiştên ku em dikin bifikirin. Û pîşesazî dibêje ku em ê tenê pîvan, pîvan, pîvan, pîvan, ji ber ku ew çîp bi rastî dixebite. Mebesta min ew e ku qurmê nîvconductor ya GPU bi rastî dixebite.
YL: Li wir, mîna, pênc pirs hene. Ji ber vê yekê, ez dibêjim, pîvandin hewce ye. Ez vê rastiya ku divê em pîvandinê bikin rexne nakim. Divê em pîvan bikin. Ew torên neuralî her ku mezin dibin baştir dibin. Pirsgirêk tune ku em pîvandin. Û yên ku dê hin asta aqilê hevpar hebe dê mezin bin. Li dora wê rê tune, ez difikirim. Ji ber vê yekê pîvandin baş e, ew hewce ye, lê ne bes e. Ev xala ku ez dibêjim. Ew ne tenê pîvandin e. Ew xala yekem e.
Xala duyemîn, gelo teorî tê pêşî û tiştên wiha. Ji ber vê yekê, ez difikirim ku têgehên pêşîn hene ku, divê hûn gavekê paşde bavêjin û bibêjin, baş e, me ev nêrdewan çêkir, lê em dixwazin herin heyvê û çu rê tune ku ev nêrdewan me bigihîne wir. Ji ber vê yekê, di bingeh de, tiştê ku ez li vir dinivîsim ev e, divê em roketan ava bikin. Ez nikarim hûrguliyên ku em roketan çawa çêdikin bidim we, lê li vir prensîbên bingehîn hene. Û ez ji bo wê û tiştekî din teoriyekê nanivîsim, lê, ew ê bibe roket, baş e? An asansorek cîhê an her tiştê. Dibe ku em hemî hûrguliyên hemî teknolojiyê nebin. Em hewl didin ku hin ji wan tiştan bixebitin, mîna ku ez li ser JEPA-yê dixebitim. Veguheztina hevbeş ji bo naskirina wêneyê bi rastî baş dixebite, lê karanîna wê ji bo perwerdekirina modelek cîhanî, dijwarî hene. Em li ser wê dixebitin, em hêvîdar in ku em ê bi ser bikevin soon, lê dibe ku em li wir bi hin astengiyan re rû bi rû bimînin ku em nikaribin bi ser bikevin.
Dûv re di kaxezê de ramanek sereke heye di derbarê mentiqê de ku ger em dixwazin pergal karibin plansaz bikin, ku hûn dikarin wekî rengek hêsan a ramanê bifikirin, ew hewce ne ku guhêrbarên dereng hebin. Bi gotinek din, tiştên ku ne ji hêla tora neuralî ve têne hesibandin lê tiştên ku têne hesibandin - nirxa wan tête destnîşan kirin da ku hin fonksiyonek armanc, hin fonksiyonên lêçûn kêm bikin. Dûv re hûn dikarin vê fonksiyona lêçûnê bikar bînin da ku tevgera pergalê bişopînin. Û ev ne ramanek nû ye, rast? Ev kontrolek pir klasîk, çêtirîn e ku bingeha vê vedigere dawiya salên 50-an, destpêka salên 60-an. Ji ber vê yekê, li vir tu nûbûnek nayê îdîakirin. Lê ya ku ez dibêjim ev e ku ev celeb encamdan divê bibe beşek ji pergalek aqilmend ku karibe plansaziyê bike, û tevgera wê ne bi tevgerek hişk, ne ji hêla teqlîdkirinê, lê ji hêla fonksiyonek objektîf ve were destnîşankirin an kontrol kirin. tevgerê dimeşîne - ne mecbûrî fêrbûnê dike, lê ew tevgerê dimeşîne. Hûn dizanin, me di mêjiyê me de wiya heye, û her heywanek ji bo tiştan lêçûnek hundurîn an motîvasyonên hundurîn heye. Ew pitikên neh mehî dihêle ku bixwazin rabin. Mesrefa bextewarbûna gava ku hûn radibin, ew term di fonksiyona lêçûnê de hişk e. Lê hûn çawa radibin ne wisa ye, ew fêrbûn e.
LeCun li ser modelên zimanên mezin ên wekî bernameyên Transformer-ê yên cûrbecûr GPT-3 dibêje: "Scaling baş e, ew hewce ye, lê ne bes e." Dilsozên Transformer bawer dikin, "Em her tiştî nîşan dikin, û dêw perwerde dikinmodelên ku pêşbîniyên veqetandî bikin, û bi rengekî AI dê ji vê yekê derkeve ... lê ez difikirim ku ew perçeyên bingehîn winda dike.
ZDNet: Tenê ji bo dorpêçkirina wê xalê, pir ji civata fêrbûna kûr baş xuya dike ku bi tiştek ku ne xwediyê hişmendiya hevpar e. Wusa dixuye ku hûn li vir argûmanek pir zelal dikin ku di deverek de ew dibe astengiyek. Hin kes dibêjin ku em ne hewceyê otomobîlek xweser a bi aqilê hevbeş in ji ber ku pîvandin dê wiya bike. Wusa dixuye ku hûn dibêjin ne baş e ku meriv li ser wê rêyê bimeşe?
YL: Hûn dizanin, ez difikirim ku bi tevahî mimkun e ku em ê xwediyê otomobîlên xweser ên asta pênc-bêyî aqilê hevpar bin. Lê pirsgirêk bi vê nêzîkbûnê re, ev ê demkî be, ji ber ku hûn neçar in ku hûn wê ji dojehê endezyar bikin. Ji ber vê yekê, hûn dizanin, nexşeya tevahiya cîhanê, her cûre behreyên quncik-doza taybetî bi têl vekin, têra xwe daneyan berhev bikin ku hûn hemî, cûr-cûre, rewşên xerîb ên ku hûn dikarin li ser rêyan bi wan re rû bi rû bimînin hene, blah, blah, blah. Û texmîna min ev e ku bi veberhênan û wextê têra xwe, hûn dikarin tenê ji dojehê endezyar bikin. Lê di dawiyê de, dê çareseriyek têrkertir û belkî çêtir hebe ku pergalên ku di têgihîştina awayê xebata cîhanê de karekî çêtir dikin, û, hûn dizanin, hin astek ji ya ku em jê re dibêjin aqilê hevpar heye, hebe. Ne hewce ye ku ew hişmendiya hevpar a di asta mirovan de be, lê hin celeb zanîna ku pergal dikare bi temaşekirinê bi dest bixe, lê ne temaşekirina kesek ajotinê, tenê temaşekirina tiştên ku li dora xwe digerin û pir tişt li ser cîhanê fam dikin, bingehek paşxanê ava dikin. zanîna ku cîhan çawa dixebite, li ser wê yekê hûn dikarin fêrî ajotinê bibin.
Di vê mijarê de mînakeke dîrokî bidim. Vîzyona komputerê ya klasîk li ser gelek modulên zexmkirî, endezyarkirî bû, ku li ser wan hûn ê, cûrbecûr, qatek fêrbûnê ya zirav hebin. Ji ber vê yekê, tiştên ku di sala 2012-an de ji hêla AlexNet ve hatî xistin, di bingeh de xwedan qonaxek yekem, cûrbecûr, derxistina taybetmendiya destan bû, mîna SIFTs [Veguherîna Taybetmendiya Neguhêrbar (SIFT), teknîkek dîtbarî ya klasîk ji bo naskirina tiştên berbiçav di wêneyekê de] û HOG [Histogram of Oriented Gradients, teknîkek din a klasîk] û gelek tiştên din. Û dûv re qata duyemîn, cûrbecûr, taybetmendiyên asta navîn li ser bingeha kernelên taybetmendiyê û her tiştê din, û cûreyek rêbazek bêserûber. Û dûv re li ser vê yekê, hûn makîneyek vektorê piştgirî, an jî dabeşkerek nisbeten hêsan danîne. Û ew ji nîvê salên 2000-an heta 2012-an, bi rengekî standard, xeta boriya standard bû. Û ew bi tevnên hevedudanî yên dawî-bi-dawî hate guheztin, li cihê ku hûn yekî ji vana hişk nakin, hûn tenê gelek dane hene. û hûn tiştê ji dawî heta dawiyê perwerde dikin, ev nêzîkatiya ku min demek dirêj piştgirî dikir, lê hûn dizanin, heya wê demê, ji bo pirsgirêkên mezin ne pratîkî bû.
Di naskirina axaftinê de çîrokek bi vî rengî heye ku, dîsa, gelek endezyariya hûrgulî hebû ji bo ku hûn çawa daneyan pêş-pêvajo dikin, hûn cepstrumek girseyî derdixin [berevajîkirina Veguherîna Fast Fourier ji bo pêvajokirina nîşanê], û dûv re we Modelên Markov ên Veşartî hene, bi cûrbecûr, mîmariya pêş-sazkirî, blah, blah, blah, bi Mixture of Gaussians. Û ji ber vê yekê, ew piçek heman mîmarî ye wekî vîzyonê ku we bi desta pêşiyê çêkiriye, û dûv re jî qatek navîn a bê çavdêrî, perwerdekirî, û dûv re jî qatek çavdêrîkirî li jor. Û naha ew, bi bingehîn, ji hêla torên neuralî yên dawî-bi-dawî ve hatî hilweşandin. Ji ber vê yekê ez li wir tiştek wusa dibînim ku hewl dide ku her tiştî fêr bibe, lê divê hûn berê rast, mîmariya rast, avahiyek rast hebe.
Girseya gerîdeya xwe-ajovan, destpêkek mîna Waymo û Wayve, "hinekî pir xweşbîn" bûne, ew dibêje, ji ber ku difikirin ku ew dikarin "daneyan bavêjin ser wê, û hûn dikarin pir tiştek fêr bibin." Otomobîlên xwe-ajotinê yên li Asta 5 ya ADAS gengaz in, "Lê hûn ê neçar bimînin ku ji dojehê endezyariyê bikin" û dê mîna modelên dîtina kompîturê yên destpêkê "bişik" bin.
ZDNet: Tiştê ku hûn dibêjin ev e, hin kes dê hewl bidin ku tiştê ku niha bi fêrbûna kûr re ji bo sepandinê naxebite, bêje, di pîşesaziyê de, endezyar bikin, û ew ê dest pê bikin ku tiştek biafirînin ku ew tiştê ku di dîtina komputerê de kevn bûye?
YL: Rast. Û hinekî ji ber vê yekê ye ku mirovên ku li ser ajotina xweser dixebitin di van çend salên dawî de piçek pir xweşbîn in, ji ber ku, hûn dizanin, we van, cûrbecûr, tiştên gelemperî yên mîna torên konvolutional û Transformers hene, ku hûn dikarin daneyan bavêjin wê. , û ew dikare pir tiştek fêr bibe. Ji ber vê yekê, hûn dibêjin, baş e, min çareseriya wê pirsgirêkê heye. Yekem tiştê ku hûn dikin ev e ku hûn demoyek ava dikin ku erebe çend hûrdeman xwe diajo bêyî ku zirarê bide kesî. Dûv re hûn fêhm dikin ku gelek dozên quncikê hene, û hûn hewl didin ku xêz bikin ka ez çiqas çêtir dibim dema ku ez seta perwerdehiyê ducar dikim, û hûn fam dikin ku hûn ê çu carî neçin wir ji ber ku her cûre dozên quncikê hene . Û hûn hewce ne ku otomobîlek hebe ku dê ji her 200 mîlyon kîlometre kêmtir bibe sedema qezayek kujer, rast? Ji ber vê yekê, hûn çi dikin? Welê, hûn di du aliyan de dimeşin.
Rêbaza yekem ev e, ez çawa dikarim mîqdara daneya ku ji bo fêrbûna pergala min hewce ye kêm bikim? Û li vir fêrbûna xwe-serperiştvanî tê. Ji ber vê yekê, gelek cil û bergên gerîdeya xwe-ajotinê pir bi fêrbûna xwe-serperiştiyê re eleqedar dibin ji ber ku ew rêyek e ku hîn jî mîqdarên mezin ên daneyên çavdêriyê ji bo fêrbûna teqlîd bikar tînin, lê performansa çêtir ji hêla pre-perwerdekirin, esas. Û ew hîna jî tam derneketiye, lê dê bibe. Û dûv re vebijarkek din heye, ku piraniya pargîdaniyên ku di vê xalê de pêşkeftîtir in pejirandine, ev e, baş e, em dikarin perwerdehiya dawî-bi-dawî bikin, lê gelek dozên quncikê hene ku em dikarin." bi rê ve dibe, ji ber vê yekê em ê tenê pergalên endezyar bikin ku dê wan dozên quncikê lênihêrin, û, di bingeh de, wan wekî dozên taybetî derman bikin, û kontrolê hişk bikin, û dûv re jî gelek tevgerên bingehîn hişk bikin da ku rewşên taybetî birêve bibin. Û heke we tîmek têra xwe mezin a endezyaran hebe, dibe ku hûn wê derxînin. Lê ew ê demek dirêj bigire, û di dawiyê de, ew ê hîn jî piçekî şikestî be, belkî têra xwe pêbawer be ku hûn bikarin bicîh bikin, lê bi hin astek ziravî, ku, bi nêzîkatiyek hînbûnê-based bêtir ku dibe ku di nav de xuya bibe. paşerojê, otomobîl dê nebin ji ber ku dibe ku ew di derheqê ku cîhan çawa dixebite xwedî astek hişmendî û têgihîştinê be.
Di demek kurt de, nêzîkatiya endezyarî, cûrbecûr dê bi ser bikeve - ew jixwe serdikeve. Ew Waymo û Cruise ya cîhanê û Wayve yeû çi dibe bila bibe, ew çi dikin. Dûv re nêzîkatiya fêrbûna xwe-serperest heye, ku belkî dê alîkariya nêzîkatiya endezyarî bike ku pêşkeftinê bike. Lê dûv re, di demek dirêj de, ku dibe ku ji wan pargîdaniyan re pir dirêj be ku li bendê bin, belkî dê bibe, cûreyek, pergalek ajotina hişmend a xweser a yekbûyî.
ZDNet: Em ji asoya veberhênanê ya piraniya veberhêneran wêdetir dibêjin.
YL: Raste. Ji ber vê yekê, pirs ev e, gelo dê mirov sebra xwe winda bikin an drav biqedin berî ku performans bigihîje asta xwestinê.
ZDNet: Tiştek balkêş heye ku meriv bibêje çima we hin hêmanên ku we di modelê de hilbijartiye hilbijartin? Ji ber ku hûn Kenneth Craik [1943,Xwezaya Ravekirinê], û hûn Bryson û Ho [1969, Kontrola herî baş tê sepandin], û ez meraq dikim ka çima we bi van bandoran dest pê kir, heke we bi taybetî bawer kir ku van kesan ew bi qasî ku wan kiribûn şikand. Çima te li wir dest pê kir?
YL: Welê, ez nafikirim, bê guman, wan hemî hûrgulî xêz kirin. Ji ber vê yekê, Bryson û Ho, ev pirtûkek e ku min di sala 1987-an de dema ku ez bi Geoffrey Hinton re li Toronto postdoc bûm. Lê gava ku min doktoraya xwe dinivîsand, min berê di derbarê vê rêza xebatê de dizanibû, û di bingeh de têkiliya di navbera kontrolkirina çêtirîn û paşperdeyê de çêkir. Ger we bi rastî dixwest ku hûn bibin Schmidhuberek din, hûn ê bibêjin ku dahênerên rastîn ên paşpirtikê bi rastî teorîsyenên kontrolê yên çêtirîn Henry J. Kelley, Arthur Bryson, û dibe ku tewra jî Lev Pontryagin, ku teorîsyenek rûsî ya kontrolkirina çêtirîn paşde ye. di dawiya salên 50'î de.
Ji ber vê yekê, wan ew fêhm kir, û bi rastî, hûn dikarin bi rastî koka vê yekê bibînin, matematîka li binê wê, mekanîka Lagrangian e. Ji ber vê yekê hûn dikarin vegerin Euler û Lagrange, bi rastî, û bi rengek rastîn di pênasekirina wan a mekanîka klasîk a Lagrangian de, felqek vê yekê bibînin. Ji ber vê yekê, di çarçoweya kontrolkirina çêtirîn de, ya ku van xortan jê re eleqedar bûn bi bingehîn hesabkirina trajektorên rokêtan bû. Hûn dizanin, ev serdema destpêkê ya fezayê bû. Û heke modela rokêtê we hebe, ew ji we re vedibêje ku li vir rewşa rokêta wê demê ye t, û li vir çalakiya ku ez ê bikim ev e, ji ber vê yekê, lêdan û çalakgerên cûrbecûr, li vir rewşa rokêtê di wextê de ye t + 1.
ZDNet: Modela dewlet-çalakiyê, modela nirxê.
YL: Rast e, bingeha kontrolê ye. Ji ber vê yekê, naha hûn dikarin bi xeyalkirina rêzek fermanan gulebarana roketa xwe simule bikin, û dûv re hin fonksiyona lêçûnê we heye, ku dûrahiya rokêtê ji armanca xwe, stasyonek fezayê an her tiştê ku ew e. Û dûv re bi rengek daketinek gradient, hûn dikarin fêhm bikin, ez çawa dikarim rêzika çalakiya xwe nûve bikim da ku roketa min bi rastî bi qasî ku gengaz nêzikî armancê bibe. Û ev pêdivî ye ku bi nîşanên paş-propagandekirina paşverû di demê de were. Û ew paş-belavkirin, berbelavkirina gradient. Ji wan nîşanan re, di mekanîka Lagrangian de jê re guhêrbarên hevgirtî têne gotin, lê di rastiyê de, ew gradient in. Ji ber vê yekê, wan paşpirtik îcad kirin, lê wan nizanibû ku ev prensîb dikare were bikar anîn da ku pergalek pir-qonaxa perwerde bike ku dikare nasîna nimûneyê an tiştek wusa bike. Ev bi rastî heya dawiya salên 70-an, destpêka salên 80-an nehat fêm kirin, û dûv re bi rastî nehat bicîhanîn û heya nîvê salên 80-an xebitî. Baş e, ji ber vê yekê, ev cîh e ku paşpirtik bi rastî, bi rengekî rengî, hilkişiya ji ber ku mirovan li vir çend rêzikên kodê destnîşan kirin ku hûn dikarin tora neuralî, dawî bi dawî, pirreng perwerde bikin. Û ew sînorên Perceptronê radike. Û, erê, têkiliyên bi kontrola çêtirîn re hene, lê ew baş e.
ZDNet: Ji ber vê yekê, ev rêyek dirêj e ku meriv bibêje ku ev bandorên ku we dest pê kir dîsa vedigerin paşverû, û ew ji bo we wekî destpêkek girîng bû?
YL: Erê, lê ez difikirim ku tiştê ku mirovan piçekî jê ji bîr kir, li ser vê yekê pir xebatek hebû, hûn dizanin, di salên 90-an de, an jî salên 80-an jî, di nav de ji hêla kesên mîna Michael Jordan [Department of Brain MIT û Zanistên Kognitive] û kesên mîna yên ku êdî torên neuralî nakin, lê ramana ku hûn dikarin torên neuralî ji bo kontrolê bikar bînin, û hûn dikarin ramanên klasîk ên kontrolkirina çêtirîn bikar bînin. Ji ber vê yekê, tiştên wekî ya ku jê re tê gotin kontrola model-pêşniyazkar, ya ku nuha jê re tê gotin kontrolkirina pêşbîniya model, ev ramana ku hûn dikarin encama rêzek çalakiyan simule bikin an xeyal bikin heke we modelek baş a pergala ku hûn hewl didin kontrol bikin hebe. û jîngeha ku tê de ye. Û paşê bi daketina gradient, di bingeh de - ev ne fêrbûn e, ev encam e - hûn dikarin fêhm bikin ka rêza çêtirîn a çalakiyan çi ye ku dê armanca min kêm bike. Ji ber vê yekê, karanîna fonksiyonek lêçûnê ya bi guhêrbarek dereng ji bo encamdanê, ez difikirim, tiştek e ku hilberên heyî yên torên neuralî yên mezin ji bîr kirine. Lê ew ji bo demek dirêj ve pêkhateyek pir klasîk a fêrbûna makîneyê bû. Ji ber vê yekê, her tora Bayesian an modela grafîkî an modela grafîkî ya îhtîmalî ev celeb encam bikar anîn. We modelek heye ku girêdanên di navbera komek guherbaran de digire, ji we re nirxa hin guhêrbaran tê gotin, û dûv re divê hûn nirxa herî muhtemel a guhêrbarên mayî derxînin holê. Ew prensîba bingehîn a encamnameyê di modelên grafîkî û torên Bayesian de, û tiştên mîna wê de ye. Û ez difikirim ku di bingeh de ya ku divê aqil li ser be, fikirandin û plansazkirin ev e.
ZDNet: Tu dolaba Bayesian î.
YL: Ez Bayesianek ne-îhtimal im. Min ew henek berê kiribû. Bi rastî ez çend sal berê li NeurIPS bûm, ez difikirim ku ew di sala 2018 an 2019-an de bû, û ez li ser vîdyoyê ji hêla Bayesian ve hatim girtin ku ji min pirsî ka ez Bayesian im, û min got, Erê, ez Bayesian im, lê ez Ger hûn bixwazin, Bayesianek ne-îhtîmalek im, cûreyek, Bayesianek enerjiyê ye.
ZDNet: Ku bê guman mîna tiştek ji dengên Star Trek. We di dawiya vê gotarê de behs kir, ew ê bi salan xebata dijwar bigire da ku hûn tiştê ku hûn xeyal dikin pêk bînin. Ji min re bêje ku hin ji wan xebata vê gavê ji çi pêk tê.
YL: Ji ber vê yekê, ez rave dikim ka hûn çawa JEPA-yê di kaxezê de perwerde dikin û ava dikin. Û pîvana ku ez jê re diparêzim ev e ku meriv bi rengek mezinkirina naveroka agahdariya ku nûnerên ku têne derxistin di derheqê têketinê de hene. Û dûv re ya duyemîn xeletiya pêşbîniyê kêm dike. Û heke we di pêşdîtorê de guhêrbarek nepenî heye ku destûrê dide pêşbînker ne diyarker be, divê hûn vê guhêrbarê nepenî jî bi kêmkirina naveroka agahdariya wê bi rêkûpêk bikin. Ji ber vê yekê, naha du pirsgirêkên we hene, ev e ku hûn çawa naveroka agahdariya hilberîna hin tora neuralî zêde dikin, û ya din ev e ku hûn çawa naveroka agahdariya hin guhêrbarên dereng kêm dikin? Û eger hûn wan du tiştan nekin, dê sîstem hilweşe. Ew ê tiştek balkêş fêr nebe. Ew ê sifir enerjiyê bide her tiştî, tiştek wusa, ku ne modelek baş a girêdayîbûnê ye. Pirsgirêka pêşîlêgirtina hilweşînê ya ku ez behs dikim.
Û ez ji hemû tiştên ku mirovan heta niha kirine dibêjim, tenê du kategoriyên rêbaz hene ku pêşî li hilweşînê bigirin. Yek rêbazên berevajî, û ya din jî ew rêbazên rêkûpêk in. Ji ber vê yekê, ev ramana zêdekirina naveroka agahdariyê ya nûnerên her du têketinê û kêmkirina naveroka agahdariya guhêrbar a dereng, ku ji rêbazên rêkûpêk ve girêdayî ye. Lê pir kar di wan mîmariyên binavkirina hevbeş de rêbazên berevajî bikar tînin. Bi rastî, ew di vê demê de dibe ku herî populer in. Ji ber vê yekê, pirs bi rastî ev e ku hûn çawa naveroka agahdariyê bi rengek ku hûn dikarin xweşbîn bikin an kêm bikin dipîvin? Û ew e ku tişt tevlihev dibin ji ber ku em bi rastî nizanin ka meriv çawa naveroka agahdariyê bipîve. Em dikarin wê texmîn bikin, em dikarin jor-sînorê wê bikin, em dikarin tiştên weha bikin. Lê ew bi rastî naveroka agahdariyê napîvin, ku, bi rastî, heya radeyekê jî ne baş diyarkirî ye.
ZDNet: Ew ne Qanûna Shannon e? Ew ne teoriya agahdariyê ye? We hindek entropî, entropiya baş û entropiya xirab heye, û entropiya baş pergalek sembol e ku dixebite, entropiya xirab deng e. Ma ew hemî ji hêla Shannon ve nehatiye çareser kirin?
YL: Tu rast dibêjî, lê li pişt wê xeletiyek mezin heye. Di vê wateyê de hûn rast in ku heke daneyên we bi ser we de werin û hûn dikarin bi rengekî daneyan bixin nav sembolên veqetandî, û dûv re hûn îhtîmala her yek ji wan sembolan bipîvin, wê hingê mîqdara herî zêde ya agahdariya ku ji hêla wan sembolan ve tê hilanîn e. sum li ser sembolên gengaz yên Pi log Pi, rast? Ko Pi îhtîmala sembolê ye ez - ew entropiya Shannon e. [Zagona Shannon bi gelemperî wekî H = – ∑ pi log pi tê formulekirin.]
Lêbelê, pirsgirêk li vir e: Çi ye Pi? Dema ku hejmara sembolan hindik be û sembol serbixwe werin kişandin hêsan e. Dema ku gelek sembol, û girêdayî hene, ew pir dijwar e. Ji ber vê yekê, heke we rêzek bit hebin û hûn texmîn bikin ku bit ji hev serbixwe ne û îhtîmalek di navbera yek û sifir an her tiştê de wekhev be, wê hingê hûn dikarin bi hêsanî entropiyê bipîvin, pirsgirêk tune. Lê heke tiştên ku ji we re têne vektorên hûrgelî ne, mîna, hûn dizanin, çarçoveyên daneyê, an tiştek mîna vê yekê, çi ye Pi? Dabeşkirin çi ye? Pêşî divê hûn wê mekanê quantîze bikin, ku qadeke bilind û domdar e. Hûn nizanin ka meriv çawa vê bi rêkûpêk quantize. Hûn dikarin k-meansê bikar bînin, hwd. Dema ku mirov berhevkirina vîdyoyê û berhevkirina wêneyê dikin ev e. Lê ew tenê texmînek e. Û paşê divê hûn texmînên serxwebûnê bikin. Ji ber vê yekê, diyar e ku di vîdyoyek de, çarçoveyên li pey hev ne serbixwe ne. Têkilî hene, û ew çarçove dibe ku bi çarçoveyek din ve girêdayî be ku we saetek berê dît, ku wêneyek heman tiştî bû. Ji ber vê yekê, hûn dizanin, hûn nikarin bipîvin Pi. Ji bo pîvandinê Pi, divê hûn pergalek fêrbûna makîneyê hebe ku fêrî pêşbînîkirinê dibe. Û ji ber vê yekê hûn vegerin pirsgirêka berê. Ji ber vê yekê, hûn tenê dikarin pîvana agahdariyê, bi bingehîn nêzîk bikin.
"Pirs ev e ku hûn çawa naveroka agahdariyê bi rengek ku hûn dikarin xweşbîn bikin an kêm bikin dipîvin?" dibêje LeCun. "Û li vir tişt tevlihev dibin ji ber ku em bi rastî nizanin ka meriv çawa naveroka agahdariyê bipîve." Ya çêtirîn ku heya nuha dikare were kirin ev e ku meriv proxyek bibîne ku "ji bo karê ku em dixwazin têra xwe baş e."
Bihêle ez mînakek berbiçavtir bînim. Yek ji wan algorîtmayên ku me pê re lîstiye, û min di beşê de behs kiriye, ev tişt e ku jê re VICReg, birêkûpêkkirina variance-neguhêrbar-covariance. Ew di kaxezek cûda de ye ku li ICLR hate weşandin, û ew danî ser arXiv nêzîkî salek berî, 2021. Û fikra li wir ew e ku agahdariya herî zêde. Û fikir bi rastî ji kaxezek berê ya koma min a bi navê min derket Barlow Twins. Hûn naveroka agahdariya vektorek ku ji tora neuralî derdikeve herî zêde dikin, di bingeh de, bi texmîna ku tenê girêdana di navbera guhêrbaran de pêwendiyek, girêdana xêzik e. Ji ber vê yekê, heke hûn texmîn bikin ku tenê girêdana ku di navbera cotek guhêrbaran de, an di navbera guhêrbarên pergala we de mimkun e, têkiliyên di navbera cotên hêja de ye, ku ev nêzîkatiyek pir dijwar e, wê hingê hûn dikarin naveroka agahdariya ku ji pergala we derdikeve herî zêde bikin. bi piştrastkirina ku hemî guhêrbar xwedan ciyawaziya ne-sifir e - em bibêjin, guhêrbar yek, ne girîng e ka ew çi ye - û dûv re vegerandina wan, heman pêvajoya ku jê re spîkirin tê gotin, ew jî ne nû ye. Pirsgirêka vê yekê ev e ku hûn pir baş dikarin di navbera her du komên guhêrbaran de an jî tenê cotên guhêrbarên ku ne girêdanên xêzikî ne de ve girêdayî pir tevlihev hebin, û ew di pêwendiyan de xuya nakin. Ji ber vê yekê, mînakî, heke we du guhêrbar hebin, û hemî xalên wan her du guhêrbaran bi rengek spiral li hev bicivin, di navbera wan her du guherbaran de pêwendiyek pir xurt heye, rast? Lê di rastiyê de, heke hûn pêwendiya di navbera wan her du guherbaran de bihesibînin, ew ne girêdayî ne. Ji ber vê yekê, li vir mînakek heye ku naveroka agahdariya van her du guherbaran bi rastî pir piçûk e, ew tenê yek hejmar e ji ber ku ew pozîsyona weya di spiral de ye. Ew ji hev veqetandî ne, ji ber vê yekê hûn difikirin ku we gelek agahdarî ji wan du guhêrbaran derdixin dema ku bi rastî hûn nabin, hûn tenê hene, hûn dizanin, hûn dikarin yek ji guhêrbaran ji ya din, bi bingehîn pêşbîn bikin. Ji ber vê yekê, ew nîşan dide ku me tenê rêyên pir nêzikî ji bo pîvandina naveroka agahdariyê hene.
ZDNet: Û ji ber vê yekê ew yek ji wan tiştan e ku hûn niha bi vê yekê re dixebitin? Ev pirsa mezin e ku em çawa dizanin dema ku em naveroka agahdariya herî zêde û kêm dikin?
YL: An na gelo proxy ku em ji bo vê bikar tînin ji bo karê ku em dixwazin têra xwe baş e. Bi rastî, em vê yekê her dem di fêrbûna makîneyê de dikin. Fonksiyonên lêçûnên ku em kêm dikin qet ne yên ku em bi rastî dixwazin kêm bikin ne. Ji ber vê yekê, mînakî, hûn dixwazin dabeşkirinê bikin, baş e? Fonksiyona lêçûnê ya ku hûn dixwazin dema ku hûn dabeşkerek perwerde dikin kêm bikin, hejmara xeletiyên ku dabeşker dike ye. Lê ew fonksiyonek lêçûnek ne-cudakar, xedar e ku hûn nikanin kêm bikin ji ber ku hûn zanin ku hûn ê giraniya tora xweya neuralî biguhezînin, heya ku yek ji wan nimûneyan biryara xwe neguherîne, tiştek nayê guheztin. di xeletiyê de, erênî an neyînî.
ZDNet: Ji ber vê yekê we proxy heye ku fonksiyonek armanc e ku hûn bê guman dikarin bibêjin, em bê guman dikarin gradientên vî tiştî biherikînin.
YL: Raste. Ji ber vê yekê mirov vê windabûna cross-entropy, an SOFTMAX bikar tînin, we çend navên wê hene, lê ew heman tişt e. Û ew di bingeh de nêzîkbûnek bêkêmasî ya hejmara xeletiyên ku pergal dike, li cihê ku nermkirin bi bingehîn tê kirin, bi jimareya ku pergal dide her kategoriyan tê hesibandin.
ZDNet: Tiştekî ku me venekiriye heye ku hûn dixwazin veşêrin?
YL: Dibe ku ew li ser xalên sereke tekez dike. Ez difikirim ku pergalên AI-ê hewce ne ku bikaribin aqil bikin, û pêvajoya vê ya ku ez diparêzim bi rêzgirtina hin guhêrbarên dereng hin armancê kêm dike. Ku destûrê dide pergalên ku plan û sedem bikin. Ez difikirim ku divê em dev ji çarçoweya îhtîmalê berdin ji ber ku ew neçar e dema ku em dixwazin tiştên mîna girtina girêdanên di navbera guhêrbarên domdar û domdar de bikin. Û ez parêzvaniyê didim ku dev ji modelên hilberîner berde ji ber ku pergal neçar e ku gelek çavkaniyan veqetîne ji bo pêşbînkirina tiştên ku pêşbînkirina wan pir dijwar e û dibe ku pir çavkaniyan bixwin. Û hema hema ew e. Heke hûn bixwazin ew peyamên sereke ne. Û paşê mîmariya giştî. Dûv re ew texmînên li ser xwezaya hişmendiyê û rola vesazker hene, lê ev bi rastî spekulasyon e.
ZDNet: Em ê carek din bigihîjin wê. Min ê ji te bipirsî, tu çawa vî tiştî dinirxînî? Lê ez texmîn dikim ku hûn aniha piçekî ji pîvandinê dûr in?
YL: Ne hewce ye ku ew qas dûr, cûrbecûr, guhertoyên hêsankirî. Hûn dikarin tiştê ku her kes di fêrbûna kontrol an bihêzkirinê de dike, ev e, hûn tiştê perwerde dikin ku lîstikên Atari an tiştek wusa an lîstikek din a ku tê de hin nediyar heye bilîzin.
ZDNet: Spas ji bo dema we, Yann.
English
Arabic
Belarusian
Bengali
Bosnian
Bulgarian
Chinese (Simplified)
Croatian
Czech
Danish
Dutch
English
Estonian
Filipino
Finnish
French
Georgian
German
Greek
Gujarati
Hausa
Hebrew
Hindi
Hmong
Hungarian
Igbo
Indonesian
Italian
Japanese
Javanese
Kazakh
Korean
Kurdish (Kurmanji)
Kyrgyz
Lao
Latvian
Lithuanian
Macedonian
Malagasy
Norwegian
Persian
Polish
Portuguese
Punjabi
Romanian
Russian
Serbian
Slovak
Slovenian
Spanish
Swedish
Thai
Turkish
Ukrainian
Vietnamese
Yoruba