Metin AI guru LeCun: Večina današnjih pristopov AI ne bo nikoli vodila do prave inteligence

ZDNet: Pravimo, da presega naložbeni horizont večine vlagateljev.

YL: Tako je. Vprašanje je torej, ali bodo ljudje izgubili potrpljenje ali zmanjkalo denarja, preden bo uspešnost dosegla želeno raven.

ZDNet: Je kaj zanimivega za povedati o tem, zakaj ste izbrali nekatere elemente, ki ste jih izbrali v modelu? Ker citiraš Kennetha Craika [1943,Narava razlage] in citirate Brysona in Hoja [1969, Uporabljen optimalen nadzor], in zanima me, zakaj ste začeli s temi vplivi, če ste še posebej verjeli, da so ti ljudje pribili do tega, kar so naredili. Zakaj ste začeli tam?

YL: No, mislim, da zagotovo niso imeli vseh podrobnosti. Torej, Bryson in Ho, to je knjiga, ki sem jo prebral leta 1987, ko sem bil na podoktorskem študiju pri Geoffreyju Hintonu v Torontu. Toda za to področje dela sem vedel že vnaprej, ko sem pisal doktorat, in v bistvu vzpostavil povezavo med optimalnim nadzorom in hrbtno stranjo. Če bi res želeli biti, veste, še en Schmidhuber, bi rekli, da so bili pravi izumitelji backpropa pravzaprav teoretiki optimalnega nadzora Henry J. Kelley, Arthur Bryson in morda celo Lev Pontrjagin, ki je ruski teoretik optimalnega nadzora nazaj v poznih 50-ih. 

Tako so ugotovili in dejansko lahko vidite koren tega, matematika pod tem je Lagrangeva mehanika. Torej se lahko pravzaprav vrneš k Eulerju in Lagrangeu in najdeš pridih tega v njuni definiciji Lagrangeove klasične mehanike. Torej, v kontekstu optimalnega nadzora je te fante zanimalo v bistvu računanje trajektorij raket. Veste, to je bila zgodnja vesoljska doba. In če imate model rakete, vam pove, v kakšnem trenutku je raketa t, in tukaj je ukrep, ki ga bom izvedel, torej, potisk in aktuatorji različnih vrst, tukaj je stanje rakete v trenutku t + 1.

ZDNet: Model stanje-delovanje, vrednotni model.

YL: Tako je, osnova nadzora. Torej, zdaj lahko simulirate streljanje svoje rakete tako, da si zamislite zaporedje ukazov, nato pa imate neko stroškovno funkcijo, ki je razdalja rakete do njenega cilja, vesoljske postaje ali karkoli že. In potem lahko z nekakšnim gradientnim spuščanjem ugotovite, kako lahko posodobim svoje zaporedje dejanj, tako da se moja raketa dejansko čim bolj približa cilju. In to mora priti s povratnim širjenjem signalov nazaj v času. In to je širjenje nazaj, gradientno širjenje nazaj. Ti signali se v Lagrangeovi mehaniki imenujejo konjugirane spremenljivke, v resnici pa so gradienti. Torej so izumili backprop, vendar se niso zavedali, da bi to načelo lahko uporabili za treniranje večstopenjskega sistema, ki lahko izvaja prepoznavanje vzorcev ali kaj podobnega. To ni bilo zares realizirano do morda poznih 70-ih, zgodnjih 80-ih, potem pa je bilo dejansko implementirano in pripravljeno za delo šele sredi 80-ih. V redu, torej, tukaj je backprop resnično, na nek način, vzletel, ker so ljudje pokazali nekaj vrstic kode, s katerimi lahko trenirate nevronsko mrežo, od konca do konca, večplastno. In to odpravlja omejitve Perceptrona. In ja, obstajajo povezave z optimalnim nadzorom, vendar je to v redu.

ZDNet: Torej, to je dolg način za reči, da so se ti vplivi, s katerimi ste začeli, vračali nazaj k backpropu, in to je bilo za vas pomembno kot izhodišče?

YL: Ja, ampak mislim, da so ljudje malce pozabili na to, da je bilo na tem kar nekaj dela, veste, v 90. ali celo 80. letih, vključno z ljudmi, kot je Michael Jordan [MIT Dept. of Brain in kognitivne znanosti] in podobnih ljudi, ki ne delajo več nevronskih mrež, ampak idejo, da lahko nevronske mreže uporabljate za nadzor in lahko uporabite klasične ideje optimalnega nadzora. Torej, stvari, kot so tisto, čemur pravimo modelno napovedni nadzor, kar se zdaj imenuje modelno napovedni nadzor, ta ideja, da lahko simulirate ali predstavljate izid zaporedja dejanj, če imate dober model sistema, ki ga poskušate nadzorovati. in okolje, v katerem je. In potem z gradientnim spuščanjem, v bistvu – to ni učenje, to je sklepanje – lahko ugotovite, katero je najboljše zaporedje dejanj, ki bo zmanjšalo moj cilj. Torej, mislim, da je uporaba stroškovne funkcije z latentno spremenljivko za sklepanje nekaj, na kar so sedanji pridelki obsežnih nevronskih mrež pozabili. Vendar je bil dolgo časa zelo klasična komponenta strojnega učenja. Torej je vsaka Bayesova mreža ali grafični model ali verjetnostni grafični model uporabljal to vrsto sklepanja. Imate model, ki zajame odvisnosti med množico spremenljivk, povejo vam vrednost nekaterih spremenljivk, nato pa morate sklepati o najverjetnejši vrednosti preostalih spremenljivk. To je osnovno načelo sklepanja v grafičnih modelih in Bayesovih mrežah in podobnih stvareh. In mislim, da bi moralo biti razmišljanje o tem, sklepanje in načrtovanje.

ZDNet: Ste Bayesian iz omare.

YL: Sem neverjetnostni Bayesian. To šalo sem naredil že prej. Pravzaprav sem bil na NeurIPS pred nekaj leti, mislim, da je bilo leta 2018 ali 2019, in na video me je ujel Bayesian, ki me je vprašal, ali sem Bayesian, in rekel sem, Ja, sem Bayesian, vendar sem Sem neverjetnostni Bayesian, nekakšen, na energiji temelječ Bayesian, če želite. 

ZDNet: Kar zagotovo zveni kot nekaj iz Star Trek. Na koncu tega prispevka ste omenili, da bodo potrebna leta res trdega dela, da uresničite, kar si zamislite. Povejte mi, kaj del tega dela trenutno obsega.

YL: Torej, v prispevku razložim, kako trenirate in gradite JEPA. In merilo, za katerega se zavzemam, je imeti nek način maksimiranja vsebine informacij, ki jih imajo predstavitve, ki so ekstrahirane, o vnosu. In potem drugi minimizira napako napovedi. In če imate v napovedovalcu latentno spremenljivko, ki omogoča, da napovedovalec ni determinističen, morate urediti tudi to latentno spremenljivko tako, da minimizirate njeno vsebino informacij. Torej imate zdaj dve vprašanji, in sicer kako povečate informacijsko vsebino izhoda neke nevronske mreže, drugo pa je, kako zmanjšate informacijsko vsebino neke latentne spremenljivke? In če teh dveh stvari ne storite, se bo sistem sesul. Ne bo izvedel nič zanimivega. Vsemu bo dal nič energije, nekaj takega, kar ni dober model odvisnosti. To je problem preprečevanja propada, ki ga omenjam. 

In pravim, da od vseh stvari, ki so jih ljudje kdaj naredili, obstajata samo dve kategoriji metod za preprečevanje propada. Ena so kontrastne metode, druga pa tiste regularizirane metode. Torej, ta zamisel maksimiranja informacijske vsebine predstavitev obeh vhodov in minimiziranja informacijske vsebine latentne spremenljivke, ki spada med regularizirane metode. Toda veliko dela v teh arhitekturah skupne vdelave je z uporabo kontrastnih metod. Pravzaprav so trenutno verjetno najbolj priljubljeni. Vprašanje je torej, kako natančno merite vsebino informacij na način, ki ga lahko optimizirate ali minimizirate? In tu se stvari zapletejo, ker pravzaprav ne vemo, kako meriti vsebino informacij. Lahko ga približamo, lahko ga zgornjo mejo, lahko delamo takšne stvari. Vendar dejansko ne merijo vsebine informacij, ki pravzaprav do neke mere niti ni natančno definirana.

ZDNet: Ali ni Shannonov zakon? Ali ni teorija informacij? Imate določeno količino entropije, dobro entropijo in slabo entropijo, in dobra entropija je simbolni sistem, ki deluje, slaba entropija je šum. Ali ni vsega rešila Shannon?

YL: Imaš prav, a za tem je velika napaka. Prav imate v smislu, da če imate podatke, ki prihajajo k vam in jih lahko nekako kvantizirate v diskretne simbole, nato pa izmerite verjetnost vsakega od teh simbolov, potem je največja količina informacij, ki jih prenašajo ti simboli, seštejte možne simbole Pi log Pi, prav? Kje Pi je verjetnost simbola jaz - to je Shannonova entropija. [Shannonov zakon je običajno formuliran kot H = – ∑ pi log pi.]

Tu pa je težava: Kaj je Pi? Enostavno je, če je število simbolov majhno in so simboli narisani neodvisno. Ko je veliko simbolov in odvisnosti, je zelo težko. Torej, če imate zaporedje bitov in domnevate, da so biti neodvisni drug od drugega in je verjetnost enaka med ena in nič ali karkoli drugega, potem lahko preprosto izmerite entropijo, ni problema. Toda če so stvari, ki pridejo do vas, visokodimenzionalni vektorji, kot veste, podatkovni okviri ali kaj podobnega, kaj je Pi? Kakšna je distribucija? Najprej morate kvantizirati ta prostor, ki je visokodimenzionalen, kontinuiran prostor. Nimate pojma, kako to pravilno kvantizirati. Uporabite lahko k-means itd. To počnejo ljudje, ko izvajajo stiskanje videa in slike. Ampak to je le približek. In potem morate narediti predpostavke o neodvisnosti. Jasno je torej, da v videu zaporedni okvirji niso neodvisni. Obstajajo odvisnosti in ta okvir je lahko odvisen od drugega okvira, ki ste ga videli pred eno uro in ki je bila slika iste stvari. Torej, veste, ne morete meriti Pi. Meriti Pi, morate imeti sistem strojnega učenja, ki se nauči napovedovati. In tako ste spet pri prejšnjem problemu. Torej lahko v bistvu le približate količino informacij. 

Naj navedem bolj konkreten primer. Eden od algoritmov, s katerim smo se igrali in o katerem sem govoril v prispevku, je stvar, imenovana VICReg, ureditev variance-invariance-covariance. To je v ločenem dokumentu, ki je bil objavljen na ICLR, in dano je bilo na arXiv približno eno leto prej, 2021. In ideja je povečati informacije. In ideja je dejansko izšla iz prejšnjega dokumenta moje skupine z naslovom Dvojčka Barlow. Informacijsko vsebino vektorja, ki prihaja iz nevronske mreže, povečate tako, da v bistvu predpostavite, da je edina odvisnost med spremenljivkami korelacija, linearna odvisnost. Torej, če domnevate, da je edina možna odvisnost med pari spremenljivk ali med spremenljivkami v vašem sistemu korelacije med pari vrednosti, kar je zelo grob približek, potem lahko povečate vsebino informacij, ki prihajajo iz vašega sistema. tako, da zagotovite, da imajo vse spremenljivke različno varianco – recimo varianco ena, ni pomembno, kakšna je – in jih nato povratno korelirate, isti postopek, ki se imenuje beljenje, tudi ni nov. Težava pri tem je, da imate lahko zelo zapletene odvisnosti med skupinami spremenljivk ali celo samo pari spremenljivk, ki niso linearne odvisnosti, in se ne prikažejo v korelacijah. Torej, na primer, če imate dve spremenljivki in se vse točke teh dveh spremenljivk poravnajo v nekakšno spiralo, obstaja zelo močna odvisnost med tema dvema spremenljivkama, kajne? Toda v resnici, če izračunate korelacijo med tema dvema spremenljivkama, nista korelirani. Torej, tukaj je primer, kjer je vsebina informacij teh dveh spremenljivk dejansko zelo majhna, je samo ena količina, ker je to vaš položaj v spirali. So brez korelacije, tako da mislite, da imate veliko informacij, ki izhajajo iz teh dveh spremenljivk, čeprav jih v resnici nimate, imate samo, saj veste, da lahko eno spremenljivko predvidite iz druge, v bistvu. To torej kaže, da imamo le zelo približne načine za merjenje vsebine informacij.

ZDNet: In to je torej ena od stvari, na kateri moraš zdaj delati? To je širše vprašanje, kako vemo, kdaj povečamo ali zmanjšamo vsebino informacij?

YL:  Ali pa je proxy, ki ga uporabljamo za to, dovolj dober za nalogo, ki jo želimo. Pravzaprav to v strojnem učenju počnemo ves čas. Stroškovne funkcije, ki jih minimiziramo, nikoli niso tiste, ki jih dejansko želimo minimizirati. Torej, na primer, želite narediti klasifikacijo, v redu? Funkcija stroškov, ki jo želite minimizirati, ko učite klasifikatorja, je število napak, ki jih klasifikator naredi. Toda to je nediferencialna, grozljiva stroškovna funkcija, ki je ne morete minimizirati, ker veste, da boste spremenili uteži vaše nevronske mreže, nič se ne bo spremenilo, dokler eden od teh vzorcev ne spremeni svoje odločitve, nato pa skok v napaki, pozitivni ali negativni.

ZDNet: Torej imate približek, ki je objektivna funkcija, za katero zagotovo lahko rečete, da lahko definitivno gradiente toka te stvari.

YL: Tako je. Torej ljudje uporabljajo to navzkrižno entropijsko izgubo ali SOFTMAX, imate več imen za to, vendar je ista stvar. In v bistvu gre za gladek približek števila napak, ki jih naredi sistem, pri čemer se glajenje izvede v bistvu z upoštevanjem ocene, ki jo sistem dodeli vsaki od kategorij.

ZDNet: Ali obstaja kaj, kar še nismo zajeli, pa bi želeli pokriti?

YL: Verjetno poudarja glavne točke. Mislim, da morajo biti sistemi umetne inteligence sposobni sklepati in postopek za to, ki ga zagovarjam, je minimiziranje nekega cilja glede na neko latentno spremenljivko. To omogoča sistemom načrtovanje in razmišljanje. Mislim, da bi morali opustiti verjetnostni okvir, ker je nerešljiv, ko želimo delati stvari, kot je zajemanje odvisnosti med visokodimenzionalnimi zveznimi spremenljivkami. In zagovarjam opustitev generativnih modelov, ker bo sistem moral posvetiti preveč virov napovedovanju stvari, ki jih je pretežko predvideti in morda porabijo preveč virov. In to je skoraj vse. To so glavna sporočila, če želite. In potem celotna arhitektura. Potem so tu še špekulacije o naravi zavesti in vlogi konfiguratorja, a to so res špekulacije.

ZDNet: Do tega bomo prišli naslednjič. Hotel sem vas vprašati, kako primerjate to stvar? Ampak mislim, da ste zdaj malo dlje od primerjalne analize?

YL: Ne nujno tako daleč v nekako poenostavljenih različicah. Naredite lahko to, kar počnejo vsi pri nadzornem ali krepitvenem učenju, to je, da usposobite stvar za igranje iger Atari ali česa podobnega ali kakšne druge igre, ki vsebuje nekaj negotovosti.

ZDNet: Hvala za tvoj čas, Yann.