Metin AI guru LeCun: Većina današnjih AI pristupa nikada neće dovesti do prave inteligencije

ZDNet: Kažemo izvan investicijskog horizonta većine investitora.

YL: Tako je. Dakle, pitanje je hoće li ljudi izgubiti strpljenje ili će ostati bez novca prije nego što učinak dosegne željenu razinu.

ZDNet: Ima li nešto zanimljivo za reći o tome zašto ste odabrali neke od elemenata koje ste odabrali u modelu? Zato što citirate Kennetha Craika [1943.Priroda objašnjenja], a vi citirate Brysona i Hoa [1969, Primijenjena optimalna kontrola], i znatiželjan sam zašto ste počeli s tim utjecajima, ako ste vjerovali posebno da su ti ljudi doveli do onoga što su učinili. Zašto ste tamo počeli?

YL: Pa, ne mislim, svakako, da su sve detalje zakucali. Dakle, Bryson i Ho, ovo je knjiga koju sam pročitao 1987. kad sam bio na postdoktorskom studiju s Geoffreyjem Hintonom u Torontu. Ali znao sam za ovu liniju rada otprije dok sam pisao svoj doktorat, i u biti sam napravio vezu između optimalne kontrole i naslona. Da stvarno želite biti, znate, još jedan Schmidhuber, rekli biste da su pravi izumitelji backpropa zapravo bili teoretičari optimalne kontrole Henry J. Kelley, Arthur Bryson, a možda čak i Lev Pontryagin, koji je ruski teoretičar optimalne kontrole natrag u kasnim '50-ima. 

Dakle, oni su to shvatili, i zapravo, možete vidjeti korijen ovoga, matematika ispod toga, je Lagrangeova mehanika. Dakle, možete se vratiti Euleru i Lagrangeu, zapravo, i na neki način pronaći dašak ovoga u njihovoj definiciji Lagrangeove klasične mehanike, zapravo. Dakle, u kontekstu optimalne kontrole, ono što je ove dečke zanimalo je u osnovi računanje raketnih putanja. Znate, ovo je bilo rano svemirsko doba. A ako imate model rakete, on vam govori o stanju rakete u trenutku t, a ovo je akcija koju ću poduzeti, dakle, potisak i aktuatori raznih vrsta, ovo je stanje rakete u određenom trenutku t + 1.

ZDNet: Model stanje-djelovanje, model vrijednosti.

YL: Tako je, osnova kontrole. Dakle, sada možete simulirati ispaljivanje svoje rakete zamišljajući slijed naredbi, a zatim imate neku funkciju troška, ​​a to je udaljenost rakete od njezine mete, svemirske stanice ili što već. A onda nekom vrstom gradijentnog spuštanja možete shvatiti kako mogu ažurirati svoj redoslijed radnji tako da moja raketa zapravo dođe što bliže meti. A to mora doći putem povratnog širenja signala unatrag kroz vrijeme. A to je širenje unatrag, gradijentno širenje unatrag. Ti signali se nazivaju konjugirane varijable u Lagrangeovoj mehanici, ali zapravo su gradijenti. Dakle, izumili su backprop, ali nisu shvatili da se ovaj princip može koristiti za treniranje višestupanjskog sustava koji može prepoznavati uzorke ili nešto slično. Ovo nije stvarno realizirano sve do možda kasnih 70-ih, ranih 80-ih, a onda nije zapravo implementirano i pokrenuto do sredine 80-ih. U redu, dakle, ovo je mjesto gdje je backprop stvarno, na neki način, uzeo maha jer su ljudi pokazali evo nekoliko redaka koda pomoću kojih možete trenirati neuronsku mrežu, s kraja na kraj, višeslojnu. A to podiže ograničenja Perceptrona. I, da, postoje veze s optimalnom kontrolom, ali to je u redu.

ZDNet: Dakle, to je dug način da se kaže da su se ovi utjecaji s kojima ste počeli vraćali natrag na backprop, a to je bilo važno kao početna točka za vas?

YL: Da, ali mislim da je ono što su ljudi malo zaboravili, bilo je dosta posla na ovome, znate, još u '90-ima, ili čak '80-ima, uključujući ljude poput Michaela Jordana [MIT Depart. of Brain i kognitivne znanosti] i ljudi poput njih koji više ne rade neuronske mreže, već ideju da možete koristiti neuronske mreže za kontrolu, i možete koristiti klasične ideje optimalne kontrole. Dakle, stvari poput onoga što se zove model-prediktivna kontrola, ono što se sada naziva model-prediktivna kontrola, ta ideja da možete simulirati ili zamisliti ishod niza radnji ako imate dobar model sustava koji pokušavate kontrolirati i okoline u kojoj se nalazi. A onda spuštanjem prema gradijentima, u biti - ovo nije učenje, ovo je zaključivanje - možete shvatiti koji je najbolji slijed radnji koji će minimizirati moj cilj. Dakle, korištenje troškovne funkcije s latentnom varijablom za zaključivanje je, mislim, nešto na što su trenutni usjevi velikih neuronskih mreža zaboravili. Ali to je dugo vremena bila vrlo klasična komponenta strojnog učenja. Dakle, svaka Bayesova mreža ili grafički model ili probabilistički grafički model koristi ovu vrstu zaključivanja. Imate model koji bilježi ovisnosti između hrpe varijabli, rečeno vam je o vrijednosti nekih varijabli, a zatim morate zaključiti najvjerojatnije vrijednosti ostalih varijabli. To je osnovno načelo zaključivanja u grafičkim modelima i Bayesovim mrežama i sličnim stvarima. I mislim da je to u osnovi ono o čemu bi rasuđivanje trebalo biti, rasuđivanje i planiranje.

ZDNet: Ti si prikriveni Bayesovac.

YL: Ja sam non-probabilistički Bayesian. Već sam napravio tu šalu. Zapravo sam bio na NeurIPS-u prije nekoliko godina, mislim da je to bilo 2018. ili 2019., i na video me uhvatio Bayesian koji me pitao jesam li Bayesian, a ja sam rekao, Da, ja sam Bayesian, ali ja Ja sam neprobabilistički Bayesian, na neki način, Bayesian temeljen na energiji, ako želite. 

ZDNet: Što definitivno zvuči kao nešto iz Star Trek. Spomenuli ste na kraju ovog rada da će trebati godine stvarno napornog rada da se ostvari ono što ste zamislili. Recite mi o čemu se sastoji dio tog posla u ovom trenutku.

YL: Dakle, objašnjavam kako trenirate i gradite JEPA u novinama. A kriterij za koji se zalažem jest postojanje nekog načina maksimiziranja sadržaja informacija koje reprezentacije koje su izvučene imaju o unosu. A drugi je minimiziranje pogreške predviđanja. A ako imate latentnu varijablu u prediktoru koja dopušta prediktoru da bude nedeterministički, morate regulirati i ovu latentnu varijablu minimiziranjem njezinog informacijskog sadržaja. Dakle, sada imate dva problema, a to je kako maksimizirati informacijski sadržaj izlaza neke neuronske mreže, a drugi je kako minimizirati informacijski sadržaj neke latentne varijable? A ako ne učinite te dvije stvari, sustav će se urušiti. Neće naučiti ništa zanimljivo. Dat će nula energije svemu, tako nešto, što nije dobar model ovisnosti. To je problem sprječavanja kolapsa koji sam spomenuo. 

I kažem od svih stvari koje su ljudi ikada učinili, postoje samo dvije kategorije metoda za sprječavanje kolapsa. Jedno su kontrastivne metode, a drugo one regularizirane metode. Dakle, ova ideja maksimiziranja informacijskog sadržaja reprezentacija dvaju ulaza i minimiziranja informacijskog sadržaja latentne varijable pripada regulariziranim metodama. Ali mnogo posla u tim arhitekturama ugradnje spojeva koristi se kontrastnim metodama. Zapravo, oni su trenutno vjerojatno najpopularniji. Dakle, pitanje je kako točno mjerite sadržaj informacija na način da ga možete optimizirati ili minimizirati? I tu se stvari kompliciraju jer zapravo ne znamo kako mjeriti sadržaj informacija. Možemo ga približno odrediti, možemo ga postaviti na gornju granicu, možemo raditi takve stvari. Ali oni zapravo ne mjere sadržaj informacija, koji, zapravo, u određenoj mjeri nije ni dobro definiran.

ZDNet: Nije Shannonov zakon? Nije teorija informacija? Imate određenu količinu entropije, dobru entropiju i lošu entropiju, a dobra entropija je sustav simbola koji funkcionira, loša entropija je šum. Nije li sve riješila Shannon?

YL: U pravu ste, ali iza toga postoji veliki nedostatak. U pravu ste u smislu da ako imate podatke koji vam dolaze i možete nekako kvantizirati podatke u diskretne simbole, a zatim izmjerite vjerojatnost svakog od tih simbola, tada je maksimalna količina informacija koju nose ti simboli zbroj preko mogućih simbola Pi log Pi, zar ne? Gdje Pi je vjerojatnost simbola ja — to je Shannonova entropija. [Shannonov zakon se obično formulira kao H = – ∑ pi log pi.]

Međutim, ovdje je problem: Što je Pi? Lako je kada je broj simbola mali i simboli se crtaju neovisno. Kada ima mnogo simbola i ovisnosti, jako je teško. Dakle, ako imate slijed bitova i pretpostavite da su bitovi neovisni jedan o drugome i da je vjerojatnost jednaka između jedan i nula ili što već, tada možete lako izmjeriti entropiju, nema problema. Ali ako su stvari koje vam dolaze visokodimenzionalni vektori, kao, znate, podatkovni okviri, ili nešto poput ovoga, što je Pi? Što je distribucija? Prvo morate kvantizirati taj prostor, koji je visokodimenzionalni, kontinuirani prostor. Nemate pojma kako ovo pravilno kvantizirati. Možete koristiti k-srednje vrijednosti, itd. To je ono što ljudi rade kada rade kompresiju videa i kompresiju slike. Ali to je samo aproksimacija. A onda morate napraviti pretpostavke neovisnosti. Dakle, jasno je da u videu uzastopni okviri nisu neovisni. Postoje ovisnosti, a taj okvir može ovisiti o drugom okviru koji ste vidjeli prije sat vremena, a koji je slika iste stvari. Dakle, znate, ne možete mjeriti Pi. Mjeriti Pi, morate imati sustav strojnog učenja koji uči predviđati. I tako se vraćate na prethodni problem. Dakle, u biti možete samo približno odrediti mjeru informacija. 

Uzet ću konkretniji primjer. Jedan od algoritama s kojim smo se igrali, a o kojem sam govorio u članku, je ova stvar koja se zove VICReg, varijacija-invarijanca-kovarijanca regularizacija. To je u zasebnom radu koji je objavljen na ICLR-u, i stavljen je na arXiv otprilike godinu dana prije, 2021. Ideja je da se maksimiziraju informacije. A ideja je zapravo proizašla iz ranijeg rada moje grupe pod nazivom Blizanci Barlow. Maksimizirate informacijski sadržaj vektora koji izlazi iz neuronske mreže, u osnovi, pretpostavljajući da je jedina ovisnost između varijabli korelacija, linearna ovisnost. Dakle, ako pretpostavite da je jedina moguća ovisnost između parova varijabli, ili između varijabli u vašem sustavu, korelacija između parova vrijednosti, što je izuzetno gruba aproksimacija, tada možete maksimalno povećati sadržaj informacija koji izlazi iz vašeg sustava osiguravajući da sve varijable imaju varijancu različitu od nule — recimo, varijancu jedan, nije važno što je — i zatim ih povratno koreliramo, isti proces koji se zove izbjeljivanje, ni to nije novo. Problem s ovim je što vrlo lako možete imati izuzetno složene ovisnosti između grupa varijabli ili čak samo parova varijabli koje nisu linearne ovisnosti, i ne pojavljuju se u korelacijama. Dakle, na primjer, ako imate dvije varijable, i sve točke tih dviju varijabli poredane su u neku vrstu spirale, postoji vrlo jaka ovisnost između te dvije varijable, zar ne? Ali zapravo, ako izračunate korelaciju između te dvije varijable, one nisu u korelaciji. Dakle, evo primjera gdje je informacijski sadržaj ovih dviju varijabli zapravo vrlo mali, to je samo jedna količina jer je to vaš položaj u spirali. Oni su de-korelirani, tako da mislite da imate mnogo informacija koje proizlaze iz te dvije varijable, a zapravo nemate, imate samo, znate, možete predvidjeti jednu od varijabli iz druge, u biti. Dakle, to pokazuje da imamo samo vrlo približne načine za mjerenje sadržaja informacija.

ZDNet: I to je jedna od stvari na kojoj sada morate raditi s ovim? Ovo je veće pitanje kako znamo kada maksimiziramo ili minimiziramo sadržaj informacija?

YL:  Ili je li proxy koji za ovo koristimo dovoljno dobar za zadatak koji želimo. Zapravo, to radimo cijelo vrijeme u strojnom učenju. Troškovne funkcije koje minimiziramo nikada nisu one koje zapravo želimo minimizirati. Dakle, na primjer, želite napraviti klasifikaciju, u redu? Troškovna funkcija koju želite minimizirati kada obučavate klasifikatora je broj pogrešaka koje klasifikator čini. Ali to je nediferencijabilna, užasna troškovna funkcija koju ne možete minimizirati jer znate da ćete promijeniti težinu svoje neuronske mreže, ništa se neće promijeniti dok jedan od tih uzoraka ne promijeni svoju odluku, a onda skok u pogrešci, pozitivnoj ili negativnoj.

ZDNet: Dakle, imate zamjensku funkciju koja je objektivna funkcija za koju definitivno možete reći da definitivno možemo utvrditi gradijente toka ove stvari.

YL: Tako je. Dakle, ljudi koriste ovaj unakrsni entropijski gubitak, ili SOFTMAX, imate nekoliko naziva za to, ali to je ista stvar. I to je u osnovi glatka aproksimacija broja pogrešaka koje sustav napravi, gdje se izglađivanje vrši, u osnovi, uzimajući u obzir ocjenu koju sustav daje svakoj od kategorija.

ZDNet: Postoji li nešto što nismo pokrili, a želite pokriti?

YL: Vjerojatno naglašava glavne točke. Mislim da sustavi umjetne inteligencije moraju biti u stanju razmišljati, a proces za to koji zagovaram je minimiziranje nekog cilja u odnosu na neku latentnu varijablu. To sustavima omogućuje planiranje i razmišljanje. Mislim da bismo trebali napustiti probabilistički okvir jer je nepopustljiv kada želimo raditi stvari poput hvatanja ovisnosti između visokodimenzionalnih, kontinuiranih varijabli. I zalažem se za napuštanje generativnih modela jer će sustav morati posvetiti previše resursa predviđanju stvari koje je preteško predvidjeti i koje će možda trošiti previše resursa. I to je uglavnom to. To su glavne poruke, ako želite. A zatim i cjelokupna arhitektura. Zatim, tu su i one spekulacije o prirodi svijesti i ulozi konfiguratora, ali to su zapravo spekulacije.

ZDNet: Doći ćemo do toga sljedeći put. Htio sam te pitati, kako mjeriš ovu stvar? Ali pretpostavljam da ste sada malo dalje od benchmarkinga?

YL: Ne nužno tako daleko u, na neki način, pojednostavljenim verzijama. Možete učiniti ono što svi rade u kontrolnom učenju ili učenju s potkrepljenjem, što znači da uvježbate stvar da igra Atari igrice ili nešto slično ili neku drugu igru ​​koja ima malo nesigurnosti u sebi.

ZDNet: Hvala na vašem vremenu, Yann.