Meta's AI-goeroe LeCun: de meeste van de huidige AI-benaderingen zullen nooit tot echte intelligentie leiden

ZDNet: We zeggen voorbij de beleggingshorizon van de meeste beleggers.

YL: Klopt. De vraag is dus of mensen hun geduld verliezen of zonder geld komen te zitten voordat de prestatie het gewenste niveau bereikt.

ZDNet: Is er iets interessants te zeggen over waarom je bepaalde elementen in het model hebt gekozen? Omdat u Kenneth Craik [1943,De aard van de verklaring], en u citeert Bryson en Ho [1969, Toegepaste optimale controle], en ik ben benieuwd waarom je met deze invloeden bent begonnen, als je vooral geloofde dat deze mensen het net zo goed hadden gedaan als wat ze hadden gedaan. Waarom ben je daar begonnen?

YL: Nou, ik denk zeker niet dat ze alle details hadden vastgelegd. Dus, Bryson en Ho, dit is een boek dat ik in 1987 las toen ik een postdoc was bij Geoffrey Hinton in Toronto. Maar ik kende dit vak van tevoren toen ik mijn doctoraat schreef, en legde in wezen de verbinding tussen optimale besturing en backprop. Als je echt een andere Schmidhuber zou willen zijn, zou je zeggen dat de echte uitvinders van backprop eigenlijk optimale controletheoretici Henry J. Kelley, Arthur Bryson en misschien zelfs Lev Pontryagin, een Russische theoreticus van optimale controle, waren. eind jaren '50. 

Dus ze kwamen erachter, en in feite kun je zien dat de wortel hiervan, de wiskunde daaronder, de Lagrangiaanse mechanica is. Dus je kunt teruggaan naar Euler en Lagrange, en eigenlijk een vleugje hiervan vinden in hun definitie van Lagrangiaanse klassieke mechanica. Dus, in de context van optimale controle, waren deze jongens in feite geïnteresseerd in het berekenen van rakettrajecten. Weet je, dit was het vroege ruimtetijdperk. En als je een model van de raket hebt, staat dat hier de staat van de raket op dat moment is t, en hier is de actie die ik ga ondernemen, dus, stuwkracht en actuatoren van verschillende soorten, hier is de staat van de raket op het moment t + 1.

ZDNet: Een state-action model, een waardemodel.

YL: Juist, de basis van controle. Dus nu kun je het schieten van je raket simuleren door je een reeks commando's voor te stellen, en dan heb je een kostenfunctie, namelijk de afstand van de raket tot zijn doel, een ruimtestation of wat het ook is. En dan door een soort van gradiëntafdaling, kun je erachter komen, hoe ik mijn actievolgorde kan updaten, zodat mijn raket zo dicht mogelijk bij het doel komt. En dat moet komen door signalen terug in de tijd te verspreiden. En dat is back-propagation, gradiënt back-propagation. Die signalen worden in de Lagrangiaanse mechanica geconjugeerde variabelen genoemd, maar in feite zijn het gradiënten. Dus vonden ze backprop uit, maar ze realiseerden zich niet dat dit principe gebruikt kon worden om een ​​meertraps systeem te trainen dat patroonherkenning of iets dergelijks kan doen. Dit werd niet echt gerealiseerd tot misschien eind jaren '70, begin jaren '80, en werd toen pas in het midden van de jaren '80 geïmplementeerd en aan het werk gezet. Oké, dus dit is waar backprop echt van de grond kwam, omdat mensen hier een paar regels code lieten zien waarmee je een neuraal netwerk kunt trainen, van begin tot eind, met meerdere lagen. En dat heft de beperkingen van de Perceptron op. En ja, er zijn verbindingen met optimale controle, maar dat is oké.

ZDNet: Dus dat is een lange manier om te zeggen dat deze invloeden waarmee je begon teruggingen naar backprop, en dat was belangrijk als uitgangspunt voor jou?

YL: Ja, maar ik denk dat wat mensen een beetje vergeten waren, hier was nogal wat werk aan, weet je, in de jaren '90 of zelfs de jaren '80, ook door mensen als Michael Jordan [MIT Dept. of Brain and Cognitive Sciences] en dat soort mensen die geen neurale netwerken meer maken, maar het idee dat je neurale netwerken kunt gebruiken voor controle, en je kunt klassieke ideeën over optimale controle gebruiken. Dus dingen zoals wat modelvoorspellende controle wordt genoemd, wat nu modelvoorspellende controle wordt genoemd, dit idee dat je de uitkomst van een reeks acties kunt simuleren of voorstellen als je een goed model hebt van het systeem dat je probeert te controleren en de omgeving waarin het zich bevindt. En dan kun je in wezen door gradiëntafdaling - dit is geen leren, dit is gevolgtrekking - uitvinden wat de beste reeks acties is die mijn doel minimaliseren. Dus het gebruik van een kostenfunctie met een latente variabele voor gevolgtrekking is, denk ik, iets dat de huidige oogsten van grootschalige neurale netwerken zijn vergeten. Maar het was lange tijd een heel klassiek onderdeel van machine learning. Dus elk Bayesiaans net of grafisch model of probabilistisch grafisch model gebruikte dit type gevolgtrekking. Je hebt een model dat de afhankelijkheden tussen een aantal variabelen vastlegt, je krijgt de waarde van sommige variabelen te horen en dan moet je de meest waarschijnlijke waarde van de rest van de variabelen afleiden. Dat is het basisprincipe van gevolgtrekking in grafische modellen en Bayesiaanse netten, en dergelijke. En ik denk dat dat is waar redeneren over zou moeten gaan, redeneren en plannen.

ZDNet: Je bent een kast Bayesiaan.

YL: Ik ben een niet-probabilistische Bayesiaan. Die grap maakte ik al eerder. Ik was een paar jaar geleden eigenlijk bij NeurIPS, ik denk dat het in 2018 of 2019 was, en ik werd op video vastgelegd door een Bayesiaan die me vroeg of ik een Bayesiaan was, en ik zei: Ja, ik ben een Bayesiaan, maar ik Ik ben een niet-probabilistische Bayesiaan, een soort van op energie gebaseerde Bayesiaan, als je wilt. 

ZDNet: Dat klinkt zeker als iets van Star Trek. U zei aan het einde van dit artikel dat het jaren van hard werken zal vergen om te realiseren wat u voor ogen heeft. Vertel eens waar een deel van dat werk op dit moment uit bestaat.

YL: Dus ik leg in de krant uit hoe je de JEPA traint en bouwt. En het criterium waar ik voor pleit, is het hebben van een manier om de informatie-inhoud te maximaliseren die de representaties die worden geëxtraheerd over de invoer hebben. En dan is de tweede het minimaliseren van de voorspellingsfout. En als je een latente variabele in de voorspeller hebt waardoor de voorspeller niet-deterministisch is, moet je ook deze latente variabele regulariseren door de informatie-inhoud ervan te minimaliseren. Dus je hebt nu twee problemen, namelijk hoe je de informatie-inhoud van de output van een neuraal netwerk maximaliseert, en de andere is hoe je de informatie-inhoud van een latente variabele minimaliseert? En als je die twee dingen niet doet, zal het systeem instorten. Het zal niets interessants leren. Het zal aan alles nul energie geven, zoiets, wat geen goed model van afhankelijkheid is. Het is het probleem van instortingspreventie dat ik noem. 

En ik zeg dat van alle dingen die mensen ooit hebben gedaan, er maar twee categorieën methoden zijn om instorting te voorkomen. Een daarvan is contrastieve methoden, en de andere is die geregulariseerde methoden. Dus dit idee van het maximaliseren van de informatie-inhoud van de representaties van de twee inputs en het minimaliseren van de informatie-inhoud van de latente variabele, dat behoort tot geregulariseerde methoden. Maar veel van het werk in die gezamenlijke inbeddingsarchitecturen maakt gebruik van contrastieve methoden. Sterker nog, ze zijn op dit moment waarschijnlijk het populairst. De vraag is dus hoe je informatie-inhoud precies meet op een manier die je kunt optimaliseren of minimaliseren? En dat is waar dingen ingewikkeld worden omdat we niet weten hoe we informatie-inhoud moeten meten. We kunnen het benaderen, we kunnen het aan een bovengrens stellen, we kunnen dat soort dingen doen. Maar ze meten eigenlijk niet de informatie-inhoud, die eigenlijk tot op zekere hoogte niet eens goed gedefinieerd is.

ZDNet: Het is niet de wet van Shannon? Het is geen informatietheorie? Je hebt een bepaalde hoeveelheid entropie, goede entropie en slechte entropie, en de goede entropie is een symboolsysteem dat werkt, slechte entropie is ruis. Is het niet allemaal opgelost door Shannon?

YL: Je hebt gelijk, maar daar zit een grote fout achter. Je hebt gelijk in die zin dat als er data op je afkomt en je de data op de een of andere manier kunt kwantificeren in discrete symbolen, en dan meet je de waarschijnlijkheid van elk van die symbolen, dan is de maximale hoeveelheid informatie die door die symbolen wordt gedragen de som over de mogelijke symbolen van Pi logt Pi, Rechtsaf? Waar Pi is de kans op symbool i - dat is de Shannon-entropie. [De wet van Shannon wordt gewoonlijk geformuleerd als H = – ∑ pi log pi.]

Hier is echter het probleem: Wat is? Pi? Het is gemakkelijk als het aantal symbolen klein is en de symbolen onafhankelijk van elkaar worden getekend. Als er veel symbolen en afhankelijkheden zijn, is het erg moeilijk. Dus als je een reeks bits hebt en je neemt aan dat de bits onafhankelijk van elkaar zijn en de kans gelijk is tussen één en nul of wat dan ook, dan kun je eenvoudig de entropie meten, geen probleem. Maar als de dingen die naar je toe komen hoogdimensionale vectoren zijn, zoals, je weet wel, dataframes, of iets dergelijks, wat is Pi? Wat is de verdeling? Eerst moet je die ruimte kwantiseren, wat een hoogdimensionale, continue ruimte is. Je hebt geen idee hoe je dit goed moet kwantificeren. Je kunt k-means enz. gebruiken. Dit is wat mensen doen als ze videocompressie en beeldcompressie toepassen. Maar het is slechts een benadering. En dan moet je aannames doen over onafhankelijkheid. Het is dus duidelijk dat in een video opeenvolgende frames niet onafhankelijk zijn. Er zijn afhankelijkheden, en dat frame kan afhangen van een ander frame dat je een uur geleden zag, wat een foto van hetzelfde was. Dus, weet je, je kunt niet meten Pi. Meten Pi, moet je een machine learning-systeem hebben dat leert voorspellen. En zo ben je weer terug bij het vorige probleem. U kunt dus in wezen alleen de mate van informatie benaderen. 

Laat ik een meer concreet voorbeeld nemen. Een van de algoritmen waarmee we hebben gespeeld, en waarover ik in het stuk heb gesproken, is iets dat VICReg heet, variantie-invariantie-covariantie-regularisatie. Het staat in een apart artikel dat is gepubliceerd op het ICLR, en het is op arXiv . gezet ongeveer een jaar eerder, 2021. En het idee daar is om informatie te maximaliseren. En het idee kwam eigenlijk uit een eerder artikel van mijn groep genaamd Barlow-tweeling. Je maximaliseert de informatie-inhoud van een vector die uit een neuraal net komt door in feite aan te nemen dat de enige afhankelijkheid tussen variabelen correlatie is, lineaire afhankelijkheid. Dus, als je aanneemt dat de enige afhankelijkheid die mogelijk is tussen paren variabelen, of tussen variabelen in je systeem, correlaties zijn tussen paren van kostbaarheden, wat de extreem ruwe benadering is, dan kun je de informatie-inhoud die uit je systeem komt maximaliseren door ervoor te zorgen dat alle variabelen een variantie hebben die niet nul is - laten we zeggen, variantie één, het maakt niet uit wat het is - en ze vervolgens terug te correleren, hetzelfde proces dat whitening wordt genoemd, is ook niet nieuw. Het probleem hiermee is dat je heel goed extreem complexe afhankelijkheden kunt hebben tussen groepen variabelen of zelfs alleen paren van variabelen die geen lineaire afhankelijkheden zijn, en ze verschijnen niet in correlaties. Dus, bijvoorbeeld, als je twee variabelen hebt, en alle punten van die twee variabelen liggen in een soort spiraal, dan is er een zeer sterke afhankelijkheid tussen die twee variabelen, toch? Maar in feite, als je de correlatie tussen die twee variabelen berekent, zijn ze niet gecorreleerd. Dus, hier is een voorbeeld waarbij de informatie-inhoud van deze twee variabelen eigenlijk heel klein is, het is maar één grootheid omdat het jouw positie in de spiraal is. Ze zijn gedecorreleerd, dus je denkt dat er veel informatie uit die twee variabelen komt, terwijl dat in feite niet zo is, je hebt alleen, je weet wel, je kunt in wezen een van de variabelen van de andere voorspellen. Dat toont dus aan dat we slechts zeer benaderende manieren hebben om de informatie-inhoud te meten.

ZDNet: En dat is dus een van de dingen waar je nu mee aan de slag moet? Dit is de grotere vraag: hoe weten we wanneer we informatie-inhoud maximaliseren en minimaliseren?

YL:  Of de proxy die we hiervoor gebruiken goed genoeg is voor de taak die we willen. In feite doen we dit de hele tijd in machine learning. De kostenfuncties die we minimaliseren, zijn nooit degene die we eigenlijk willen minimaliseren. Dus je wilt bijvoorbeeld classificeren, oké? De kostenfunctie die u wilt minimaliseren wanneer u een classifier traint, is het aantal fouten dat de classifier maakt. Maar dat is een niet-differentieerbare, vreselijke kostenfunctie die je niet kunt minimaliseren omdat je weet dat je de gewichten van je neurale net gaat veranderen, er zal niets veranderen totdat een van die monsters zijn beslissing omdraaide, en dan een sprong in de fout, positief of negatief.

ZDNet: Dus je hebt een proxy, wat een objectieve functie is waarvan je zeker kunt zeggen dat we zeker gradiënten van dit ding kunnen vloeien.

YL: Klopt. Dus mensen gebruiken dit cross-entropieverlies, of SOFTMAX, je hebt er verschillende namen voor, maar het is hetzelfde. En het is in feite een soepele benadering van het aantal fouten dat het systeem maakt, waarbij het afvlakken wordt gedaan door in feite rekening te houden met de score die het systeem aan elk van de categorieën geeft.

ZDNet: Is er iets dat we niet hebben gedekt dat u graag zou willen dekken?

YL: Het benadrukt waarschijnlijk de belangrijkste punten. Ik denk dat AI-systemen moeten kunnen redeneren, en het proces waarvoor ik pleit, is het minimaliseren van een doelstelling met betrekking tot een latente variabele. Daardoor kunnen systemen plannen en redeneren. Ik denk dat we het probabilistische raamwerk moeten verlaten omdat het onhandelbaar is als we dingen willen doen zoals afhankelijkheden vastleggen tussen hoogdimensionale, continue variabelen. En ik pleit ervoor om generatieve modellen te verlaten, omdat het systeem te veel middelen zal moeten besteden aan het voorspellen van dingen die te moeilijk te voorspellen zijn en misschien te veel middelen verbruiken. En dat is het zo'n beetje. Dat zijn de belangrijkste boodschappen, zo u wilt. En dan de algehele architectuur. Dan zijn er die speculaties over de aard van bewustzijn en de rol van de configurator, maar dit is echt speculatie.

ZDNet: Daar komen we de volgende keer op terug. Ik wilde je vragen, hoe benchmark je dit ding? Maar ik neem aan dat je nu een beetje verder bent van benchmarking?

YL: Niet per se zo ver in, soort van, vereenvoudigde versies. Je kunt doen wat iedereen doet op het gebied van controle- of versterkingsleren, dat wil zeggen, je traint het ding om Atari-spellen te spelen of iets dergelijks of een ander spel dat enige onzekerheid bevat.

ZDNet: Bedankt voor je tijd, Yann.