Meta AI guru Lekuns: Lielākā daļa mūsdienu AI pieeju nekad nenovedīs pie patiesa intelekta

ZDNet: Mēs sakām, ka tas pārsniedz vairuma investoru ieguldījumu horizontu.

YL: Pareizi. Tātad, jautājums ir, vai cilvēki zaudēs pacietību vai beigsies nauda, ​​pirms sniegums sasniegs vēlamo līmeni.

ZDNet: Vai ir kas interesants sakāms par to, kāpēc izvēlējāties dažus no modelī izvēlētajiem elementiem? Tā kā jūs citējat Kenetu Kreiku [1943,Paskaidrojuma būtība], un jūs citējat Braisonu un Ho [1969, Piemērota optimālā kontrole], un mani interesē, kāpēc jūs sākāt ar šīm ietekmēm, ja īpaši ticējāt, ka šiem cilvēkiem tas ir izdevies līdz tam, ko viņi bija darījuši. Kāpēc tu tur sāki?

YL: Nu, es nedomāju, ka viņiem bija visas detaļas. Tātad, Braisons un Ho, šī ir grāmata, kuru izlasīju 1987. gadā, kad biju pēcdoktorantūra pie Džefrija Hintona Toronto. Bet es zināju par šo darba virzienu jau iepriekš, rakstot savu doktora grādu, un būtībā izveidoju savienojumu starp optimālo vadību un aizmugurējo balstu. Ja jūs patiešām vēlētos būt vēl viens Šmidhūbers, jūs teiktu, ka īstie backprop izgudrotāji patiesībā bija optimālās vadības teorētiķi Henrijs J. Kellijs, Arturs Braisons un, iespējams, pat Ļevs Pontrjagins, kurš ir krievu optimālās kontroles teorētiķis. 50. gadu beigās. 

Tātad, viņi to izdomāja, un patiesībā jūs varat redzēt sakni tam, matemātiku zem tā, ir Lagranža mehānika. Tātad jūs varat atgriezties pie Eilera un Lagrenža un kaut kā no tā atrast kādu odziņu viņu Lagranža klasiskās mehānikas definīcijā. Tātad optimālas kontroles kontekstā šie puiši interesēja būtībā raķešu trajektoriju aprēķināšanu. Jūs zināt, tas bija agrīnais kosmosa laikmets. Un, ja jums ir raķetes modelis, tas jums norāda, kāds ir raķetes stāvoklis attiecīgajā laikā t, un šī ir darbība, ko es gatavojos veikt, tāpēc, dažāda veida vilces un izpildmehānismi, šeit ir raķetes stāvoklis attiecīgajā laikā t + 1.

ZDNet: Stāvokļa-darbības modelis, vērtību modelis.

YL: Tieši tā, kontroles pamats. Tātad, tagad jūs varat simulēt savas raķetes šaušanu, iztēlojoties komandu secību, un tad jums ir kāda izmaksu funkcija, kas ir raķetes attālums līdz mērķim, kosmosa stacijai vai jebkuram citam. Un tad, nolaižoties pa gradientu, jūs varat izdomāt, kā es varu atjaunināt savu darbību secību, lai mana raķete patiešām nonāktu pēc iespējas tuvāk mērķim. Un tam ir jānotiek, izplatot signālus atpakaļ laikā. Un tā ir pavairošana atpakaļ, gradienta atpakaļ pavairošana. Šos signālus Lagranža mehānikā sauc par konjugētajiem mainīgajiem, bet patiesībā tie ir gradienti. Tātad, viņi izgudroja backprop, bet viņi nesaprata, ka šo principu var izmantot, lai apmācītu daudzpakāpju sistēmu, kas var veikt modeļa atpazīšanu vai kaut ko tamlīdzīgu. Tas tika īsti realizēts tikai varbūt 70. gadu beigās, 80. gadu sākumā, un pēc tam faktiski netika ieviests un likts darboties līdz 80. gadu vidum. Labi, šeit backprop patiešām pacēlās, jo cilvēki parādīja, ka šeit ir dažas koda rindiņas, ar kurām var apmācīt neironu tīklu, no gala līdz galam, daudzslāņu. Un tas atceļ Perceptron ierobežojumus. Un, jā, ir savienojumi ar optimālu vadību, bet tas ir labi.

ZDNet: Tātad, tas ir garš veids, kā teikt, ka šīs ietekmes, ar kurām jūs sākāt, atgriezās backprop, un tas jums bija svarīgs kā sākuma punkts?

YL: Jā, bet es domāju, ka tas, par ko cilvēki ir mazliet aizmirsuši, pie tā bija diezgan daudz darba, ziniet, 90. vai pat 80. gados, tostarp tādi cilvēki kā Maikls Džordans [MIT Brain departaments. un Kognitīvās zinātnes] un tādiem cilvēkiem, kuri vairs neveic neironu tīklus, bet gan domu, ka jūs varat izmantot neironu tīklus kontrolei, un jūs varat izmantot klasiskās idejas par optimālu kontroli. Tātad tādas lietas kā tā sauktā modeļa prognozēšanas vadība, ko tagad sauc par modeļa prognozējošo vadību, šī ideja, ka varat simulēt vai iedomāties darbību secības iznākumu, ja jums ir labs tās sistēmas modelis, kuru mēģināt kontrolēt. un vide, kurā tas atrodas. Un pēc tam ar slīpuma nolaišanos būtībā — tā nav mācīšanās, tas ir secinājums — jūs varat izdomāt, kura ir labākā darbību secība, kas samazina manu mērķi. Tātad izmaksu funkcijas ar latentu mainīgo izmantošana secinājumu izdarīšanai, manuprāt, ir kaut kas tāds, par ko pašreizējie liela mēroga neironu tīkli ir aizmirsuši. Bet tā ilgu laiku bija ļoti klasiska mašīnmācības sastāvdaļa. Tātad katrs Bajesa tīkls vai grafiskais modelis vai varbūtības grafiskais modelis izmantoja šāda veida secinājumus. Jums ir modelis, kas tver atkarības starp mainīgo lielumu kopumu, jums tiek norādīta dažu mainīgo vērtība, un pēc tam jums ir jāizsecina pārējo mainīgo visticamākā vērtība. Tas ir secinājumu pamatprincips grafiskajos modeļos un Bayesian Nets un tamlīdzīgās lietās. Un es domāju, ka pamatā tam vajadzētu būt spriešanai, spriešanai un plānošanai.

ZDNet: Tu esi skapis Beijess.

YL: Es esmu bezvarbūtības baijesietis. Es jau agrāk izteicu šo joku. Es tiešām biju NeurIPS pirms dažiem gadiem, man šķiet, ka tas bija 2018. vai 2019. gadā, un mani video noķēra Bajesietis, kurš man jautāja, vai es esmu Beijess, un es atbildēju: Jā, es esmu beijesietis, bet es Ja vēlaties, es esmu nevarbūtisks Bajesietis, sava veida, uz enerģiju balstīts Bajesietis. 

ZDNet: Kas noteikti izklausās pēc kaut kā no Star Trek. Jūs minējāt šī raksta beigās, lai realizētu to, ko jūs iztēlojaties, būs vajadzīgi gadi patiešām smaga darba. Pastāstiet man par to, no kā sastāv daži no šī brīža darbiem.

YL: Tātad, es paskaidroju, kā jūs apmācāt un veidojat JEPA. Un kritērijs, par kuru es atbalstu, ir veids, kā maksimāli palielināt informācijas saturu, kas iegūtajiem attēlojumiem ir par ievadi. Un tad otrais ir prognozēšanas kļūdas samazināšana. Un, ja jums ir latentais mainīgais prognozētā, kas ļauj prognozētājam būt nedeterministiskam, jums ir jāregulē arī šis latentais mainīgais, samazinot tā informācijas saturu. Tātad, tagad jums ir divas problēmas, proti, kā jūs maksimāli palielinat kāda neironu tīkla izvades informācijas saturu, un otrs ir par to, kā samazināt kāda latenta mainīgā informācijas saturu? Un, ja jūs nedarīsit šīs divas lietas, sistēma sabruks. Tā neko interesantu neuzzinās. Tas visam dos nulles enerģiju, kaut kas tamlīdzīgs, kas nav labs atkarības modelis. Tā ir sabrukšanas novēršanas problēma, ko es pieminēju. 

Un es saku par visām lietām, ko cilvēki jebkad ir darījuši, ir tikai divas metožu kategorijas, lai novērstu sabrukumu. Viena no tām ir kontrastējošās metodes, bet otrs – tās regularizētās metodes. Tātad šī ideja par divu ievades attēlojumu informācijas satura maksimizāciju un latentā mainīgā informācijas satura minimizēšanu, kas pieder pie legalizētajām metodēm. Taču liela daļa darba šajās kopīgajās iegulšanas arhitektūrās tiek izmantotas kontrastējošas metodes. Patiesībā tie, iespējams, šobrīd ir vispopulārākie. Tātad, jautājums ir tieši par to, kā izmērīt informācijas saturu tā, lai to varētu optimizēt vai samazināt? Un šeit lietas kļūst sarežģītas, jo mēs faktiski nezinām, kā izmērīt informācijas saturu. Mēs varam to tuvināt, mēs varam noteikt augšējo robežu, mēs varam darīt tādas lietas. Bet tie faktiski nemēra informācijas saturu, kas patiesībā zināmā mērā pat nav precīzi definēts.

ZDNet: Vai tas nav Šenona likums? Tā nav informācijas teorija? Jums ir noteikta entropija, laba entropija un slikta entropija, un labā entropija ir simbolu sistēma, kas darbojas, slikta entropija ir troksnis. Vai to visu neatrisina Šenons?

YL: Jums ir taisnība, bet aiz tā slēpjas liels trūkums. Jums ir taisnība tādā ziņā, ka, ja jums ir pieejami dati un jūs varat kaut kādā veidā kvantificēt datus atsevišķos simbolos un pēc tam izmērīt katra no šiem simboliem iespējamību, tad maksimālais informācijas apjoms, ko šie simboli pārvadā, ir summa pār iespējamiem simboliem Pi log Pi, pa labi? Kur Pi ir simbola varbūtība es — tā ir Šenonas entropija. [Šenona likums parasti tiek formulēts kā H = – ∑ pi log pi.]

Tomēr šeit ir problēma: kas ir Pi? Tas ir vienkārši, ja simbolu skaits ir mazs un simboli tiek zīmēti neatkarīgi. Ja ir daudz simbolu un atkarību, tas ir ļoti grūti. Tātad, ja jums ir bitu secība un jūs pieņemat, ka biti ir neatkarīgi viens no otra un varbūtība ir vienāda starp vienu un nulli vai neatkarīgi no tā, tad jūs varat viegli izmērīt entropiju, bez problēmām. Bet, ja lietas, kas jums nonāk, ir augstas dimensijas vektori, piemēram, datu rāmji vai kaut kas līdzīgs šim, kas ir Pi? Kāds ir sadalījums? Vispirms jums ir jānosaka šī telpa, kas ir augstas dimensijas nepārtraukta telpa. Jums nav ne jausmas, kā to pareizi kvantificēt. Varat izmantot k-means utt. To dara cilvēki, veicot video un attēlu saspiešanu. Bet tas ir tikai aptuvens rādītājs. Un tad ir jāizdara pieņēmumi par neatkarību. Tātad ir skaidrs, ka videoklipā secīgie kadri nav neatkarīgi. Pastāv atkarības, un šis rāmis var būt atkarīgs no cita kadra, ko redzējāt pirms stundas un kas bija attēls ar to pašu. Tātad, jūs zināt, jūs nevarat izmērīt Pi. Mērīt Pi, jums ir jābūt mašīnmācīšanās sistēmai, kas mācās paredzēt. Un tā jūs atgriezīsities pie iepriekšējās problēmas. Tātad būtībā jūs varat tikai tuvināt informācijas mēru. 

Ļaujiet man ņemt konkrētu piemēru. Viens no algoritmiem, ar kuru mēs spēlējāmies, un par kuru es runāju šajā skaņdarbā, ir šī lieta, ko sauc par VICReg, dispersijas-invariances-kovariācijas regularizāciju. Tas ir atsevišķā dokumentā, kas tika publicēts ICLR un tas tika ievietots arXiv apmēram gadu pirms 2021. gada. Un doma ir maksimāli palielināt informāciju. Un ideja patiesībā radās no manas grupas agrāk publicētā dokumentā Bārlova dvīņi. Jūs maksimāli palielinat no neironu tīkla iznākoša vektora informācijas saturu, būtībā pieņemot, ka vienīgā atkarība starp mainīgajiem ir korelācija, lineārā atkarība. Tātad, ja pieņemat, ka vienīgā atkarība, kas ir iespējama starp mainīgo pāriem vai starp mainīgajiem jūsu sistēmā, ir korelācijas starp vērtību pāriem, kas ir ārkārtīgi aptuvens tuvinājums, tad jūs varat maksimāli palielināt informācijas saturu, kas nāk no jūsu sistēmas. pārliecinoties, ka visiem mainīgajiem ir novirze, kas atšķiras no nulles — teiksim, dispersija viens, nav svarīgi, kas tas ir, un pēc tam tos korelējot, tas pats process, ko sauc par balināšanu, arī tas nav jauns. Problēma ir tāda, ka ļoti labi var būt ārkārtīgi sarežģītas atkarības starp mainīgo grupām vai pat tikai mainīgo pāriem, kas nav lineāras atkarības, un tās neparādās korelācijās. Tātad, piemēram, ja jums ir divi mainīgie un visi šo divu mainīgo punkti atrodas kaut kādā spirālē, starp šiem diviem mainīgajiem ir ļoti spēcīga atkarība, vai ne? Bet patiesībā, ja jūs aprēķināt korelāciju starp šiem diviem mainīgajiem, tie nav savstarpēji saistīti. Tātad, šeit ir piemērs, kur šo divu mainīgo informācijas saturs patiesībā ir ļoti mazs, tas ir tikai viens daudzums, jo tā ir jūsu pozīcija spirālē. Tie ir dekorelēti, tāpēc jūs domājat, ka jums ir daudz informācijas, kas nāk no šiem diviem mainīgajiem, lai gan patiesībā jums tā nav, jums ir tikai, jūs zināt, jūs varat paredzēt vienu no mainīgajiem pēc būtības. Tātad tas parāda, ka mums ir tikai ļoti aptuveni veidi, kā izmērīt informācijas saturu.

ZDNet: Un tā ir viena no lietām, pie kuras jums tagad ir jāstrādā? Šis ir lielākais jautājums par to, kā mēs zinām, kad mēs palielinām un samazinam informācijas saturu?

YL:  Vai arī starpniekserveris, ko mēs izmantojam šim nolūkam, ir pietiekami labs vēlamajam uzdevumam. Patiesībā mēs to darām visu laiku mašīnmācībā. Izmaksu funkcijas, kuras mēs samazinām, nekad nav tās, kuras mēs patiesībā vēlamies samazināt. Tātad, piemēram, jūs vēlaties veikt klasifikāciju, labi? Izmaksu funkcija, kuru vēlaties samazināt, apmācot klasifikatoru, ir klasifikatora pieļauto kļūdu skaits. Bet tā ir nediferencējama, briesmīga izmaksu funkcija, kuru nevar samazināt, jo zināt, ka mainīsit sava neironu tīkla svaru, nekas nemainīsies, kamēr kāds no šiem paraugiem nepamainīs savu lēmumu, un tad lēciens. kļūdā, pozitīvā vai negatīvā.

ZDNet: Tātad jums ir starpniekserveris, kas ir objektīva funkcija, par kuru jūs noteikti varat teikt, ka mēs noteikti varam plūst šīs lietas gradientus.

YL: Pareizi. Tātad cilvēki izmanto šo krustentropijas zudumu jeb SOFTMAX, jums ir vairāki nosaukumi, taču tas ir viens un tas pats. Un būtībā tā ir vienmērīga sistēmas pieļauto kļūdu skaita tuvināšana, kur izlīdzināšana tiek veikta, pamatā ņemot vērā punktu skaitu, ko sistēma piešķir katrai no kategorijām.

ZDNet: Vai ir kaut kas, ko mēs neesam apskatījuši un ko jūs vēlētos aptvert?

YL: Tas, iespējams, uzsver galvenos punktus. Es domāju, ka mākslīgā intelekta sistēmām ir jāspēj argumentēt, un process, ko es atbalstu, samazina kādu mērķi attiecībā uz kādu latentu mainīgo. Tas ļauj sistēmām plānot un pamatot. Es domāju, ka mums vajadzētu atteikties no varbūtības sistēmas, jo tas ir grūti atrisināms, ja mēs vēlamies veikt tādas darbības kā atkarības starp augstas dimensijas nepārtrauktiem mainīgajiem. Un es iestājos par atteikšanos no ģeneratīvajiem modeļiem, jo ​​sistēmai būs jāvelta pārāk daudz resursu, lai prognozētu lietas, kuras ir pārāk grūti paredzēt un kuras, iespējams, patērē pārāk daudz resursu. Un tas ir gandrīz viss. Ja vēlaties, tie ir galvenie ziņojumi. Un tad kopējā arhitektūra. Tad ir tādas spekulācijas par apziņas būtību un konfigurētāja lomu, bet tās tiešām ir spekulācijas.

ZDNet: Pie tā tiksim nākamreiz. Es gribēju jums jautāt, kā jūs novērtējat šo lietu? Bet es domāju, ka jūs šobrīd esat nedaudz tālāk no etalonuzdevuma?

YL: Ne vienmēr tik tālu, sava veida, vienkāršotas versijas. Jūs varat darīt to, ko visi dara kontroles vai pastiprināšanas mācībās, tas ir, jūs apmācāt lietu spēlēt Atari spēles vai kaut ko līdzīgu, vai kādu citu spēli, kurā ir zināma nenoteiktība.

ZDNet: Paldies par jūsu laiku, Yann.