Метин АИ гуру ЛеКун: Већина данашњих приступа вештачкој интелигенцији никада неће довести до праве интелигенције

ЗДНет: Кажемо ван хоризонта улагања већине инвеститора.

ИЛ: Тако је. Дакле, питање је да ли ће људи изгубити стрпљење или остати без новца пре него што учинак достигне жељени ниво.

ЗДНет: Има ли нешто занимљиво рећи о томе зашто сте одабрали неке од елемената које сте одабрали у моделу? Зато што цитирате Кенета Цраика [1943,Природа објашњења], а ви цитирате Брисона и Хоа [1969, Примењена оптимална контрола], и занима ме зашто сте почели са овим утицајима, ако сте посебно веровали да су ови људи успели да дођу до онога што су урадили. Зашто сте тамо почели?

ИЛ: Па, не мислим, свакако, да су имали све детаље. Дакле, Брајсон и Хо, ово је књига коју сам прочитао 1987. када сам био постдоктор код Џефрија Хинтона у Торонту. Али знао сам за ову линију рада унапред када сам писао свој докторат и направио везу између оптималне контроле и бацкпропа, у суштини. Да сте заиста желели да будете, знате, још један Шмидхубер, рекли бисте да су прави проналазачи бацкпропа заправо били теоретичари оптималне контроле Хенри Џеј Кели, Артур Брајсон, а можда чак и Лев Понтријагин, који је руски теоретичар оптималне контроле назад касних 50-их. 

Дакле, они су то схватили, и у ствари, заправо можете видети корен овога, математика испод тога, је Лагранжева механика. Дакле, можете се вратити на Ојлера и Лагранжа, у ствари, и на неки начин пронаћи дашак овога у њиховој дефиницији Лагранжове класичне механике, заиста. Дакле, у контексту оптималне контроле, оно што је занимало ове момке је у основи израчунавање путања ракета. Знате, ово је било рано свемирско доба. А ако имате модел ракете, он вам овде говори у каквом је стању ракета у том тренутку t, а ево акције коју ћу предузети, дакле, потиска и актуатора разних врста, ево стања ракете у тренутку т + КСНУМКС.

ЗДНет: Модел стања и акције, модел вредности.

ИЛ: Тако је, основа контроле. Дакле, сада можете симулирати пуцање своје ракете тако што ћете замислити низ команди, а онда имате неку функцију трошкова, а то је удаљеност ракете до циља, свемирске станице или шта год да је. А онда помоћу неке врсте градијентног спуштања, можете схватити, како да ажурирам свој редослед акције тако да се моја ракета заправо приближи мети што је више могуће. А то мора доћи сигналима који се шире уназад у времену. А то је пропагација уназад, градијентна пропагација уназад. Ти сигнали се у Лагранжевој механици зову коњуговане варијабле, али у ствари су градијенти. Дакле, измислили су бацкпроп, али нису схватили да би овај принцип могао да се користи за обуку вишестепеног система који може да ради препознавање образаца или нешто слично. Ово није стварно реализовано до можда касних 70-их, раних 80-их, а онда није стварно примењено и оспособљено да функционише све до средине 80-их. У реду, дакле, ово је место где је бацкпроп заиста, на неки начин, узео маха јер су људи показали овде неколико редова кода да можете тренирати неуронску мрежу, од краја до краја, вишеслојну. И то укида ограничења Перцептрона. И, да, постоје везе са оптималном контролом, али то је у реду.

ЗДНет: Дакле, то је дуг пут да се каже да су се ови утицаји са којима сте започели враћали на бацкпроп, и то је за вас било важно као полазна тачка?

ИЛ: Да, али мислим да је оно на шта су људи помало заборавили, било је доста посла на овоме, знате, још 90-их, или чак 80-их, укључујући и људе попут Мајкла Џордана [МИТ Депт. оф Браин и когнитивне науке] и људи попут тога који више не раде неуронске мреже, већ идеју да можете користити неуронске мреже за контролу, а можете користити класичне идеје оптималне контроле. Дакле, ствари као што су оно што се зове контрола са предвиђањем модела, оно што се сада зове контрола са предвиђањем модела, ова идеја коју можете симулирати или замислити исход низа радњи ако имате добар модел система који покушавате да контролишете и окружење у коме се налази. А онда градијентом спуштања, у суштини — ово није учење, ово је закључак — можете да схватите који је најбољи редослед радњи које ће минимизирати мој циљ. Дакле, употреба функције трошкова са латентном променљивом за закључивање је, мислим, нешто на шта су садашњи усеви великих неуронских мрежа заборавили. Али то је била веома класична компонента машинског учења дуго времена. Дакле, свака Бајесова мрежа или графички модел или пробабилистички графички модел користи ову врсту закључивања. Имате модел који обухвата зависности између гомиле променљивих, каже вам се вредност неке од променљивих, а затим морате да закључите највероватнију вредност осталих варијабли. То је основни принцип закључивања у графичким моделима и Бајесовим мрежама и сличним стварима. И мислим да би то у основи требало да се односи на расуђивање, резоновање и планирање.

ЗДНет: Ти си бајесовац.

ИЛ: Ја сам бајесовац без вероватноће. Већ сам се шалио. Заправо сам био у НеурИПС-у пре неколико година, мислим да је то било 2018. или 2019. године, и ухватио ме је један Бајесијанац који ме је питао да ли сам Бајесијанац, а ја сам рекао: Да, ја сам Бајесијанац, али ја сам Ја сам бајесовац без вероватноће, на неки начин, бајесовац заснован на енергији, ако желите. 

ЗДНет: Што дефинитивно звучи као нешто од star трек. Споменули сте на крају овог рада, биће потребне године заиста напорног рада да бисте остварили оно што замишљате. Реците ми у чему се састоји неки од тих радова у овом тренутку.

ИЛ: Дакле, објашњавам како тренирате и градите ЈЕПА у раду. А критеријум за који се залажем је постојање неког начина да се максимизира садржај информација који репрезентације које су екстраховане имају о инпуту. А онда други је минимизирање грешке предвиђања. А ако имате латентну променљиву у предиктору која омогућава да предиктор буде недетерминистички, морате да регулишете и ову латентну променљиву тако што ћете минимизирати њен садржај информација. Дакле, сада имате два проблема, а то је како максимизирате информациони садржај излаза неке неуронске мреже, а други је како минимизирате садржај информација неке латентне варијабле? А ако не урадите те две ствари, систем ће се урушити. Неће научити ништа занимљиво. Све ће дати нулту енергију, тако нешто, што није добар модел зависности. То је проблем превенције колапса који помињем. 

И кажем од свих ствари које су људи икада урадили, постоје само две категорије метода за спречавање колапса. Једна су контрастивне методе, а друга су оне регуларизоване методе. Дакле, ова идеја максимизирања информационог садржаја репрезентација два улаза и минимизирања информационог садржаја латентне варијабле, припада регуларизованим методама. Али велики део посла у тим архитектурама заједничког уграђивања користи контрастне методе. У ствари, они су вероватно најпопуларнији у овом тренутку. Дакле, поставља се питање како тачно мерите садржај информација на начин који можете оптимизовати или минимизирати? И ту ствари постају компликоване јер не знамо како да меримо садржај информација. Можемо га апроксимирати, можемо га ограничити на горњу границу, можемо радити такве ствари. Али они заправо не мере садржај информација, који, у ствари, у извесној мери није ни добро дефинисан.

ЗДНет: Није Шенонов закон? То није теорија информација? Имате одређену количину ентропије, добру ентропију и лошу ентропију, а добра ентропија је систем симбола који функционише, лоша ентропија је бука. Зар све то није решила Шенон?

ИЛ: У праву сте, али иза тога стоји велика мана. У праву сте у смислу да ако имате податке који долазе до вас и можете некако да квантизујете податке у дискретне симболе, а затим измерите вероватноћу сваког од тих симбола, онда је максимална количина информација коју носе ти симболи збир преко могућих симбола Пи лог Пи, јел тако? Где Pi је вероватноћа симбола ја — то је Шенонова ентропија. [Шенонов закон се обично формулише као Х = – ∑ пи лог пи.]

Међутим, ево проблема: шта је Pi? Лако је када је број симбола мали и симболи се цртају независно. Када има много симбола и зависности, то је веома тешко. Дакле, ако имате низ битова и претпоставите да су битови независни један од другог и да је вероватноћа једнака између један и нула или било шта друго, онда можете лако измерити ентропију, без проблема. Али ако су ствари које долазе до вас високодимензионални вектори, као, знате, оквири података, или нешто слично овоме, шта је Pi? Каква је дистрибуција? Прво морате квантовати тај простор, који је високодимензионални, континуирани простор. Немате појма како ово правилно квантовати. Можете користити к-средња, итд. То је оно што људи раде када раде видео компресију и компресију слике. Али то је само апроксимација. А онда морате направити претпоставке о независности. Дакле, јасно је да у видеу узастопни кадрови нису независни. Постоје зависности, а тај оквир може зависити од другог кадра који сте видели пре сат времена, а који је био слика исте ствари. Дакле, знате, не можете мерити Pi. За мерење Pi, морате имати систем машинског учења који учи да предвиђа. И тако се враћате на претходни проблем. Дакле, у суштини можете само приближно одредити меру информација. 

Дозволите ми да узмем конкретнији пример. Један од алгоритама са којима смо се играли, а о коме сам говорио у овом делу, је ова ствар која се зове ВИЦРег, регуларизација варијансе-инваријансе-коваријанце. То је у посебном раду који је објављен на ИЦЛР-у, и стављен је на арКсив отприлике годину дана раније, 2021. А идеја је да се максимизира информације. А идеја је заправо произашла из ранијег рада моје групе под називом Барлов Твинс. Ви максимизирате садржај информација вектора који излази из неуронске мреже, у основи, претпостављајући да је једина зависност између варијабли корелација, линеарна зависност. Дакле, ако претпоставите да је једина могућа зависност између парова променљивих, или између променљивих у вашем систему, корелације између парова вредности, што је изузетно груба апроксимација, онда можете максимизирати садржај информација који излази из вашег система тако што ћемо се побринути да све варијабле имају варијансу различиту од нуле — рецимо, варијансу један, није важно шта је то — а затим их повратно корелишемо, исти процес који се зове бељење, такође није нов. Проблем са овим је у томе што врло добро можете имати изузетно сложене зависности између било група променљивих или чак само парова променљивих који нису линеарне зависности и не појављују се у корелацијама. Дакле, на пример, ако имате две променљиве, и све тачке те две променљиве су постављене у неку врсту спирале, постоји веома јака зависност између те две променљиве, зар не? Али у ствари, ако израчунате корелацију између те две варијабле, оне нису у корелацији. Дакле, ево примера где је садржај информација ове две варијабле заправо веома мали, то је само једна количина јер је то ваша позиција у спирали. Оне су декорелиране, тако да мислите да имате много информација које произилазе из те две варијабле, а у ствари их немате, ви само имате, знате, можете предвидети једну од варијабли из друге, у суштини. Дакле, то показује да имамо само врло приближне начине за мерење садржаја информација.

ЗДНет: И то је једна од ствари на којима сада морате да радите са овим? Ово је веће питање како да знамо када максимизирамо и минимизирамо садржај информација?

ИЛ:  Или да ли је прокси који користимо за ово довољно добар за задатак који желимо. У ствари, ми то радимо све време у машинском учењу. Функције трошкова које минимизирамо никада нису оне које заправо желимо да минимизирамо. Дакле, на пример, желите да извршите класификацију, у реду? Функција трошкова коју желите да минимизирате када тренирате класификатор је број грешака које класификатор прави. Али то је неразлучива, ужасна функција трошкова коју не можете минимизирати јер знате да ћете променити тежине своје неуронске мреже, ништа се неће променити све док један од тих узорака не промени своју одлуку, а затим и скок у грешци, позитивној или негативној.

ЗДНет: Дакле, имате проки који је циљна функција за коју можете дефинитивно рећи, ми дефинитивно можемо да проток градијенте ове ствари.

ИЛ: Тако је. Дакле, људи користе овај губитак унакрсне ентропије, или СОФТМАКС, имате неколико имена за њега, али то је иста ствар. И то је у основи глатка апроксимација броја грешака које систем прави, при чему се изглађивање врши тако што се, у основи, узима у обзир резултат који систем даје свакој од категорија.

ЗДНет: Постоји ли нешто што нисмо покрили, а ви бисте желели да покријете?

ИЛ: Вероватно наглашава главне тачке. Мислим да системи вештачке интелигенције морају да буду у стању да разумију, а процес за ово за који се залажем је минимизирање неког циља у односу на неку латентну варијаблу. То омогућава системима да планирају и размишљају. Мислим да би требало да напустимо вероватносни оквир јер је нерешив када желимо да урадимо ствари као што је хватање зависности између високодимензионалних, континуираних варијабли. И ја се залажем за напуштање генеративних модела јер ће систем морати да посвети превише ресурса предвиђању ствари које је превише тешко предвидети и које можда троше превише ресурса. И то је поприлично то. То су главне поруке, ако желите. А онда и целокупна архитектура. Затим постоје те спекулације о природи свести и улози конфигуратора, али ово је заиста спекулација.

ЗДНет: Доћи ћемо до тога следећи пут. Хтео сам да те питам, како мериш ову ствар? Али претпостављам да сте сада мало даље од бенчмаркинга?

ИЛ: Не нужно тако далеко у, својеврсним, поједностављеним верзијама. Можете да радите оно што сви раде у контроли или учењу са појачањем, то јест, да тренирате ствар да игра Атари игре или нешто слично или неку другу игру која има неку несигурност у себи.

ЗДНет: Хвала на вашем времену, Ианн.