Гуруто за вештачка интелигенција на Мета, ЛеКун: Повеќето од денешните пристапи за вештачка интелигенција никогаш нема да доведат до вистинска интелигенција

ZDNet: Велиме надвор од инвестицискиот хоризонт на повеќето инвеститори.

YL: Тоа е точно. Значи, прашањето е дали луѓето ќе го изгубат трпението или ќе останат без пари пред перформансите да го достигнат посакуваното ниво.

ZDNet: Има ли нешто интересно да се каже зошто избравте некои од елементите што ги избравте во моделот? Затоа што го цитираш Кенет Крејк [1943,Природата на објаснувањето], а вие ги наведувате Брајсон и Хо [1969, Применета оптимална контрола], и ме интересира зошто почнавте со овие влијанија, ако особено верувавте дека овие луѓе го заковаа тоа што го направија. Зошто почна таму?

YL: Па, не мислам, секако, ги имаа сите детали заковани. Така, Брајсон и Хо, ова е книга што ја прочитав во 1987 година, кога бев постдоктор со Џефри Хинтон во Торонто. Но, јас знаев за оваа линија на работа однапред кога го пишував мојот докторат и ја направив врската помеѓу оптималната контрола и потпората, во суштина. Ако навистина сакавте да бидете, знаете, друг Шмидхубер, би рекле дека вистинските пронаоѓачи на backprop биле всушност теоретичарите за оптимална контрола Хенри Џеј Кели, Артур Брајсон, а можеби дури и Лев Понтријагин, кој е руски теоретичар за оптимална контрола назад. во доцните 50-ти. 

Така, тие го сфатија тоа, и всушност, можете да го видите коренот на ова, математиката под тоа, е Лагранжовата механика. Така, можете да се вратите на Ојлер и Лагранж, всушност, и да најдете мирис од ова во нивната дефиниција за Лагранжовата класична механика, навистина. Значи, во контекст на оптимална контрола, она за што овие момци беа заинтересирани беше во основа пресметување на траектории на ракети. Знаете, ова беше раното вселенско доба. И ако имате модел на ракетата, тој ви кажува еве каква е состојбата на ракетата во моментот t, и еве ја акцијата што ќе ја преземам, значи, потисок и активирачи од различни видови, еве каква е состојбата на ракетата во времето t + 1.

ZDNet: Модел на држава-акција, модел на вредност.

YL: Така е, основата на контролата. Така, сега можете да го симулирате пукањето на вашата ракета замислувајќи секвенца на команди, а потоа имате некоја функција на трошоци, што е растојанието на ракетата до нејзината цел, вселенска станица или што и да е. И тогаш со некакво спуштање со градиент, можете да сфатите, како можам да го ажурирам мојот редослед на дејствување, така што мојата ракета всушност ќе се доближи што е можно поблиску до целта. И тоа треба да дојде со сигнали кои се шират назад во времето. И тоа е назад-пропагирање, градиент назад-размножување. Тие сигнали, тие се нарекуваат конјугирани променливи во Лагранжовата механика, но всушност, тие се градиенти. Така, тие измислиле задна потпора, но не сфатиле дека овој принцип може да се користи за обука на повеќестепен систем кој може да направи препознавање на шаблони или нешто слично. Ова навистина не беше реализирано можеби до крајот на 70-тите, почетокот на 80-тите, а потоа всушност не беше имплементирано и профункционирано до средината на 80-тите. Океј, значи, ова е местото каде што заднинската потпора навистина, некако, полета затоа што луѓето покажаа еве неколку линии код со кои можете да тренирате нервна мрежа, од крај до крај, повеќеслојна. И тоа ги укинува ограничувањата на Перцептронот. И, да, има врски со оптимална контрола, но тоа е во ред.

ZDNet: Значи, тоа е долг пат за да се каже дека овие влијанија со кои започнавте се враќаа назад, и тоа беше важно како почетна точка за вас?

YL: Да, но мислам дека она на што луѓето малку заборавија, имаше доста работа на ова, знаете, во 90-тите, па дури и 80-тите, вклучително и од луѓе како Мајкл Џордан [Оддел за мозок на МИТ и когнитивни науки] и такви луѓе кои повеќе не прават нервни мрежи, туку идејата дека можете да користите нервни мрежи за контрола и можете да ги користите класичните идеи за оптимална контрола. Значи, работи како што се нарекува модел-предвидлива контрола, она што сега се нарекува модел-предвидлива контрола, оваа идеја што можете да го симулирате или замислите исходот од низа дејства ако имате добар модел на системот што се обидувате да го контролирате и околината во која се наоѓа. А потоа со спуштање на градиент, во суштина - ова не е учење, ова е заклучок - можете да сфатите која е најдобрата низа на дејства што ќе ја минимизираат мојата цел. Значи, употребата на функцијата на трошоците со латентна променлива за заклучување е, мислам, нешто на што заборавиле сегашните култури од големи нервни мрежи. Но, тоа беше многу класична компонента на машинското учење долго време. Така, секоја Бејзанска мрежа или графички модел или веројатност графички модел користел ваков тип на заклучоци. Имате модел кој ги доловува зависностите помеѓу еден куп променливи, ви е кажано вредноста на некои од променливите, а потоа треба да ја заклучите најверојатната вредност на останатите променливи. Тоа е основниот принцип на заклучување во графичките модели и Bayesian мрежи, и такви работи. И мислам дека во основа тоа треба да биде расудувањето, расудувањето и планирањето.

ZDNet: Ти си бајзијанец од плакарот.

YL: Јас сум неверојатен бајзиец. Ја направив таа шега и претходно. Навистина бев во NeurIPS пред неколку години, мислам дека беше во 2018 или 2019 година, и бев снимен на видео од еден Бајзијанец кој ме праша дали сум Баезијанец, и јас реков: Да, јас сум Баезијанец, но јас Јас сум не-веројатен бајзиец, некако бајзиец базиран на енергија, ако сакате. 

ZDNet: Што дефинитивно звучи како нешто од Star Trek. Спомнавте на крајот од овој труд, ќе бидат потребни години навистина напорна работа за да се реализира она што го замислувате. Кажи ми за што се состои дел од таа работа во моментот.

YL: Така, јас објаснувам како тренирате и ја градите ЈЕПА во весникот. И критериумот за кој се залагам е да се има некој начин да се максимизира информациската содржина што ја имаат репрезентациите што се извлекуваат за влезот. И тогаш втората е минимизирање на грешката во предвидувањето. И ако имате латентна променлива во предикторот што му дозволува на предикторот да биде недетерминистички, треба да ја регулирате и оваа латентна променлива со минимизирање на нејзината информациска содржина. Значи, сега имате две прашања, а тоа е како да ја максимизирате информациската содржина на излезот на некоја нервна мрежа, а другото е како да ја минимизирате информациската содржина на некоја латентна променлива? И ако не ги направите тие две работи, системот ќе пропадне. Нема да научи ништо интересно. Ќе даде нула енергија на се, нешто слично, што не е добар модел на зависност. Тоа е проблемот со спречување на колапс што го споменувам. 

И јас велам за сите работи што луѓето некогаш ги направиле, постојат само две категории методи за да се спречи колапс. Едниот се контрастивни методи, а другиот се оние регуларирани методи. Значи, оваа идеја за максимизирање на информациската содржина на претставите на двата влеза и минимизирање на информациската содржина на латентната променлива, припаѓа на регуларирани методи. Но, голем дел од работата во тие заеднички архитектури за вградување се користат контрастни методи. Всушност, тие се веројатно најпопуларните во моментот. Значи, прашањето е како точно ја мерите информациската содржина на начин што можете да го оптимизирате или минимизирате? И тоа е местото каде што работите стануваат комплицирани бидејќи всушност не знаеме како да ја измериме информациската содржина. Можеме да го приближиме, можеме да го ограничиме, можеме да правиме такви работи. Но, тие всушност не ја мерат информациската содржина, која, всушност, до одреден степен не е ни добро дефинирана.

ZDNet: Не е Шеноновиот закон? Не е теорија на информации? Имате одредена количина на ентропија, добра ентропија и лоша ентропија, а добрата ентропија е симбол систем кој работи, лошата ентропија е бучава. Зарем сето тоа не го реши Шенон?

YL: Во право си, но има голема маана зад тоа. Во право си во смисла дека ако имаш податоци кои доаѓаат до тебе и можеш некако да ги квантизираш податоците во дискретни симболи, а потоа ја измериш веројатноста за секој од тие симболи, тогаш максималната количина на информации што ја носат тие симболи е збир над можните симболи на Пи лог Пи, нели? Каде Pi е веројатноста за симбол јас - тоа е ентропијата на Шенон. [Законот на Шенон најчесто се формулира како H = – ∑ pi log pi.]

Но, тука е проблемот: Што е Pi? Лесно е кога бројот на симболи е мал, а симболите се нацртани независно. Кога има многу симболи и зависности, тоа е многу тешко. Значи, ако имате низа од битови и претпоставувате дека битовите се независни еден од друг и веројатноста е еднаква помеѓу еден и нула или што и да е, тогаш можете лесно да ја измерите ентропијата, нема проблем. Но, ако работите што доаѓаат кај вас се високодимензионални вектори, како, знаете, рамки на податоци или нешто слично, што е Pi? Која е дистрибуцијата? Прво треба да го квантизирате тој простор, кој е високодимензионален, континуиран простор. Немате идеја како да го квантизирате ова правилно. Можете да користите k-means, итн. Ова е она што луѓето го прават кога вршат компресија на видео и компресија на слика. Но, тоа е само приближна вредност. И тогаш треба да направите претпоставки за независност. Значи, јасно е дека во видеото, последователните кадри не се независни. Постојат зависности, а таа рамка може да зависи од друга рамка што сте ја виделе пред еден час, а која била слика на истото. Значи, знаете, не можете да измерите Pi. За мерење на Pi, мора да имате систем за машинско учење кој учи да предвидува. И така се вративте на претходниот проблем. Значи, можете само да ја приближите мерката на информации, суштински. 

Дозволете ми да земам поконкретен пример. Еден од алгоритмите со кој си игравме, и за кој зборував во делот, е ова нешто наречено VICReg, регулација на варијанса-инваријанса-коваријанса. Тоа е во посебен труд кој беше објавен во ICLR, и беше ставен на arXiv околу една година пред, 2021. И идејата таму е да се максимизираат информациите. И идејата всушност произлезе од претходниот труд на мојата група наречена Близнаци Барлоу. Ја максимизирате информациската содржина на векторот што излегува од нервната мрежа, во основа, претпоставувајќи дека единствената зависност помеѓу променливите е корелација, линеарна зависност. Значи, ако претпоставите дека единствената зависност што е можна помеѓу парови на променливи, или помеѓу променливи во вашиот систем, се корелации помеѓу парови на вредни работи, што е екстремно груба апроксимација, тогаш можете да ја максимизирате информациската содржина што излегува од вашиот систем со тоа што ќе се осигураме дека сите променливи имаат не-нулта варијанса - да речеме, варијанса еден, не е важно што е тоа - и потоа повторно корелација на нив, истиот процес што се нарекува белење, ни тоа не е нов. Проблемот со ова е што многу добро можете да имате екстремно сложени зависности помеѓу двете групи на променливи или дури и само парови на променливи кои не се линеарни зависности и тие не се појавуваат во корелации. Така, на пример, ако имате две променливи, и сите точки на тие две променливи се редат во некој вид на спирала, постои многу силна зависност помеѓу тие две променливи, нели? Но, всушност, ако ја пресметате корелацијата помеѓу тие две променливи, тие не се во корелација. Значи, еве еден пример каде што информациската содржина на овие две променливи е всушност многу мала, тоа е само една количина бидејќи тоа е вашата позиција во спиралата. Тие се декорелирани, така што мислите дека имате многу информации кои произлегуваат од тие две променливи, а всушност немате, вие само, знаете, можете да предвидите една од променливите од другата, во суштина. Значи, тоа покажува дека имаме само многу приближни начини за мерење на информациската содржина.

ZDNet: И така, тоа е една од работите на кои треба да работите сега со ова? Ова е поголемото прашање за тоа како знаеме кога ја максимизираме и минимизираме информациската содржина?

YL:  Или дали проксито што го користиме за ова е доволно добро за задачата што ја сакаме. Всушност, ова го правиме цело време во машинското учење. Функциите на трошоците што ги минимизираме никогаш не се оние што всушност сакаме да ги минимизираме. Така, на пример, сакате да направите класификација, добро? Функцијата на трошоци што сакате да ја минимизирате кога тренирате класификатор е бројот на грешки што ги прави класификаторот. Но, тоа е недиференцибилна, ужасна функција на трошоци што не можете да ја минимизирате бидејќи знаете дека ќе ги промените тежините на вашата нервна мрежа, ништо нема да се промени додека еден од тие примероци не ја преврти својата одлука, а потоа скок во грешката, позитивна или негативна.

ZDNet: Значи, имате прокси што е целна функција што дефинитивно можете да ја кажете, ние дефинитивно можеме да течеме градиенти на оваа работа.

YL: Тоа е точно. Значи, луѓето ја користат оваа загуба на вкрстена ентропија, или SOFTMAX, имаш неколку имиња за тоа, но тоа е иста работа. И во основа е непречено приближување на бројот на грешки што ги прави системот, каде што измазнувањето се врши со, во основа, земајќи ја предвид оценката што системот ја дава на секоја од категориите.

ZDNet: Дали има нешто што не го опфативме и што би сакале да го покриете?

YL: Веројатно ги нагласува главните точки. Мислам дека системите за вештачка интелигенција треба да бидат способни да расудуваат, а процесот за ова што јас го застапувам е минимизирање на одредена цел во однос на некоја латентна променлива. Тоа им овозможува на системите да планираат и расудуваат. Мислам дека треба да ја напуштиме веројатностата рамка затоа што е нерешлива кога сакаме да правиме работи како што е фаќање зависности помеѓу високодимензионални, континуирани променливи. И јас се залагам да се напуштат генеративните модели бидејќи системот ќе мора да посвети премногу ресурси за предвидување работи кои се премногу тешки за предвидување и можеби трошат премногу ресурси. И тоа е речиси тоа. Тоа се главните пораки, ако сакате. А потоа и целокупната архитектура. Потоа, тука се оние шпекулации за природата на свеста и улогата на конфигураторот, но ова е навистина шпекулација.

ZDNet: Ќе дојдеме до тоа следниот пат. Сакав да те прашам, како ја правиш репер оваа работа? Но, претпоставувам дека сте малку подалеку од бенчмаркинг во моментов?

YL: Не мора толку далеку во, вид на, поедноставени верзии. Можете да го правите она што сите го прават при учењето за контрола или засилување, а тоа е, да го тренирате нештото да игра Atari игри или нешто слично или некоја друга игра која има одредена несигурност во себе.

ZDNet: Ви благодариме за вашето време, Јан.