ДеепМиндов 'Гато' је осредњи, па зашто су га онда направили?

Свет је навикао да види наслове о најновијем открићу форми вештачке интелигенције дубоког учења. Најновије достигнуће ДеепМинд одељења Гоогле-а, међутим, може се сажети као „Један АИ програм који ради тако-тако посао у многим стварима“. 

Гато, како се зове ДеепМиндов програм, је представљен ове недеље као такозвани мултимодални програм, онај који може да игра видео игрице, ћаска, пише композиције, слике са натписима и контролише блокове за слагање роботске руке. То је једна неуронска мрежа која може да ради са више врста података за обављање више врста задатака. 

„Са једним скупом тегова, Гато може да учествује у дијалогу, сликама натписа, слага блокове са правом роботском руком, надмашује људе у игрању Атари игрица, навигира у симулираним 3Д окружењима, прати упутства и још много тога“, пише главни аутор Сцотт Реед и колеге у свом раду, „Агент генералиста“, постављено на Аркив сервер за препринт. 

Суоснивач ДеепМинд-а Демис Хассабис бодрио је тим, узвикујући у твиту, „Наш најопштији агент до сада!! Фантастичан рад тима!” 

Такође: Нови експеримент: Да ли АИ заиста познаје мачке или псе - или било шта друго?

Једина квака је што Гато заправо није тако добар у неколико задатака. 

С једне стране, програм је у стању да ради боље од наменског програма машинског учења у контролисању роботске Сојерове руке која слаже блокове. С друге стране, производи натписе за слике који су у многим случајевима прилично лоши. Његова способност у стандардном дијалогу у ћаскању са људским саговорником је на сличан начин осредња, понекад изазивајући контрадикторне и бесмислене изјаве. 

А његово играње Атари 2600 видео игара је испод оног код већине посвећених МЛ програма дизајнираних да се такмиче у бенчмарку Аркадно окружење за учење. 

Зашто бисте направили програм који неке ствари ради прилично добро, а гомилу других ствари не тако добро? Преседан, и очекивање, према ауторима. 

Постоји преседан да општије врсте програма постају најсавременије у АИ, а постоји и очекивање да ће све веће количине рачунарске снаге у будућности надокнадити недостатке. 

Генералност може имати тенденцију да тријумфује у АИ. Као што аутори примећују, цитирајући научника АИ Ричарда Сатона, „Историјски гледано, генерички модели који су бољи у искоришћењу рачунања такође су имали тенденцију да на крају престигну специјализованије приступе специфичне за домене.

Како је писао Сатон у свом посту на блогу, „Највећа лекција која се може прочитати из 70 година истраживања вештачке интелигенције је да су опште методе које користе рачунање на крају најефикасније, и то са великом маргином.”

Стављени у формалну тезу, Рид и тим пишу да „ми овде тестирамо хипотезу да је обука агента који је генерално способан за велики број задатака могућа; и да се овај генерални агент може прилагодити са мало додатних података да би успео у још већем броју задатака.”

Такође: Мета-ин свет вештачке интелигенције ЛеКун истражује енергетске границе дубоког учења

Модел је, у овом случају, заиста веома уопштен. То је верзија Трансформера, доминантне врсте модела заснованог на пажњи који је постао основа бројних програма укључујући ГПТ-3. Трансформатор моделира вероватноћу неког елемента с обзиром на елементе који га окружују, као што су речи у реченици. 

У случају Гатоа, научници ДеепМинд-а су у могућности да користе исту претрагу условне вероватноће на бројним типовима података. 

Како Рид и колеге описују задатак обуке Гатоа, 

Током фазе обуке за Гато, подаци из различитих задатака и модалитета се серијализују у равну секвенцу токена, групишу и обрађују трансформаторском неуронском мрежом слично великом језичком моделу. Губитак је маскиран тако да Гато предвиђа само акције и текстуалне циљеве.

Гато, другим речима, не третира токене другачије било да су речи у ћаскању или вектори покрета у вежби слагања блокова. Све је исто. 

Закопана у Риду и хипотеза тима је последица, наиме да ће све више и више рачунарске моћи победити, на крају. Тренутно, Гато је ограничен временом одзива Савиер роботске руке која врши слагање блокова. Са 1.18 милијарди мрежних параметара, Гато је знатно мањи од веома великих АИ модела као што је ГПТ-3. Како модели дубоког учења постају све већи, извођење закључивања доводи до кашњења које може пропасти у недетерминистичком свету робота у стварном свету. 

Али, Реед и колеге очекују да ће та граница бити превазиђена јер АИ хардвер постаје бржи у обради.

„Фокусирамо нашу обуку на радну тачку скале модела која омогућава контролу робота из стварног света у реалном времену, тренутно око 1.2Б параметара у случају Гатоа“, написали су. „Како се архитектура хардвера и модела побољшава, ова радна тачка ће природно повећати изводљиву величину модела, гурајући генералистичке моделе више на криву скалирања.“

Дакле, Гато је заиста модел за то како ће обим рачунарства и даље бити главни вектор развоја машинског учења, чинећи опште моделе све већим и већим. Другим речима, веће је боље. 

И аутори имају неке доказе за ово. Чини се да Гато постаје све бољи како постаје већи. Они упоређују просечне резултате за све референтне задатке за три величине модела према параметрима, 79 милиона, 364 милиона, и главни модел, 1.18 милијарди. „Можемо да видимо да за еквивалентан број токена постоји значајно побољшање перформанси са повећаном скалом“, пишу аутори. 

Интересантно будуће питање је да ли је програм који је генералистички опаснији од других врста АИ програма. Аутори проводе доста времена у раду расправљајући о чињеници да постоје потенцијалне опасности које још нису добро схваћене.  

Идеја о програму који се бави вишеструким задацима сугерише лаику неку врсту људске прилагодљивости, али то може бити опасна погрешна перцепција. „На пример, физичко отелотворење може довести до тога да корисници антропоморфизују агента, што доводи до погрешног поверења у случају неисправног система или да га лоши актери могу искористити“, пишу Рид и тим. 

„Поред тога, иако је трансфер знања у различитим доменима често циљ у истраживању МЛ-а, могао би да створи неочекиване и нежељене исходе ако се одређена понашања (нпр. борбе у аркадним играма) пренесу у погрешан контекст.“

Стога, пишу, „Етичка и безбедносна разматрања трансфера знања могу захтевати значајна нова истраживања како општи системи буду напредовали.

(Као интересантна споредна напомена, Гато рад користи шему за опис ризика коју су осмислиле бивша Гоогле истраживачица АИ Маргарет Мишел и њене колеге, под називом Картице модела. Картице модела дају сажет резиме тога шта је АИ програм, шта ради и шта фактори утичу на то како функционише. Мишел је прошле године написала да је била принуђена да напусти Гоогле јер је подржала свог бившег колегу Тимнита Гебруа, чија је етичка забринутост због вештачке интелигенције била у супротности са Гугловим вођством вештачке интелигенције.)

Гато никако није јединствен по својој генерализујућој тенденцији. То је део широког тренда генерализације и већих модела који користе канте коњских снага. Свет је прошлог лета први пут осетио Гуглов нагиб у овом правцу, са Гугловом неуронском мрежом „Перцеивер“ која је комбиновала задатке Трансформера текста са сликама, звуком и ЛиДАР просторним координатама.

Такође: Гоогле-ов супермодел: ДеепМинд Перцеивер је корак на путу ка АИ машини која може да обрађује све и свашта

Међу својим колегама је ПаЛМ, Патхваис Лангуаге Модел, који су ове године представили Гуглови научници, модел параметара од 540 милијарди који користи нову технологију за координацију хиљада чипова, познат као Путеви, такође измишљен у Гуглу. Неуронска мрежа коју је Мета објавила у јануару, названа „дата2вец“, користи трансформаторе за сликовне податке, аудио таласне облике говора и представљање језика текста, све у једном. 

Оно што је ново у вези са Гатоом, чини се, јесте намера да се АИ користи за нероботске задатке и гурне у домен роботике.

Гатоови креатори, примећујући достигнућа Патхваис-а и других општих приступа, виде крајње достигнуће у вештачкој интелигенцији која може да функционише у стварном свету, са било којом врстом задатака. 

„Будући рад би требало да размотри како да се ове могућности текста обједине у један потпуно генералистички агент који такође може да делује у реалном времену у стварном свету, у различитим окружењима и отелотворењима. 

Тада бисте Гато могли сматрати важним кораком на путу ка решавању најтежег проблема вештачке интелигенције, роботике.