Піянер AI Cerebras адкрывае генератыўны AI, дзе OpenAI становіцца цёмным

Свет штучнага інтэлекту, асабліва тая яго частка, якая карыстаецца вялікай папулярнасцю, вядомая як «генератыўны штучны інтэлект» — аўтаматычнае стварэнне тэкстаў і малюнкаў — знаходзіцца пад пагрозай закрыцця гарызонтаў з-за жахлівага эфекту ад рашэнняў кампаній не публікаваць дэталі сваёй даследаванні. 

Але паварот да сакрэтнасці, магчыма, падштурхнуў некаторых удзельнікаў свету штучнага інтэлекту ўмяшацца і запоўніць пустэчу раскрыцця інфармацыі.

У аўторак піянер AI Cerebras Systems, стваральнік спецыяльнага кампутара AI і самага вялікага ў свеце камп'ютэрнага чыпа, апублікаваны як адкрыты зыходны код некалькі версій генератыўных праграм штучнага інтэлекту для выкарыстання без абмежаванняў. 

Праграмы «навучаюцца» Cerebras, гэта значыць даводзяцца да аптымальнай прадукцыйнасці з дапамогай магутнага суперкампутара кампаніі, тым самым памяншаючы частку працы, якую павінны выконваць знешнія даследчыкі. 

«Кампаніі прымаюць іншыя рашэнні, чым яны прымалі год-два таму, і мы не згодныя з гэтымі рашэннямі», — сказаў сузаснавальнік і генеральны дырэктар Cerebras Эндру Фельдман у інтэрв'ю ZDNET, спасылаючыся на рашэнне OpenAI, стваральніка ChatGPT, не публікаваць тэхнічныя падрабязнасці, калі ў гэтым месяцы апублікаваў сваю апошнюю праграму генератыўнага штучнага інтэлекту, GPT-4, крок, які шырока раскрытыкаваўся ў свеце даследаванняў штучнага інтэлекту. 

Такім чынам: З GPT-4 OpenAI выбірае сакрэтнасць супраць раскрыцця

«Мы лічым, што адкрытая, актыўная супольнасць — не толькі даследчыкаў і не толькі трох-чатырох, пяці-васьмі магістраў права, але актыўная супольнасць, у якой стартапы, кампаніі сярэдняга памеру і прадпрыемствы навучаюць вялікім моўным мадэлям — добра для нас, і гэта добра для іншых», - сказаў Фельдман.

Тэрмін вялікая мадэль мовы адносіцца да праграм штучнага інтэлекту, заснаваных на прынцыпах машыннага навучання, у якіх нейронавая сетка фіксуе статыстычнае размеркаванне слоў у выбарцы дадзеных. Гэты працэс дазваляе вялікай моўнай мадэлі прадказаць наступнае слова ў паслядоўнасці. Гэтая здольнасць ляжыць у аснове папулярных генератыўных праграм штучнага інтэлекту, такіх як ChatGPT. 

Такі ж падыход машыннага навучання адносіцца да генератыўнага штучнага інтэлекту ў іншых галінах, такіх як Dall*E ад OpenAI, які стварае выявы на аснове прапанаванай фразы. 

Такім чынам: Лепшыя генератары AI art: DALL-E2 і іншыя пацешныя альтэрнатывы

Cerebras апублікаваў сем вялікіх моўных мадэляў, якія выкананы ў тым жа стылі, што і праграма OpenAI GPT, з якой у 2018 годзе пачалося захапленне генератыўным штучным інтэлектам. даступны на вэб-сайце стартапа AI Hugging Face і далей GitHub.

Праграмы адрозніваюцца па памеры, ад 111 мільёнаў параметраў, або нейронавых вагаў, да трынаццаці мільярдаў. Большая колькасць параметраў робіць праграму штучнага інтэлекту больш магутнай, увогуле кажучы, так што код Cerebras забяспечвае дыяпазон прадукцыйнасці. 

Кампанія апублікавала не толькі зыходныя коды праграм у фармаце Python і TensorFlow пад ліцэнзіяй Apache 2.0 з адкрытым зыходным кодам, але і падрабязнасці рэжыму навучання, з дапамогай якога праграмы былі даведзены да развітога стану функцыянальнасці. 

Гэта раскрыццё дазваляе даследчыкам вывучыць і прайграць працу Cerebras. 

Рэліз Cerebras, сказаў Фельдман, з'яўляецца першым выпадкам, калі праграма ў стылі GPT была апублікаваная "з выкарыстаннем самых сучасных метадаў эфектыўнасці навучання".

У іншых апублікаваных навучальных працах па штучнаму інтэлекту альбо былі схаваныя тэхнічныя дадзеныя, такія як GPT-4 OpenAI, альбо праграмы не былі аптымізаваны ў сваёй распрацоўцы, гэта значыць, дадзеныя, якія паступаюць у праграму, не былі скарэкціраваны ў адпаведнасці з памерам праграмы, як тлумачыцца ў тэхнічным паведамленні ў блогу Cerebras. 

Такія вялікія моўныя мадэлі, як вядома, з'яўляюцца інтэнсіўнымі вылічэннямі. Праца Cerebras, апублікаваная ў аўторак, была распрацавана на кластары з шаснаццаці яе камп'ютэраў CS-2, камп'ютараў памерам з халадзільнік у інтэрнаце, настроеных спецыяльна для праграм у стылі штучнага інтэлекту. Кластар, пра які раней паведамляла кампанія, вядомы як суперкампутар Andromeda, які можа значна скараціць працу па навучанні LLM на тысячах чыпаў GPU Nvidia.

Такім чынам: Поспех ChatGPT можа прывесці да шкоднага пераходу да сакрэтнасці ІІ, кажа піянер штучнага інтэлекту Бенгіа

У рамках выпуску ў аўторак Cerebras прапанаваў, як яна назвала, першы закон аб маштабаванні з адкрытым зыходным кодам, эталоннае правіла таго, як дакладнасць такіх праграм павялічваецца з памерам праграм, заснаваных на дадзеных з адкрытым зыходным кодам. Набор даных выкарыстоўваецца з адкрытым зыходным кодам Куча, 825-гігабайтная калекцыя тэкстаў, у асноўным прафесійных і акадэмічных тэкстаў, прадстаўленая ў 2020 годзе некамерцыйнай лабараторыяй Элеўтэр.   

Ранейшыя законы аб маштабаванні ад OpenAI і DeepMind ад Google выкарыстоўвалі навучальныя даныя, якія не былі адкрытымі. 

Cerebras у мінулым абгрунтоўваў перавагі эфектыўнасці сваіх сістэм. Магчымасць эфектыўнага навучання патрабавальным праграмам на натуральнай мове ляжыць у цэнтры пытанняў адкрытай публікацыі, сказаў Фельдман.

«Калі вы можаце дасягнуць эфектыўнасці, вы можаце дазволіць сабе размясціць рэчы ў суполцы з адкрытым зыходным кодам», — сказаў Фельдман. «Эфектыўнасць дазваляе нам рабіць гэта хутка і лёгка і ўносіць сваю долю ў карысць грамадства».

Асноўная прычына таго, што OpenAI і іншыя пачынаюць закрываць сваю працу для астатняга свету, заключаецца ў тым, што яны павінны ахоўваць крыніцу прыбытку перад абліччам росту выдаткаў на навучанне штучнага інтэлекту, сказаў ён. 

Такім чынам: GPT-4: новая здольнасць прапаноўваць незаконныя парады і дэманстраваць «рызыкоўныя ўзнікаючыя паводзіны»

«Гэта так дорага, што яны вырашылі, што гэта стратэгічны актыў, і вырашылі схаваць яго ад супольнасці, таму што для іх гэта стратэгічна», — сказаў ён. «І я лічу, што гэта вельмі разумная стратэгія. 

«Гэта разумная стратэгія, калі кампанія жадае ўкласці шмат часу, сіл і грошай і не дзяліцца вынікамі з астатнім светам», — дадаў Фельдман. 

Тым не менш, «мы лічым, што гэта стварае менш цікавую экасістэму і, у канчатковым рахунку, абмяжоўвае прыліў» даследаванняў, сказаў ён.

Кампаніі могуць «назапашваць» рэсурсы, такія як наборы даных або вопыт мадэляў, назапашваючы іх, адзначыў Фельдман.

Такім чынам: Прэтэндэнт на AI Cerebras збірае модульны суперкампутар «Андрамеда» для паскарэння вялікіх моўных мадэляў

«Пытанне ў тым, як стратэгічна выкарыстоўваць гэтыя рэсурсы ў ландшафце», — сказаў ён. «Мы перакананыя, што можам дапамагчы, выстаўляючы адкрытыя мадэлі, выкарыстоўваючы даныя, якія могуць бачыць усе». 

Адказваючы на ​​пытанне, які прадукт можа быць у выпуску з адкрытым зыходным кодам, Фельдман заўважыў: «Сотні асобных устаноў могуць працаваць з гэтымі мадэлямі GPT, якія інакш не змаглі б, і вырашаць праблемы, якія ў адваротным выпадку маглі б быць адкладзены ў бок».