AI пионері Cerebras генеративті AI ашады, мұнда OpenAI қараңғы болады

Жасанды интеллект әлемі, әсіресе оның «генеративті AI» деп аталатын кең тараған бұрышы — жазбалар мен кескіндерді автоматты түрде жасау — компаниялардың егжей-тегжейлерін жарияламауды шешкен салқындатқыш әсерінен өз көкжиегін жабу қаупі бар. зерттеу. 

Бірақ құпиялылыққа бет бұру AI әлеміндегі кейбір қатысушыларды ашуға және ашудың бос орнын толтыруға итермелеуі мүмкін.

Сейсенбіде AI пионері Cerebras Systems, арнайы AI компьютерін және әлемдегі ең үлкен компьютерлік чипті жасаушы, ашық дереккөз ретінде жарияланған шектеусіз пайдалануға арналған генеративті AI бағдарламаларының бірнеше нұсқалары. 

Бағдарламаларды Cerebras «үйретеді», яғни компанияның қуатты суперкомпьютері арқылы оңтайлы өнімділікке жеткізіледі, осылайша сыртқы зерттеушілер орындауға тиіс жұмыстардың бір бөлігін азайтады. 

«Компаниялар бір-екі жыл бұрынғыдан басқа шешім қабылдауда, және біз бұл шешімдермен келіспейміз», - деді Cerebras негізін қалаушы және бас директоры Эндрю Фельдман ZDNET-ке берген сұхбатында ChatGPT құрушысы OpenAI шешіміне сілтеме жасай отырып. Осы айда өзінің соңғы генеративті AI бағдарламасын ашқан кезде техникалық мәліметтерді жарияламау, GPT-4, бұл қадам AI зерттеу әлемінде кеңінен сынға ұшырады. 

Сондай-ақ,: GPT-4 көмегімен OpenAI құпиялылық пен жария етуді таңдайды

«Біз ашық, белсенді қоғамдастық - бұл тек зерттеушілер ғана емес, үш-төрт немесе бес немесе сегіз LLM жігіттері ғана емес, сонымен қатар стартаптар, орта компаниялар мен кәсіпорындар үлкен тілдік үлгілерді оқытатын белсенді қоғамдастық - бұл біз үшін де, басқалар үшін де жақсы», - деді Фельдман.

Үлкен тіл моделі термині нейрондық желі үлгі деректердегі сөздердің статистикалық таралуын түсіретін машиналық оқыту принциптеріне негізделген AI бағдарламаларына қатысты. Бұл процесс үлкен тіл үлгісіне келесі сөзді дәйектілікпен болжауға мүмкіндік береді. Бұл қабілет ChatGPT сияқты танымал генеративті AI бағдарламаларының негізінде жатыр. 

Автоматты оқытудың дәл осындай тәсілі басқа салалардағы генеративті AI-ға қатысты, мысалы, OpenAI's Dall*E, ол ұсынылған фраза негізінде кескіндерді жасайды. 

Сондай-ақ,: Ең жақсы AI арт-генераторлары: DALL-E2 және басқа да қызықты баламалар

Cerebras 2018 жылы генеративті AI құмарлығын бастаған OpenAI GPT бағдарламасымен бірдей стильде жеті үлкен тіл үлгісін жариялады. Код: веб-сайтында қол жетімді Hugging Face және басқа AI стартапы GitHub.

Бағдарламалардың өлшемі 111 миллион параметрден немесе нейрондық салмақтан он үш миллиардқа дейін өзгереді. Көбірек параметрлер AI бағдарламасын, жалпы айтқанда, қуаттырақ етеді, сондықтан Cerebras коды өнімділік ауқымын береді. 

Компания ашық бастапқы Apache 2.0 лицензиясы бойынша Python және TensorFlow пішіміндегі бағдарламалардың көзін ғана емес, сонымен қатар бағдарламалардың дамыған функционалдық жағдайына жеткізілген оқыту режимінің мәліметтерін де орналастырды. 

Бұл ашу зерттеушілерге Церебраның жұмысын тексеруге және жаңғыртуға мүмкіндік береді. 

Фельдманның айтуынша, Cerebras шығарылымы GPT стиліндегі бағдарлама «жаттығудың заманауи тиімді әдістерін қолдана отырып» бірінші рет жарияланды.

Басқа жарияланған AI оқыту жұмыстары OpenAI GPT-4 сияқты техникалық деректерді жасырды, немесе бағдарламалар әзірлеуде оңтайландырылмаған, яғни бағдарламаға берілген деректер бағдарлама өлшеміне реттелмеген, Cerebras техникалық блог жазбасында түсіндірілгендей. 

Мұндай үлкен тіл үлгілері есептеуді көп қажет ететіні белгілі. Сейсенбі күні жарық көрген Cerebras жұмысы CS-2 компьютерлерінің он алты кластерінде әзірленді, AI стиліндегі бағдарламалар үшін арнайы реттелген жатақханадағы тоңазытқыштар көлеміндегі компьютерлер. Компания бұрын ашқан кластер оның Andromeda суперкомпьютері ретінде белгілі, ол Nvidia-ның мыңдаған GPU чиптерінде LLM-ді үйрету жұмысын күрт қысқарта алады.

Сондай-ақ,: ChatGPT-тің жетістігі AI-дағы құпиялылыққа нұқсан келтіруі мүмкін, дейді AI пионері Бенджио

Сейсенбі күнгі шығарылымның бір бөлігі ретінде Cerebras бірінші ашық бастапқы масштабтау заңын ұсынды, бұл ашық бастапқы деректерге негізделген бағдарламалардың өлшемімен мұндай бағдарламалардың дәлдігі қалай ұлғаятынының эталондық ережесі. Қолданылатын деректер жинағы ашық бастапқы болып табылады Қада, 825 гигабайттық мәтіндер жинағы, негізінен кәсіби және академиялық мәтіндер, коммерциялық емес зертхана 2020 жылы енгізді Элейтер.   

OpenAI және Google компаниясының DeepMind компаниясының бұрынғы масштабтау заңдары ашық бастапқы емес оқу деректерін пайдаланды. 

Cerebras бұрын өз жүйелерінің тиімділік артықшылықтарын дәлелдеген. Табиғи тілдегі талапты бағдарламаларды тиімді оқыту мүмкіндігі ашық басылым мәселелерінің өзегіне жатады, деді Фельдман.

«Егер сіз тиімділікке қол жеткізе алсаңыз, сіз ашық бастапқы қауымдастыққа нәрселерді орналастыра аласыз», - деді Фельдман. «Тиімділік бізге мұны тез және оңай жасауға және қоғамдастық үшін өз үлесімізді қосуға мүмкіндік береді».

OpenAI және басқалар өз жұмысын бүкіл әлемге жауып тастауының басты себебі, олар AI оқыту құнының өсуі жағдайында пайда көзін қорғауы керек, деді ол. 

Сондай-ақ,: GPT-4: Заңсыз кеңестер беру және «қауіпті төтенше мінез-құлықтарды» көрсетудің жаңа мүмкіндігі

«Бұл өте қымбат, олар мұны стратегиялық актив деп шешті және олар үшін стратегиялық болғандықтан оны қоғамдастықтан бас тартуды шешті», - деді ол. «Мен бұл өте орынды стратегия деп ойлаймын. 

«Егер компания көп уақыт пен күш пен ақша жұмсағысы келсе және нәтижелерін бүкіл әлеммен бөліспесе, бұл ақылға қонымды стратегия», - деп қосты Фельдман. 

Дегенмен, «Біз бұл қызықты емес экожүйені жасайды деп ойлаймыз және ұзақ мерзімді перспективада бұл зерттеудің көтерілу толқынын шектейді», - деді ол.

Фельдманның айтуынша, компаниялар деректер жинақтары немесе модельдік сараптама сияқты ресурстарды жинақтау арқылы «жинақтауы» мүмкін.

Сондай-ақ,: AI сынақшысы Cerebras үлкен тіл үлгілерін жылдамдату үшін «Andromeda» модульдік суперкомпьютерін құрастырады.

«Мәселе мынада, бұл ресурстар ландшафтта стратегиялық түрде қалай пайдаланылады», - деді ол. «Біз барлығы көре алатын деректерді пайдалана отырып, ашық үлгілерді ұсыну арқылы көмектесе аламыз деп сенеміз». 

Ашық бастапқы шығарылымның өнімі қандай болуы мүмкін деген сұраққа Фельдман: «Жүздеген әртүрлі институттар бұл GPT үлгілерімен жұмыс істей алады, олар әйтпесе мүмкін болмаған және басқаша шығарылуы мүмкін мәселелерді шеше алады».