Pionir AI, Cerebras, otvara generativnu umjetnu inteligenciju gdje OpenAI pada u mrak

Svijet umjetne inteligencije, posebno njegov dio koji je nadaleko popularan kao „generativna umjetna inteligencija“ – kreiranje pisanja i slika automatski – u opasnosti je da zatvori svoje horizonte zbog jezivog efekta kompanija koje odluče da ne objave detalje svojih istraživanja. 

Ali zaokret ka tajnosti možda je nagnao neke učesnike u svetu veštačke inteligencije da se uključe i popune prazninu u otkrivanju podataka.

U utorak, AI pionir Cerebras Systems, proizvođač namenskog AI računara i najvećeg kompjuterskog čipa na svetu, objavljeno kao open-source nekoliko verzija generativnih AI programa za korištenje bez ograničenja. 

Programe „obučava“ Cerebras, što znači da su dovedeni do optimalnih performansi pomoću moćnog superkompjutera kompanije, čime se smanjuje deo posla koji spoljni istraživači moraju da obave. 

"Kompanije donose drugačije odluke nego prije godinu ili dvije, a mi se ne slažemo s tim odlukama", rekao je suosnivač i izvršni direktor Cerebrasa Andrew Feldman u intervjuu za ZDNET, aludirajući na odluku OpenAI, kreatora ChatGPT-a, da ne objavljuje tehničke detalje kada je otkrio svoj najnoviji generativni AI program ovog mjeseca, GPT-4, potez koji je bio naširoko kritikovan u svijetu istraživanja AI. 

Takođe: Sa GPT-4, OpenAI se opredjeljuje za tajnost u odnosu na otkrivanje

“Vjerujemo da je otvorena, živahna zajednica – ne samo istraživača, i ne samo tri ili četiri ili pet ili osam LLM momaka, već živa zajednica u kojoj startupi, srednje kompanije i preduzeća obučavaju velike jezičke modele – dobro za nas, a dobro je i za druge,” rekao je Feldman.

Izraz model velikog jezika odnosi se na AI programe zasnovane na principima mašinskog učenja u kojima neuronska mreža bilježi statističku distribuciju riječi u uzorku podataka. Taj proces omogućava velikom jezičkom modelu da predvidi sljedeću riječ u nizu. Ta sposobnost leži u osnovi popularnih generativnih AI programa kao što je ChatGPT. 

Ista vrsta pristupa mašinskom učenju odnosi se na generativnu veštačku inteligenciju u drugim oblastima, kao što je OpenAI Dall*E, koji generiše slike na osnovu predložene fraze. 

Takođe: Najbolji AI umjetnički generatori: DALL-E2 i druge zabavne alternative koje možete isprobati

Cerebras je objavio sedam velikih jezičkih modela koji su u istom stilu kao OpenAI-jev GPT program, koji je započeo ludilo za generativnom umjetnom inteligencijom još 2018. godine. Kod je dostupno na web stranici AI pokretanja Hugging Face i dalje GitHub.

Programi se razlikuju po veličini, od 111 miliona parametara, ili neuronskih težina, do trinaest milijardi. Više parametara čini AI program moćnijim, općenito govoreći, tako da Cerebras kod pruža niz performansi. 

Kompanija je objavila ne samo izvorni izvor programa, u Python i TensorFlow formatu, pod licencom otvorenog koda Apache 2.0, već i detalje o režimu obuke kojim su programi dovedeni u razvijeno stanje funkcionalnosti. 

To otkrivanje omogućava istraživačima da ispitaju i reproduciraju rad Cerebras. 

Izdanje Cerebrasa, rekao je Feldman, je prvi put da je program u GPT stilu objavljen u javnosti „koristeći najsavremenije tehnike efikasnosti treninga“.

Drugi objavljeni rad na obuci AI je ili sakrio tehničke podatke, kao što je OpenAI GPT-4, ili programi nisu optimizirani u svom razvoju, što znači da podaci koji se unose u program nisu prilagođeni veličini programa, kao što je objašnjeno u Cerebras tehničkom blogu. 

Takvi veliki jezički modeli su notorno intenzivni za računanje. Cerebrasov rad objavljen u utorak razvijen je na grupi od šesnaest njegovih CS-2 računara, računara veličine frižidera u spavaonicama koji su posebno podešeni za programe u stilu AI. Klaster, koji je kompanija ranije otkrila, poznat je kao njegov Andromeda superkompjuter, koji može dramatično smanjiti posao na obuci LLM-a na hiljadama Nvidijinih GPU čipova.

Takođe: Uspeh ChatGPT-a mogao bi da izazove štetan zamah ka tajnosti u veštačkoj inteligenciji, kaže pionir AI Bengio

Kao dio objave od utorka, Cerebras je ponudio, kako je rekao, prvi zakon o skaliranju otvorenog koda, referentno pravilo za to kako se tačnost takvih programa povećava s veličinom programa zasnovanih na podacima otvorenog koda. Korišteni skup podataka je otvorenog koda The Pile, zbirka tekstova od 825 gigabajta, uglavnom stručnih i akademskih tekstova, koju je 2020. uvela neprofitna laboratorija Eleuther.   

Prethodni zakoni o skaliranju iz OpenAI-a i Google-ovog DeepMind-a koristili su podatke o obuci koji nisu bili otvorenog koda. 

Cerebras je u prošlosti dokazivao prednosti efikasnosti svojih sistema. Sposobnost efikasnog osposobljavanja za zahtjevne programe prirodnog jezika ulazi u srž pitanja otvorenog izdavaštva, rekao je Feldman.

“Ako možete postići efikasnost, možete si priuštiti da stvari stavite u zajednicu otvorenog koda,” rekao je Feldman. „Efikasnost nam omogućava da to uradimo brzo i lako i da damo svoj deo za zajednicu.”

Primarni razlog zašto OpenAI, i drugi, počinju da zatvaraju svoj posao za ostatak svijeta je taj što moraju čuvati izvor profita suočeni s rastućim troškovima AI za obuku, rekao je. 

Takođe: GPT-4: Novi kapacitet za nuđenje nedozvoljenih savjeta i prikazivanje 'rizičnih ponašanja u nuždi'

„Toliko je skupo, odlučili su da je to strateško dobro, i odlučili su da ga zataje od zajednice jer je to za njih strateško“, rekao je on. “I mislim da je to vrlo razumna strategija. 

“Razumna je strategija ako kompanija želi uložiti mnogo vremena, truda i novca, a ne dijeliti rezultate sa ostatkom svijeta,” dodao je Feldman. 

Međutim, „Mislimo da to čini manje zanimljiv ekosistem i, na duge staze, ograničava rastuću plimu“ istraživanja, rekao je on.

Kompanije mogu „nagomilati“ resurse, kao što su skupovi podataka ili stručnost modela, tako što će ih gomilati, primetio je Feldman.

Takođe: AI izazivač Cerebras sastavlja modularni superkompjuter 'Andromeda' kako bi ubrzao velike jezičke modele

„Pitanje je kako se ovi resursi strateški koriste u pejzažu“, rekao je on. “Vjerujemo da možemo pomoći iznošenjem otvorenih modela, koristeći podatke koje svi mogu vidjeti.” 

Upitan kakav bi proizvod mogao biti otvorenog koda, Feldman je primijetio: “Stotine različitih institucija mogu raditi s ovim GPT modelima koji inače ne bi mogli, i rješavati probleme koji bi inače mogli biti ostavljeni po strani.”