Tekoälyn pioneeri Cerebras avaa generatiivisen tekoälyn, jossa OpenAI pimenee

Tekoälyn maailma, varsinkin sen nurkka, joka tunnetaan hurjan suosiossa "generatiivisena tekoälynä" - joka luo kirjoitusta ja kuvia automaattisesti - on vaarassa sulkea horisonttinsa, koska yritykset päättävät olla julkistamatta yksityiskohtia. tutkimusta. 

Mutta käänne salassapitoon on saattanut saada jotkut tekoälymaailman osallistujat puuttumaan ja täyttämään julkistamisen tyhjiön.

Tiistaina tekoälyn edelläkävijä Cerebras Systems, joka on oman tekoälytietokoneen ja maailman suurimman tietokonesirun valmistaja, julkaistu avoimena lähdekoodina useita generatiivisten AI-ohjelmien versioita käytettäväksi ilman rajoituksia. 

Cerebras "kouluttaa" ohjelmat, mikä tarkoittaa, että ne saatetaan optimaaliseen suorituskykyyn käyttämällä yrityksen tehokasta supertietokonetta, mikä vähentää osaa ulkopuolisten tutkijoiden tehtävästä. 

"Yritykset tekevät erilaisia ​​päätöksiä kuin vuosi tai kaksi sitten, ja olemme eri mieltä noista päätöksistä", sanoi Cerebrasin perustaja ja toimitusjohtaja Andrew Feldman ZDNETin haastattelussa viitaten ChatGPT:n luojan OpenAI:n päätökseen. olla julkaisematta teknisiä yksityiskohtia, kun se julkisti viimeisimmän generatiivisen tekoälyohjelmansa tässä kuussa, GPT-4:n, jota tekoälytutkimusmaailmassa kritisoitiin laajalti. 

Myös: GPT-4:ssä OpenAI valitsee salassapidon vai paljastuneen

"Uskomme, että avoin, elinvoimainen yhteisö - ei vain tutkijoista eikä vain kolmesta, neljästä tai viidestä tai kahdeksasta LLM-miehestä, vaan elinvoimainen yhteisö, jossa startupit, keskisuuret yritykset ja yritykset kouluttavat suuria kielimalleja - on hyvä meille ja se on hyväksi muille”, Feldman sanoi.

Termi suuri kielimalli viittaa koneoppimisperiaatteisiin perustuviin tekoälyohjelmiin, joissa hermoverkko kaappaa sanojen tilastollisen jakauman näytedatassa. Tämä prosessi sallii suuren kielimallin ennustaa seuraavan sanan peräkkäin. Tämä kyky on suosittujen generatiivisten AI-ohjelmien, kuten ChatGPT, taustalla. 

Samanlainen koneoppimisen lähestymistapa koskee generatiivista tekoälyä muilla aloilla, kuten OpenAI:n Dall*E, joka luo kuvia ehdotetun lauseen perusteella. 

Myös: Parhaat tekoälygeneraattorit: DALL-E2 ja muita hauskoja vaihtoehtoja kokeiltavaksi

Cerebras julkaisi seitsemän suurta kielimallia, jotka ovat samaa tyyliä kuin OpenAI:n GPT-ohjelma, joka aloitti generatiivisen tekoälyhulluuden jo vuonna 2018. Koodi on saatavilla web-sivustolla AI-käynnistyksen Hugging Face ja edelleen GitHub.

Ohjelmat vaihtelevat kooltaan 111 miljoonasta parametrista tai hermopainosta XNUMX miljardiin. Enemmän parametreja tekee tekoälyohjelmasta yleisesti ottaen tehokkaamman, joten Cerebras-koodi tarjoaa erilaisia ​​suorituskykyjä. 

Yritys ei julkaissut vain ohjelmien lähdekoodia Python- ja TensorFlow-muodossa avoimen lähdekoodin Apache 2.0 -lisenssillä, vaan myös tiedot koulutusohjelmasta, jolla ohjelmat saatettiin kehittyneeseen toimintatilaan. 

Tämä paljastaminen antaa tutkijoille mahdollisuuden tutkia ja toistaa Cerebras-työtä. 

Cerebras-julkaisu, Feldman sanoi, on ensimmäinen kerta, kun GPT-tyylinen ohjelma on julkistettu "käyttäen huippuluokan harjoittelutehokkuustekniikoita".

Muussa julkaistussa tekoälyn koulutustyössä on joko piilotettu teknisiä tietoja, kuten OpenAI:n GPT-4, tai ohjelmia ei ole optimoitu niiden kehityksessä, eli ohjelmaan syötettyä dataa ei ole mukautettu ohjelman kokoon, kuten selostetaan Cerebras-tekniikan blogiviestissä. 

Tällaiset suuret kielimallit ovat tunnetusti laskentaintensiivisiä. Tiistaina julkaistu Cerebras-teos kehitettiin kuudentoista sen CS-2-tietokoneen klusterille, asuntolakaappien kokoisille tietokoneille, jotka on viritetty erityisesti tekoälytyylisiä ohjelmia varten. Yrityksen aiemmin julkistama klusteri tunnetaan Andromeda-supertietokoneena, joka voi dramaattisesti vähentää LLM:ien kouluttamista tuhansilla Nvidian GPU-siruilla.

Myös: ChatGPT:n menestys voi saada aikaan vahingollisen muutoksen tekoälyn salassapitoon, sanoo tekoälyn pioneeri Bengio

Osana tiistain julkaisua Cerebras tarjosi ensimmäisen avoimen lähdekoodin skaalauslain, vertailusäännön sille, kuinka tällaisten ohjelmien tarkkuus kasvaa avoimen lähdekoodin tietoihin perustuvien ohjelmien koon myötä. Käytetty tietojoukko on avoimen lähdekoodin tietojoukko Kasa825 gigatavun kokoelma tekstejä, pääasiassa ammatti- ja akateemisia tekstejä, jonka voittoa tavoittelematon laboratorio esitteli vuonna 2020 Eleuther.   

OpenAI:n ja Googlen DeepMindin aiemmat skaalauslait käyttivät harjoitusdataa, joka ei ollut avoimen lähdekoodin. 

Cerebras on aiemmin puolustanut järjestelmiensä tehokkuusetuja. Kyky kouluttaa tehokkaasti vaativia luonnollisen kielen ohjelmia on avoimen julkaisun ytimessä, Feldman sanoi.

"Jos voit saavuttaa tehokkuutta, sinulla on varaa laittaa asioita avoimen lähdekoodin yhteisöön", Feldman sanoi. "Tehokkuuden ansiosta voimme tehdä tämän nopeasti ja helposti ja tehdä osamme yhteisön hyväksi."

Ensisijainen syy siihen, miksi OpenAI ja muut ovat alkaneet sulkea työnsä muulta maailmalta, on se, että heidän on suojattava voiton lähde tekoälyn kasvavien koulutuskustannusten edessä, hän sanoi. 

Myös: GPT-4: Uusi kyky tarjota laittomia neuvoja ja näyttää "riskialtista käyttäytymistä"

"Se on niin kallista, he ovat päättäneet, että se on strateginen voimavara, ja he ovat päättäneet pidättää sen yhteisöltä, koska se on heille strategista", hän sanoi. "Ja se on mielestäni erittäin järkevä strategia. 

"Se on järkevä strategia, jos yritys haluaa investoida paljon aikaa, vaivaa ja rahaa eikä jakaa tuloksia muun maailman kanssa", Feldman lisäsi. 

"Uskomme kuitenkin, että se tekee vähemmän mielenkiintoisesta ekosysteemistä, ja pitkällä aikavälillä se rajoittaa tutkimuksen nousua", hän sanoi.

Yritykset voivat ”varastoida” resursseja, kuten tietojoukkoja tai malliosaamista hamstraamalla niitä, Feldman huomautti.

Myös: Tekoälyhaastaja Cerebras kokoaa modulaarisen supertietokoneen "Andromeda" nopeuttaakseen suuria kielimalleja

"Kysymys kuuluu, kuinka näitä resursseja käytetään strategisesti maisemassa", hän sanoi. "Uskomme, että voimme auttaa esittämällä malleja, jotka ovat avoimia ja jotka käyttävät tietoja, jotka kaikki voivat nähdä." 

Kysyttäessä, mikä avoimen lähdekoodin julkaisun tuote voi olla, Feldman huomautti: "Sadat erilliset laitokset voivat tehdä työtä näiden GPT-mallien kanssa, jotka eivät ehkä muuten olisi kyenneet, ja ratkaista ongelmia, jotka muuten olisi voitu jättää sivuun."