Pionir umetne inteligence Cerebras odpira generativno umetno inteligenco, kjer OpenAI zatemni

Svet umetne inteligence, zlasti tisti del sveta umetne inteligence, ki je zelo priljubljen kot »generativni AI« – samodejno ustvarjanje pisanja in slik – je v nevarnosti, da bo zaprl svoja obzorja zaradi srhljivega učinka podjetij, ki se odločijo, da ne bodo objavila podrobnosti svojih raziskovanje. 

Toda obračanje k skrivnosti je morda spodbudilo nekatere udeležence v svetu umetne inteligence, da so posegli in zapolnili praznino razkritja.

V torek je pionir AI Cerebras Systems, proizvajalec namenskega računalnika AI in največjega računalniškega čipa na svetu, objavljen kot odprtokoden več različic generativnih programov AI za uporabo brez omejitev. 

Programe "usposobi" Cerebras, kar pomeni, da jih pripelje do optimalne učinkovitosti z uporabo zmogljivega superračunalnika podjetja, s čimer se zmanjša del dela, ki ga morajo opraviti zunanji raziskovalci. 

"Podjetja sprejemajo drugačne odločitve kot pred letom ali dvema, mi pa se s temi odločitvami ne strinjamo," je v intervjuju za ZDNET dejal soustanovitelj in izvršni direktor Cerebrasa Andrew Feldman, ki namiguje na odločitev OpenAI, ustvarjalca ChatGPT, da ne bo objavil tehničnih podrobnosti, ko je ta mesec razkril svoj najnovejši program generativne umetne inteligence, GPT-4, potezo, ki je bila v raziskovalnem svetu umetne inteligence močno kritizirana. 

Prav tako: Z GPT-4 se OpenAI odloči za tajnost v primerjavi z razkritjem

»Verjamemo, da je odprta, živahna skupnost – ne samo raziskovalcev in ne le treh, štirih, petih ali osmih doktorjev znanosti, ampak živahna skupnost, v kateri startupi, srednje velika podjetja in podjetja usposabljajo velike jezikovne modele – dobro za nas in dobro za druge,« je dejal Feldman.

Izraz velik jezikovni model se nanaša na programe umetne inteligence, ki temeljijo na principih strojnega učenja, v katerih nevronska mreža zajema statistično porazdelitev besed v vzorčnih podatkih. Ta proces omogoča velikemu jezikovnemu modelu, da predvidi naslednjo besedo v zaporedju. Ta sposobnost je osnova priljubljenih generativnih programov AI, kot je ChatGPT. 

Ista vrsta pristopa strojnega učenja se nanaša na generativni AI na drugih področjih, kot je Dall*E podjetja OpenAI, ki ustvarja slike na podlagi predlagane fraze. 

Prav tako: Najboljši umetniški generatorji AI: DALL-E2 in druge zabavne alternative, ki jih lahko preizkusite

Cerebras je objavil sedem velikih jezikovnih modelov, ki so v istem slogu kot program GPT OpenAI, ki je leta 2018 začel generativno norijo AI. Koda je na voljo na spletni strani zagonskega podjetja AI Hugging Face in naprej GitHub.

Programi se razlikujejo po velikosti, od 111 milijonov parametrov ali nevronskih uteži do trinajst milijard. Več parametrov naredi program AI zmogljivejši, na splošno, tako da koda Cerebras omogoča vrsto zmogljivosti. 

Podjetje ni objavilo samo izvorne kode programov v formatu Python in TensorFlow pod odprtokodno licenco Apache 2.0, ampak tudi podrobnosti o režimu usposabljanja, s katerim so bili programi pripeljani do razvitega stanja funkcionalnosti. 

To razkritje omogoča raziskovalcem, da pregledajo in reproducirajo delo Cerebras. 

Izdaja Cerebras, je dejal Feldman, je prvič javno objavljen program v slogu GPT "z uporabo najsodobnejših tehnik učinkovitosti usposabljanja."

Druga objavljena izobraževalna dela za umetno inteligenco so prikrivala tehnične podatke, kot je GPT-4 OpenAI, ali pa programi niso bili optimizirani v svojem razvoju, kar pomeni, da podatki, dovedeni v program, niso bili prilagojeni velikosti programa, kot je pojasnjeno v tehnični objavi Cerebras na blogu. 

Tako veliki jezikovni modeli so zloglasno računalniško intenzivni. Delo Cerebras, ki je bilo objavljeno v torek, je bilo razvito na skupini šestnajstih njegovih računalnikov CS-2, računalnikov v velikosti hladilnikov v spalnicah, ki so prilagojeni posebej za programe v stilu umetne inteligence. Grozd, ki ga je podjetje že razkrilo, je znan kot njegov superračunalnik Andromeda, ki lahko dramatično zmanjša delo za usposabljanje LLM-jev na tisočih Nvidijinih čipih GPU.

Prav tako: Uspeh ChatGPT bi lahko povzročil škodljiv zamik k tajnosti v AI, pravi pionir AI Bengio

Kot del torkove izdaje je Cerebras ponudil, kot je dejal, prvi odprtokodni zakon o skaliranju, primerjalno pravilo za to, kako se natančnost takih programov povečuje z velikostjo programov, ki temeljijo na odprtokodnih podatkih. Uporabljeni nabor podatkov je odprtokoden Kup, 825 gigabajtno zbirko besedil, večinoma strokovnih in akademskih besedil, ki jo je leta 2020 predstavil neprofitni lab. Eleuther.   

Prejšnji zakoni o skaliranju iz OpenAI in Googlovega DeepMinda so uporabljali podatke o usposabljanju, ki niso bili odprtokodni. 

Cerebras je v preteklosti zagovarjal prednosti učinkovitosti svojih sistemov. Zmožnost učinkovitega usposabljanja zahtevnih programov naravnega jezika je v središču vprašanj odprtega založništva, je dejal Feldman.

"Če lahko dosežete učinkovitost, si lahko privoščite, da postavite stvari v odprtokodno skupnost," je dejal Feldman. "Učinkovitost nam omogoča, da to storimo hitro in enostavno ter prispevamo svoj delež za skupnost."

Glavni razlog, zakaj OpenAI in drugi začenjajo zapirati svoje delo za preostali svet, je ta, da morajo varovati vir dobička glede na naraščajoče stroške AI za usposabljanje, je dejal. 

Prav tako: GPT-4: Nova zmožnost ponujanja nedovoljenih nasvetov in prikazovanja 'tveganega pojavnega vedenja'

»To je tako drago, da so se odločili, da je to strateška dobrina, in so se odločili, da jo zadržijo skupnosti, ker je zanje strateška,« je dejal. »In mislim, da je to zelo razumna strategija. 

»To je razumna strategija, če želi podjetje vložiti veliko časa, truda in denarja in rezultatov ne deliti s preostalim svetom,« je dodal Feldman. 

Vendar pa "mislimo, da to naredi manj zanimiv ekosistem in na dolgi rok omejuje naraščajočo plimo" raziskav, je dejal.

Podjetja lahko vire, kot so nabori podatkov ali strokovno znanje o modelih, kopičijo tako, da jih kopičijo, je opazil Feldman.

Prav tako: AI izzivalec Cerebras sestavi modularni superračunalnik "Andromeda" za pospešitev velikih jezikovnih modelov

"Vprašanje je, kako se ti viri strateško uporabljajo v pokrajini," je dejal. "Naše prepričanje je, da lahko pomagamo tako, da predstavimo modele, ki so odprti in uporabljajo podatke, ki jih lahko vidi vsak." 

Na vprašanje, kaj bi lahko bil produkt odprtokodne izdaje, je Feldman pripomnil: "S temi modeli GPT morda dela na stotine različnih institucij, ki sicer morda ne bi mogle, in rešujejo težave, ki bi sicer bile ob strani."