KI-Pionier Cerebras eröffnet generative KI, wo OpenAI dunkel wird

Die Welt der künstlichen Intelligenz, insbesondere die als „generative KI“ bekannte Ecke, die als „generative KI“ bekannt ist – die automatische Erstellung von Schriften und Bildern – läuft Gefahr, ihren Horizont zu schließen, da Unternehmen beschließen, ihre Details nicht zu veröffentlichen Forschung. 

Aber die Hinwendung zur Geheimhaltung könnte einige Teilnehmer in der KI-Welt veranlasst haben, einzugreifen und die Lücke der Offenlegung zu füllen.

Am Dienstag hat der KI-Pionier Cerebras Systems, Hersteller eines dedizierten KI-Computers und des weltweit größten Computerchips, als Open-Source veröffentlicht mehrere Versionen generativer KI-Programme uneingeschränkt nutzbar. 

Die Programme werden von Cerebras „trainiert“, dh mit dem leistungsstarken Supercomputer des Unternehmens auf optimale Leistung gebracht, wodurch ein Teil der Arbeit externer Forscher verringert wird. 

„Unternehmen treffen andere Entscheidungen als vor ein oder zwei Jahren, und wir sind mit diesen Entscheidungen nicht einverstanden“, sagte Andrew Feldman, Mitbegründer und CEO von Cerebras, in einem Interview mit ZDNET und spielte damit auf die Entscheidung von OpenAI, dem Schöpfer von ChatGPT, an. keine technischen Details zu veröffentlichen, als es diesen Monat sein neuestes generatives KI-Programm, GPT-4, vorstellte, ein Schritt, der in der Welt der KI-Forschung weithin kritisiert wurde. 

Außerdem: Mit GPT-4 entscheidet sich OpenAI für Geheimhaltung statt Offenlegung

„Wir glauben, dass eine offene, lebendige Gemeinschaft – nicht nur von Forschern und nicht nur von drei oder vier oder fünf oder acht LLM-Jungs, sondern eine lebendige Gemeinschaft, in der Startups, mittelständische Unternehmen und Konzerne große Sprachmodelle ausbilden – das ist gut für uns, und es ist gut für andere“, sagte Feldman.

Der Begriff Large Language Model bezieht sich auf KI-Programme, die auf Prinzipien des maschinellen Lernens basieren, bei denen ein neuronales Netzwerk die statistische Verteilung von Wörtern in Beispieldaten erfasst. Dieser Prozess ermöglicht es einem großen Sprachmodell, das nächste Wort in der Folge vorherzusagen. Diese Fähigkeit liegt beliebten generativen KI-Programmen wie ChatGPT zugrunde. 

Die gleiche Art von maschinellem Lernansatz betrifft die generative KI in anderen Bereichen, wie z. B. Dall*E von OpenAI, das Bilder basierend auf einem vorgeschlagenen Satz generiert. 

Außerdem: Die besten KI-Kunstgeneratoren: DALL-E2 und andere unterhaltsame Alternativen zum Ausprobieren

Cerebras hat sieben große Sprachmodelle veröffentlicht, die im gleichen Stil wie das GPT-Programm von OpenAI sind, das 2018 den generativen KI-Wahn auslöste. Der Code ist auf der Website verfügbar des KI-Startups Hugging Face und weiter GitHub.

Die Größe der Programme variiert von 111 Millionen Parametern oder neuralen Gewichten bis zu XNUMX Milliarden. Mehr Parameter machen ein KI-Programm im Allgemeinen leistungsfähiger, sodass der Cerebras-Code eine Reihe von Leistungen bietet. 

Das Unternehmen veröffentlichte nicht nur den Quellcode der Programme im Python- und TensorFlow-Format unter der Open-Source-Apache-2.0-Lizenz, sondern auch die Einzelheiten des Schulungsprogramms, mit dem die Programme in einen ausgereiften Zustand der Funktionalität gebracht wurden. 

Diese Offenlegung ermöglicht es Forschern, die Arbeit von Cerebras zu untersuchen und zu reproduzieren. 

Die Veröffentlichung von Cerebras, sagte Feldman, ist das erste Mal, dass ein Programm im GPT-Stil veröffentlicht wurde, „unter Verwendung modernster Trainingseffizienztechniken“.

Andere veröffentlichte KI-Trainingsarbeiten haben entweder technische Daten verschwiegen, wie z. B. GPT-4 von OpenAI, oder die Programme wurden in ihrer Entwicklung nicht optimiert, d. h. die dem Programm zugeführten Daten wurden nicht an die Größe des Programms angepasst. wie in einem technischen Blogbeitrag von Cerebras erläutert. 

Solche großen Sprachmodelle sind notorisch rechenintensiv. Die am Dienstag veröffentlichte Cerebras-Arbeit wurde auf einem Cluster von sechzehn seiner CS-2-Computer entwickelt, Computer in der Größe von Wohnheimkühlschränken, die speziell für KI-ähnliche Programme abgestimmt sind. Der Cluster, der zuvor vom Unternehmen bekannt gegeben wurde, ist als sein Andromeda-Supercomputer bekannt, der die Arbeit zum Trainieren von LLMs auf Tausenden von Nvidias GPU-Chips drastisch reduzieren kann.

Außerdem: Der Erfolg von ChatGPT könnte einen schädlichen Trend zur Geheimhaltung in der KI auslösen, sagt KI-Pionier Bengio

Als Teil der Veröffentlichung am Dienstag bot Cerebras das angeblich erste Open-Source-Skalierungsgesetz an, eine Benchmark-Regel dafür, wie die Genauigkeit solcher Programme mit der Größe der auf Open-Source-Daten basierenden Programme zunimmt. Der verwendete Datensatz ist Open Source Der Stapel, eine 825-Gigabyte-Sammlung von Texten, hauptsächlich professionellen und akademischen Texten, die 2020 vom gemeinnützigen Labor eingeführt wurde Eleuther.   

Frühere Skalierungsgesetze von OpenAI und DeepMind von Google verwendeten Trainingsdaten, die nicht Open Source waren. 

Cerebras hat in der Vergangenheit für die Effizienzvorteile seiner Systeme plädiert. Die Fähigkeit, die anspruchsvollen Programme für natürliche Sprache effizient zu trainieren, ist das Herzstück der Probleme des Open Publishing, sagte Feldman.

„Wenn Sie Effizienz erreichen können, können Sie es sich leisten, Dinge in die Open-Source-Community zu stellen“, sagte Feldman. „Die Effizienz ermöglicht es uns, dies schnell und einfach zu tun und unseren Beitrag für die Gemeinschaft zu leisten.“

Ein Hauptgrund dafür, dass OpenAI und andere damit beginnen, ihre Arbeit für den Rest der Welt abzuschotten, ist, dass sie die Gewinnquelle angesichts der steigenden Kosten für die Ausbildung von KI schützen müssen, sagte er. 

Außerdem: GPT-4: Eine neue Fähigkeit, unerlaubte Ratschläge zu erteilen und „riskantes Verhalten“ zu zeigen

„Es ist so teuer, dass sie entschieden haben, dass es ein strategischer Vorteil ist, und sie haben beschlossen, es der Gemeinschaft vorzuenthalten, weil es für sie von strategischer Bedeutung ist“, sagte er. „Und ich denke, das ist eine sehr vernünftige Strategie. 

„Es ist eine vernünftige Strategie, wenn ein Unternehmen viel Zeit, Mühe und Geld investieren und die Ergebnisse nicht mit dem Rest der Welt teilen möchte“, fügte Feldman hinzu. 

„Wir denken jedoch, dass dies zu einem weniger interessanten Ökosystem führt und langfristig die steigende Flut der Forschung begrenzt“, sagte er.

Unternehmen können Ressourcen wie Datensätze oder Modellexpertise „vorrätig halten“, indem sie sie horten, beobachtete Feldman.

Außerdem: Der KI-Herausforderer Cerebras baut den modularen Supercomputer „Andromeda“ zusammen, um große Sprachmodelle zu beschleunigen

„Die Frage ist, wie diese Ressourcen in der Landschaft strategisch genutzt werden“, sagte er. „Wir sind davon überzeugt, dass wir helfen können, indem wir Modelle vorschlagen, die offen sind und Daten verwenden, die jeder sehen kann.“ 

Auf die Frage, was das Produkt der Open-Source-Version sein könnte, bemerkte Feldman: „Hunderte verschiedener Institutionen können mit diesen GPT-Modellen arbeiten, die sonst möglicherweise nicht in der Lage gewesen wären, und Probleme lösen, die sonst möglicherweise beiseite gelegt worden wären.“