AI のパイオニアである Cerebras が、OpenAI が暗転するジェネレーティブ AI を開拓

人工知能の世界、特に「ジェネレーティブ AI」として広く知られている、文章や画像を自動的に作成するその一角は、企業がその詳細を公開しないことを決定したことによる萎縮効果のために、その視野を閉じる危険にさらされています。リサーチ。 

しかし、秘密主義への転換により、AI の世界の一部の参加者が介入し、開示の空白を埋めるようになった可能性があります。

火曜日、AI のパイオニアである Cerebras Systems は、専用の AI コンピューターと世界最大のコンピューター チップのメーカーであり、 オープンソースとして公開 いくつかのバージョンのジェネレーティブ AI プログラムを無制限に使用できます。 

プログラムは Cerebras によって「トレーニング」されます。つまり、同社の強力なスーパーコンピューターを使用して最適なパフォーマンスがもたらされるため、外部の研究者が行う必要のある作業の一部が削減されます。 

「企業は4、XNUMX年前とは異なる決定を下しており、私たちはそれらの決定に同意しません」とCerebrasの共同創設者兼CEOのAndrew FeldmanはZDNETとのインタビューで述べ、ChatGPTの作成者であるOpenAIによる決定をほのめかしました。同社は今月、最新のジェネレーティブ AI プログラムである GPT-XNUMX を発表した際、技術的な詳細を公開しないことを望んでおり、この動きは AI 研究の世界で広く批判されていました。 

また： GPT-4 では、OpenAI は機密性と開示を選択します

「私たちは、研究者だけでなく、XNUMX 人、XNUMX 人、XNUMX 人、XNUMX 人の LLM 関係者だけでなく、スタートアップ、中規模企業、大企業が大規模な言語モデルをトレーニングしている活気に満ちたコミュニティが、オープンで活気に満ちたコミュニティであると信じています。私たちにとっても、他の人にとっても良いことです」とフェルドマンは言いました。

大規模言語モデルという用語は、ニューラル ネットワークがサンプル データ内の単語の統計的分布をキャプチャする、機械学習の原理に基づく AI プログラムを指します。 このプロセスにより、大規模な言語モデルで次の単語を順番に予測できます。 その能力は、ChatGPT などの一般的なジェネレーティブ AI プログラムの根底にあります。 

同じ種類の機械学習アプローチは、提案されたフレーズに基づいて画像を生成する OpenAI の Dall*E など、他の分野のジェネレーティブ AI にも関係しています。 

また： 最高の AI アート ジェネレーター: DALL-E2 およびその他の楽しい代替手段を試す

Cerebras は、2018 年にジェネレーティブ AI の流行を開始した OpenAI の GPT プログラムと同じスタイルの XNUMX つの大きな言語モデルを投稿しました。コードは次のとおりです。 Web サイトで入手可能 AIスタートアップHugging Face and onの GitHubの.

プログラムのサイズは、111 億 XNUMX 万個のパラメーター (ニューラル ウェイト) から XNUMX 億個までさまざまです。 一般的に言えば、より多くのパラメーターを使用すると、AI プログラムがより強力になり、Cerebras コードがさまざまなパフォーマンスを提供できるようになります。 

同社は、オープンソースの Apache 2.0 ライセンスの下で、プログラムのソースを Python および TensorFlow 形式で公開しただけでなく、プログラムが機能を開発済みの状態にするためのトレーニング レジメンの詳細も公開しました。 

その開示により、研究者はセレブラスの研究を調べて再現することができます。 

フェルドマン氏によると、Cerebras のリリースは、「最先端のトレーニング効率化技術を使用して」GPT スタイルのプログラムが初めて公開されたものです。

OpenAI の GPT-4 などの他の公開された AI トレーニング作業では、技術データが隠されているか、プログラムが開発時に最適化されていません。つまり、プログラムに供給されるデータがプログラムのサイズに合わせて調整されていません。 Cerebras のテクニカル ブログ投稿で説明されているとおりです。 

このような大規模な言語モデルは、計算集約型であることで有名です。 火曜日にリリースされた Cerebras の作品は、AI スタイルのプログラム用に特別に調整された寮の冷蔵庫ほどの大きさのコンピューターである CS-2 コンピューター XNUMX 台のクラスターで開発されました。 同社が以前に公開したクラスターは、Andromeda スーパーコンピューターとして知られており、何千もの Nvidia の GPU チップで LLM をトレーニングする作業を大幅に削減できます。

また： ChatGPT の成功は、AI の機密性への悪影響を引き起こす可能性がある、と AI のパイオニアである Bengio 氏は述べています。

火曜日のリリースの一環として、Cerebras は、オープンソース データに基づくプログラムのサイズに応じてそのようなプログラムの精度がどのように向上するかのベンチマーク規則である、最初のオープン ソース スケーリング規則であると述べたものを提供しました。 使用するデータセットはオープンソースです パイル、825年に非営利ラボによって導入された、主に専門的および学術的なテキストの2020ギガバイトのテキストコレクション エルター.   

OpenAI と Google の DeepMind による以前のスケーリングの法則は、オープンソースではないトレーニング データを使用していました。 

Cerebras は過去に、そのシステムの効率性の利点を主張してきました。 要求の厳しい自然言語プログラムを効率的にトレーニングする能力は、オープン パブリッシングの問題の核心になる、と Feldman 氏は述べています。

「効率化を達成できれば、オープンソース コミュニティに物を置く余裕があります」と Feldman 氏は述べています。 「効率性により、これを迅速かつ簡単に行うことができ、コミュニティのために私たちの分担をすることができます。」

OpenAI やその他の企業が彼らの研究を世界に向けて閉鎖し始めている主な理由は、AI のトレーニング費用の上昇に直面して利益源を守らなければならないからだと、彼は述べた。 

また： GPT-4: 違法なアドバイスを提供し、「危険な緊急行動」を表示するための新しい機能

「それは非常に高価であり、彼らはそれが戦略的資産であると判断し、それが彼らにとって戦略的であるため、コミュニティから差し控えることに決めました」と彼は言いました. 「そして、それは非常に合理的な戦略だと思います。 

「企業が多大な時間と労力とお金を投資し、結果を世界と共有したくない場合、これは合理的な戦略です」と Feldman 氏は付け加えました。 

しかし、「それはエコシステムの面白さを低下させると考えており、長期的には、研究の上昇傾向を制限しています」と彼は言いました.

企業は、データセットやモデルの専門知識などのリソースを買いだめすることで、リソースを「備蓄」できると Feldman 氏は述べています。

また： AI の挑戦者 Cerebras がモジュラー スーパーコンピューター「Andromeda」を組み立てて大規模な言語モデルを高速化

「問題は、これらのリソースが景観の中でどのように戦略的に使用されるかです」と彼は言いました。 「誰もが見ることができるデータを使用して、オープンなモデルを提案することで、私たちが支援できると信じています。」 

オープンソース リリースの製品について尋ねられたフェルドマン氏は、次のように述べています。