Pionir AI, Cerebras, membuka AI generatif di mana OpenAI menjadi gelap

Dunia kecerdasan buatan, terutama sudutnya yang sangat populer dikenal sebagai "AI generatif" — membuat tulisan dan gambar secara otomatis — berisiko menutup cakrawalanya karena efek mengerikan dari perusahaan yang memutuskan untuk tidak mempublikasikan detailnya. riset. 

Namun peralihan ke kerahasiaan mungkin telah mendorong beberapa peserta di dunia AI untuk turun tangan dan mengisi kekosongan pengungkapan.

Pada hari Selasa, pelopor AI Cerebras Systems, pembuat komputer AI khusus, dan chip komputer terbesar di dunia, diterbitkan sebagai sumber terbuka beberapa versi program AI generatif untuk digunakan tanpa batasan. 

Program-program tersebut "dilatih" oleh Cerebras, artinya, dibawa ke kinerja optimal menggunakan superkomputer perusahaan yang kuat, sehingga mengurangi beberapa pekerjaan yang harus dilakukan oleh peneliti luar. 

"Perusahaan membuat keputusan yang berbeda dari yang mereka buat satu atau dua tahun lalu, dan kami tidak setuju dengan keputusan itu," kata salah satu pendiri dan CEO Cerebras Andrew Feldman dalam sebuah wawancara dengan ZDNET, menyinggung keputusan OpenAI, pencipta ChatGPT, tidak mempublikasikan detail teknis ketika mengungkapkan program AI generatif terbarunya bulan ini, GPT-4, sebuah langkah yang banyak dikritik di dunia penelitian AI. 

Juga: Dengan GPT-4, OpenAI memilih kerahasiaan versus pengungkapan

“Kami percaya komunitas yang terbuka dan bersemangat — tidak hanya terdiri dari peneliti, dan bukan hanya tiga atau empat atau lima atau delapan orang LLM, tetapi komunitas yang dinamis di mana perusahaan rintisan, perusahaan menengah, dan perusahaan melatih model bahasa besar — ​​adalah bagus untuk kami, dan bagus untuk orang lain, ”kata Feldman.

Istilah model bahasa besar mengacu pada program AI berdasarkan prinsip pembelajaran mesin di mana jaringan saraf menangkap distribusi statistik kata-kata dalam data sampel. Proses itu memungkinkan model bahasa besar untuk memprediksi kata berikutnya secara berurutan. Kemampuan itu mendasari program AI generatif populer seperti ChatGPT. 

Jenis pendekatan pembelajaran mesin yang sama berkaitan dengan AI generatif di bidang lain, seperti Dall*E OpenAI, yang menghasilkan gambar berdasarkan frasa yang disarankan. 

Juga: Generator seni AI terbaik: DALL-E2 dan alternatif menyenangkan lainnya untuk dicoba

Cerebras memposting tujuh model bahasa besar yang memiliki gaya yang sama dengan program GPT OpenAI, yang memulai kegemaran AI generatif pada tahun 2018. Kodenya adalah tersedia di situs Web AI startup Hugging Face dan seterusnya GitHub.

Ukuran program bervariasi, dari 111 juta parameter, atau bobot saraf, hingga tiga belas miliar. Lebih banyak parameter membuat program AI lebih kuat, secara umum, sehingga kode Cerebra memberikan berbagai kinerja. 

Perusahaan memposting tidak hanya sumber program, dalam format Python dan TensorFlow, di bawah lisensi sumber terbuka Apache 2.0, tetapi juga detail rejimen pelatihan yang digunakan untuk membawa program ke tingkat fungsionalitas yang dikembangkan. 

Pengungkapan itu memungkinkan para peneliti untuk memeriksa dan mereproduksi karya Cerebra. 

Rilis Cerebras, kata Feldman, adalah pertama kalinya program bergaya GPT dipublikasikan "menggunakan teknik efisiensi pelatihan yang canggih".

Pekerjaan pelatihan AI lainnya yang diterbitkan telah menyembunyikan data teknis, seperti GPT-4 OpenAI, atau, program belum dioptimalkan dalam pengembangannya, artinya, data yang dimasukkan ke program belum disesuaikan dengan ukuran program, seperti yang dijelaskan dalam posting blog teknis Cerebras. 

Model bahasa besar seperti itu sangat intensif komputasi. Karya Cerebra yang dirilis Selasa dikembangkan pada sekelompok enam belas komputer CS-2 miliknya, komputer seukuran lemari es asrama yang disetel khusus untuk program gaya AI. Cluster tersebut, yang sebelumnya diungkapkan oleh perusahaan, dikenal sebagai superkomputer Andromeda, yang secara dramatis dapat memotong pekerjaan untuk melatih LLM pada ribuan chip GPU Nvidia.

Juga: Kesuksesan ChatGPT dapat mendorong perubahan yang merusak pada kerahasiaan dalam AI, kata pelopor AI Bengio

Sebagai bagian dari rilis hari Selasa, Cerebras menawarkan apa yang dikatakannya sebagai undang-undang penskalaan sumber terbuka pertama, aturan patokan untuk bagaimana akurasi program semacam itu meningkat dengan ukuran program berdasarkan data sumber terbuka. Kumpulan data yang digunakan adalah open-source Tumpukan, kumpulan teks berukuran 825 gigabyte, sebagian besar teks profesional dan akademik, diperkenalkan pada tahun 2020 oleh lab nirlaba Eleuther.   

Undang-undang penskalaan sebelumnya dari OpenAI dan Google DeepMind menggunakan data pelatihan yang bukan sumber terbuka. 

Cerebras di masa lalu telah membuktikan keunggulan efisiensi sistemnya. Kemampuan untuk secara efisien melatih program bahasa alami yang menuntut menjadi inti dari masalah penerbitan terbuka, kata Feldman.

“Jika Anda dapat mencapai efisiensi, Anda dapat menempatkan sesuatu di komunitas open source,” kata Feldman. “Efisiensi memungkinkan kami melakukan ini dengan cepat dan mudah serta melakukan bagian kami untuk masyarakat.”

Alasan utama OpenAI, dan lainnya, mulai menutup pekerjaan mereka ke seluruh dunia adalah karena mereka harus menjaga sumber keuntungan dalam menghadapi meningkatnya biaya pelatihan AI, katanya. 

Juga: GPT-4: Kapasitas baru untuk menawarkan nasihat terlarang dan menampilkan 'perilaku darurat yang berisiko'

“Ini sangat mahal, mereka telah memutuskan itu adalah aset strategis, dan mereka telah memutuskan untuk menahannya dari masyarakat karena strategis bagi mereka,” katanya. “Dan saya pikir itu strategi yang sangat masuk akal. 

“Ini adalah strategi yang masuk akal jika sebuah perusahaan ingin menginvestasikan banyak waktu, tenaga, dan uang dan tidak membagi hasilnya dengan seluruh dunia,” tambah Feldman. 

Namun, "Kami pikir itu membuat ekosistem kurang menarik, dan, dalam jangka panjang, itu membatasi gelombang pasang" penelitian, katanya.

Perusahaan dapat "menimbun" sumber daya, seperti kumpulan data, atau keahlian model, dengan menimbunnya, kata Feldman.

Juga: Penantang AI, Cerebras, merakit superkomputer modular 'Andromeda' untuk mempercepat model bahasa besar

“Pertanyaannya adalah, bagaimana sumber daya ini digunakan secara strategis di lanskap,” ujarnya. “Merupakan keyakinan kami, kami dapat membantu dengan mengedepankan model yang terbuka, menggunakan data yang dapat dilihat semua orang.” 

Ditanya apa produk dari rilis sumber terbuka, Feldman berkomentar, "Ratusan institusi berbeda dapat bekerja dengan model GPT ini yang mungkin tidak dapat dilakukan, dan memecahkan masalah yang mungkin telah dikesampingkan."