AI 개척자 Cerebras는 OpenAI가 어두워지는 생성 AI를 엽니다.

인공 지능의 세계, 특히 글과 이미지를 자동으로 생성하는 "제너레이티브 AI"로 알려진 매우 인기 있는 분야는 회사가 세부 정보를 게시하지 않기로 결정한 오싹한 효과로 인해 그 지평을 닫을 위험에 처해 있습니다. 연구. 

그러나 비밀로의 전환은 AI 세계의 일부 참여자들이 개입하여 공개의 공백을 채우도록 자극했을 수 있습니다.

화요일, AI 개척자 Cerebras Systems, 전용 AI 컴퓨터 및 세계 최대 컴퓨터 칩 제조사, 오픈 소스로 게시 여러 버전의 생성 AI 프로그램을 제한 없이 사용할 수 있습니다. 

프로그램은 Cerebras에 의해 "훈련"됩니다. 즉, 회사의 강력한 슈퍼컴퓨터를 사용하여 최적의 성능을 제공함으로써 외부 연구원이 수행해야 하는 작업의 일부를 줄입니다. 

Cerebras의 공동 창립자이자 CEO인 Andrew Feldman은 ZDNET과의 인터뷰에서 ChatGPT의 창시자인 OpenAI의 결정을 언급하면서 "기업들은 4~XNUMX년 전에 내린 결정과 다른 결정을 내리고 있으며 우리는 이러한 결정에 동의하지 않습니다. 이번 달 최신 생성 AI 프로그램인 GPT-XNUMX를 공개하면서 기술적 세부 사항을 공개하지 않기로 한 조치는 AI 연구계에서 널리 비판을 받았습니다. 

또한 : GPT-4를 통해 OpenAI는 비밀 대 공개를 선택합니다.

“우리는 연구자나 XNUMX, XNUMX, XNUMX, XNUMX명의 LLM 직원뿐만 아니라 신생 기업, 중견 기업 및 대기업이 대규모 언어 모델을 교육하는 활기찬 커뮤니티가 개방적이고 활기찬 커뮤니티라고 믿습니다. 우리에게도 좋고 다른 사람들에게도 좋습니다.”라고 Feldman은 말했습니다.

대규모 언어 모델이라는 용어는 신경망이 샘플 데이터에서 단어의 통계적 분포를 캡처하는 기계 학습 원칙을 기반으로 하는 AI 프로그램을 나타냅니다. 이 프로세스를 통해 대규모 언어 모델이 다음 단어를 순서대로 예측할 수 있습니다. 이 능력은 ChatGPT와 같은 인기 있는 생성 AI 프로그램의 기반이 됩니다. 

동일한 종류의 기계 학습 접근 방식이 제안된 문구를 기반으로 이미지를 생성하는 OpenAI의 Dall*E와 같은 다른 분야의 생성 AI에도 적용됩니다. 

또한 : 최고의 AI 예술 생성기: DALL-E2 및 기타 재미있는 대안

Cerebras는 2018년에 생성 AI 열풍을 일으킨 OpenAI의 GPT 프로그램과 동일한 스타일의 XNUMX개 대형 언어 모델을 게시했습니다. 코드는 다음과 같습니다. 웹 사이트에서 사용 가능 AI 스타트업 허깅페이스 등 GitHub의.

프로그램의 크기는 111억 XNUMX만 개의 매개변수 또는 신경 가중치에서 XNUMX억 개까지 다양합니다. 더 많은 매개변수는 일반적으로 AI 프로그램을 더 강력하게 만들어 Cerebras 코드가 다양한 성능을 제공하도록 합니다. 

이 회사는 오픈 소스 Apache 2.0 라이선스에 따라 Python 및 TensorFlow 형식으로 된 프로그램 소스뿐만 아니라 프로그램이 개발된 기능 상태로 전환된 교육 방식의 세부 정보도 게시했습니다. 

그 공개를 통해 연구자들은 Cerebras 작업을 조사하고 재현할 수 있습니다. 

Feldman은 Cerebras 릴리스가 GPT 스타일 프로그램이 "최신 교육 효율성 기술을 사용하여" 공개된 것은 처음이라고 말했습니다.

공개된 다른 AI 교육 작업에는 OpenAI의 GPT-4와 같은 기술 데이터가 숨겨져 있거나 프로그램이 개발 과정에서 최적화되지 않았습니다. 즉, 프로그램에 공급되는 데이터가 프로그램 크기에 맞게 조정되지 않았습니다. Cerebras 기술 블로그 게시물에 설명된 대로. 

이러한 대규모 언어 모델은 계산 집약적인 것으로 악명이 높습니다. 화요일 발표된 Cerebras 작업은 AI 스타일 프로그램을 위해 특별히 조정된 기숙사 냉장고 크기의 컴퓨터인 CS-2 컴퓨터 XNUMX대의 클러스터에서 개발되었습니다. 이전에 회사에서 공개한 이 클러스터는 Andromeda 슈퍼컴퓨터로 알려져 있으며 수천 개의 Nvidia GPU 칩에서 LLM을 교육하는 작업을 크게 줄일 수 있습니다.

또한 : AI 선구자 Bengio는 ChatGPT의 성공이 AI의 비밀 유지에 피해를 줄 수 있다고 말했습니다.

화요일 출시의 일환으로 Cerebras는 오픈 소스 데이터를 기반으로 하는 프로그램의 크기에 따라 이러한 프로그램의 정확도가 얼마나 증가하는지에 대한 벤치마크 규칙인 최초의 오픈 소스 확장법을 제공했습니다. 사용된 데이터 세트는 오픈 소스입니다. 더미, 비영리 연구소에서 825년에 도입한 2020GB의 텍스트 모음(주로 전문적이고 학술적인 텍스트) 엘루터.   

OpenAI와 Google의 DeepMind의 이전 스케일링 법칙은 오픈 소스가 아닌 학습 데이터를 사용했습니다. 

Cerebras는 과거에 자사 시스템의 효율성 이점을 입증했습니다. 까다로운 자연어 프로그램을 효율적으로 교육할 수 있는 능력은 공개 출판 문제의 핵심이라고 Feldman은 말했습니다.

Feldman은 "효율성을 달성할 수 있다면 오픈 소스 커뮤니티에 물건을 넣을 수 있습니다."라고 말했습니다. "효율성을 통해 우리는 이 작업을 빠르고 쉽게 수행하고 커뮤니티를 위해 우리의 몫을 할 수 있습니다."

그는 OpenAI와 다른 기업들이 자신들의 일을 다른 세계와 단절하기 시작한 주된 이유는 그들이 AI의 훈련 비용 상승에 직면하여 수익원을 보호해야 하기 때문이라고 말했습니다. 

또한 : GPT-4: 불법적인 조언을 제공하고 '위험한 응급 행동'을 표시하는 새로운 능력

"너무 비싸서 전략적 자산이라고 결정했고 전략적이기 때문에 커뮤니티에서 보류하기로 결정했습니다."라고 그는 말했습니다. “저는 그것이 매우 합리적인 전략이라고 생각합니다. 

Feldman은 “기업이 많은 시간과 노력, 비용을 투자하고 그 결과를 전 세계와 공유하지 않으려는 경우 합리적인 전략입니다.”라고 덧붙였습니다. 

그러나 "우리는 그것이 덜 흥미로운 생태계를 만들고 장기적으로 연구의 상승세를 제한한다고 생각합니다."라고 그는 말했습니다.

Feldman은 기업이 데이터 세트 또는 모델 전문 지식과 같은 리소스를 "비축"할 수 있다고 말했습니다.

또한 : AI 도전자 Cerebras는 대규모 언어 모델의 속도를 높이기 위해 모듈식 슈퍼컴퓨터 'Andromeda'를 조립합니다.

"문제는 이러한 자원이 환경에서 어떻게 전략적으로 사용되는지입니다."라고 그는 말했습니다. "모든 사람이 볼 수 있는 데이터를 사용하여 개방형 모델을 제시함으로써 도움을 줄 수 있다는 것이 우리의 믿음입니다." 

오픈 소스 릴리스의 제품이 무엇인지 묻는 질문에 Feldman은 "수백 개의 개별 기관이 이러한 GPT 모델을 사용하여 다른 방법으로는 불가능했을 수 있는 작업을 수행할 수 있으며 그렇지 않으면 무시되었을 수 있는 문제를 해결할 수 있습니다."라고 말했습니다.