人工智能先驱 Cerebras 开启生成式人工智能，而 OpenAI 却陷入黑暗

人工智能的世界，尤其是广为人知的“生成式人工智能”（自动创建文字和图像）这一领域，正面临关闭视野的风险，因为公司决定不公布其详细信息，从而产生寒蝉效应。研究。 

但保密的转变可能促使人工智能世界的一些参与者介入并填补披露的空白。

周二，人工智能先驱 Cerebras Systems、专用人工智能计算机和世界上最大的计算机芯片的制造商， 作为开源发布 多个版本的生成人工智能程序可以不受限制地使用。 

这些程序由 Cerebras 进行“训练”，也就是说，使用该公司强大的超级计算机达到最佳性能，从而减少了外部研究人员必须做的一些工作。 

Cerebras 联合创始人兼首席执行官安德鲁·费尔德曼 (Andrew Feldman) 在接受 ZDNET 采访时表示：“公司正在做出与一两年前不同的决定，我们不同意这些决定。”他暗指 ChatGPT 的创建者 OpenAI 的决定，本月，该公司在披露其最新的生成式人工智能程序 GPT-4 时并未公布技术细节，这一举动在人工智能研究界受到了广泛批评。 

除此之外： 使用 GPT-4，OpenAI 选择保密而不是公开

“我们相信一个开放、充满活力的社区——不仅仅是研究人员，也不仅仅是三、四、五、八个法学硕士，而是一个充满活力的社区，初创公司、中型公司和企业正在其中训练大型语言模型——是对我们有好处，对其他人也有好处，”费尔德曼说。

大语言模型一词是指基于机器学习原理的人工智能程序，其中神经网络捕获样本数据中单词的统计分布。该过程允许大型语言模型按顺序预测下一个单词。这种能力是流行的生成式人工智能程序（例如 ChatGPT）的基础。 

同样的机器学习方法也适用于其他领域的生成式人工智能，例如 OpenAI 的 Dall*E，它根据建议的短语生成图像。 

除此之外： 最好的人工智能艺术生成器：DALL-E2 和其他有趣的替代品可供尝试

Cerebras 发布了 2018 个大型语言模型，其风格与 OpenAI 的 GPT 程序相同，该程序于 XNUMX 年掀起了生成式 AI 热潮。代码为 可以在网站上找到 人工智能初创公司 Hugging Face 等 GitHub上.

这些程序的大小各不相同，从 111 亿个参数或神经权重到 XNUMX 亿个。一般来说，参数越多，AI 程序就越强大，因此 Cerebras 代码可以提供一定的性能。 

该公司不仅在开源 Apache 2.0 许可证下发布了 Python 和 TensorFlow 格式的程序源代码，还发布了使程序达到功能开发状态的训练方案的详细信息。 

这一披露使研究人员能够检查和重现 Cerebras 的工作。 

Feldman 表示，Cerebras 的发布是首次“使用最先进的训练效率技术”公开 GPT 风格的程序。

其他已发布的人工智能训练工作要么隐藏了技术数据，例如OpenAI的GPT-4，要么程序在开发过程中没有进行优化，这意味着输入程序的数据没有根据程序的大小进行调整， 正如 Cerebras 技术博客文章中所解释的那样。 

众所周知，如此大型的语言模型是计算密集型的。 Cerebras 周二发布的工作是在由 2 台 CS-XNUMX 计算机组成的集群上开发的，这些计算机有宿舍冰箱大小，专门针对人工智能类型的程序进行了调整。该公司此前披露的该集群被称为 Andromeda 超级计算机，可以大大减少在数千个 Nvidia GPU 芯片上训练法学硕士的工作。

除此之外： AI 先驱 Bengio 表示，ChatGPT 的成功可能会促使 AI 的保密性发生破坏性转变

作为周二发布的内容的一部分，Cerebras 提供了它所称的第一个开源扩展法则，这是一个基准规则，用于说明此类程序的准确性如何随着基于开源数据的程序的规模而增加。使用的数据集是开源的 堆，一个 825 GB 的文本集合，主要是专业和学术文本，由非营利实验室于 2020 年推出 埃留瑟（Eleuther）.   

OpenAI 和 Google DeepMind 之前的缩放法则使用了非开源的训练数据。 

Cerebras 过去曾证明过其系统的效率优势。费尔德曼说，有效训练要求严格的自然语言程序的能力是开放出版问题的核心。

“如果你能提高效率，你就有能力把东西放到开源社区，”费尔德曼说。 “这种效率使我们能够快速、轻松地做到这一点，并为社区尽我们的一份力量。”

他说，OpenAI 和其他公司开始向世界其他地方关闭他们的工作的一个主要原因是，面对人工智能培训成本的不断上升，他们必须保护利润来源。 

除此之外： GPT-4：提供非法建议和显示“危险的紧急行为”的新能力

“它太贵了，他们认为这是一项战略资产，他们决定不向社区提供它，因为这对他们来说具有战略意义，”他说。 “我认为这是一个非常合理的策略。 

“如果一家公司希望投入大量时间、精力和金钱，而不与世界其他地方分享成果，那么这是一个合理的策略，”费尔德曼补充道。 

然而，“我们认为这会导致生态系统变得不那么有趣，而且从长远来看，它限制了研究的兴起”，他说。

费尔德曼观察到，公司可以通过囤积来“储存”资源，例如数据集或模型专业知识。

除此之外： 人工智能挑战者 Cerebras 组装模块化超级计算机“仙女座”以加速大型语言模型

“问题是，如何在景观中战略性地利用这些资源，”他说。 “我们相信，我们可以通过提出开放的模型、使用每个人都能看到的数据来提供帮助。” 

当被问及开源版本的产品可能是什么时，Feldman 表示：“数百个不同的机构可能会使用这些 GPT 模型，否则这些模型可能无法做到这一点，并解决本来可能被搁置的问题。”