Cerebras 推出人工智能推理服务挑战 Nvidia

Cerebras Systems 周二宣布为开发人员推出人工智能推理解决方案。据该公司声称，这是一种更快的推理解决方案，比 Nvidia 的产品快 20 倍。

Cerebras 将提供更大的芯片来运行人工智能应用程序，据该公司称，这些芯片也比 Nvidia GPU 便宜。通常通过云服务提供商访问行业标准的 Nvidia GPU，以运行 ChatGPT 等大型语言模型。对于许多小公司来说，获得访问权限通常并不容易，而且费用昂贵。 

Cerebras 声称其新芯片可以提供超越 GPU 的性能

人工智能推理是操作已经训练好的人工智能模型以获得输出的过程，例如聊天机器人的答案和解决不同的任务。推理服务是当今人工智能应用程序的支柱，因为它们依赖推理服务进行日常操作来为用户提供便利。

Cerebras 表示，推理是 AI 行业增长最快的部分，因为它占云计算中所有 AI 相关工作负载的 40%。 Cerebras 首席执行官安德鲁·费尔德曼 (Andrew Feldman) 表示，该公司的超大芯片可提供比 GPU 更高的性能。他说，GPU 无法达到这个水平。费尔德曼在接受路透社采访时表示。

他加了，

“我们以最高精度做到这一点，并且以最低的价格提供它。”资料来源： 路透社 。

CEO表示，现有的AI推理服务并不能令所有客户满意。他在旧金山告诉另一组记者，该公司“看到了人们对更快、更具成本效益的解决方案的各种兴趣”。 

到目前为止，英伟达凭借其黄金标准芯片和统一计算设备架构（CUDA）编程环境主导了人工智能计算市场。这帮助英伟达通过提供大量工具将开发人员锁定在其生态系统中。

Cerbras 芯片的内存是 Nvidia H100 GPU 的 7000 倍

Cerebras 表示，其高速推理服务是人工智能行业的转折点。该公司的新芯片有餐盘那么大，被称为晶圆级引擎。他们每秒可以处理 1000 个代币，该公司表示这相当于宽带互联网的引入。

据该公司称，新芯片可为各种人工智能模型提供不同数量的输出。对于 Llama 3.1 8B，新芯片每秒可以处理多达 1800 个令牌，而对于 Llama 3.1 70B，它可以每秒处理 450 个令牌。

Cerebras 提供的推理服务价格为每 100 万代币 10 美分，低于基于 GPU 的推理服务。根据业界的看法，替代方法通常会损害性能的准确性，而根据公司的说法，Cerebras 的新芯片能够保持准确性。

Cerebras表示将提供不同形式的AI推理产品。该公司计划通过其云和开发者密钥推出推理服务。该公司还将向数据中心客户和那些想要操作系统的客户出售新芯片。

新的 Wafer Scale Engine 芯片拥有自己的集成冷却和电力传输模块，并且是名为 CS-3 的 Cerebras 数据中心系统的一部分。据不同 报道 ，Cerebras CS-3系统是该公司推理服务的支柱。

该系统的内存容量是 Nvidia H100 GPU 的 7000 倍。这也解决了许多芯片制造商正在努力解决的内存带宽的根本问题。

Cerbras 还致力于成为一家上市公司。为此，该公司本月向美国证券交易委员会（SEC）提交了一份dent招股说明书。