一家初创芯片公司Groq通过转发信息披露，其系统已实现与Meta最新发布的LLaMA 3大型语言模型的每秒超过800个令牌的处理速度。工程师Dan Jakaitis在社交媒体X（原Twitter）上提到：“我们对他们的API进行了测试，服务的速度显然不如硬件演示那样快。这可能更多是软件问题——但我对Groq的广泛应用仍然感到兴奋。”
另一方面，OthersideAI的联合创始人兼首席执行官Matt Shumer和其他知名用户表示，Groq的系统确实在使用LLaMA 3时实现了每秒超过800个令牌的快速推理速度。如果这一性能得到验证，将大大超越当前的云AI服务，初步测试表明Shumer的说法可信。
针对AI优化的新处理器架构
Groq是一家资金充足的硅谷初创公司，正在开创一种专为深度学习中的矩阵乘法操作设计的独特处理器架构。其张量流处理器摒弃了传统CPU和GPU的缓存和复杂控制逻辑，采用了专为AI任务量身定制的简化执行模型。
Groq声称，通过减少一般处理器中常见的开销和内存瓶颈，它能为AI推理提供更卓越的性能和效率。如果其在LLaMA 3上的每秒800个令牌的成绩得到证实，这一观点将得到进一步支持。
与Nvidia及其他成熟芯片制造商的架构相比，Groq的设计有显著不同。Groq专门开发其张量流处理器，以满足深度学习的计算需求，而不是对通用芯片进行修改。
这种创新方法使Groq能够消除不必要的电路，优化数据流，以应对AI推理中固有的重复且可并行化的任务。该架构显著降低了大规模神经网络操作的延迟、功耗和成本。
快速高效的AI推理需求
每秒800个令牌相当于每分钟约48,000个令牌，足以在短短一秒内生成约500个单词的文本。这个速度几乎是目前云端典型大语言模型推理速度的十倍。
随着语言模型的不断扩大，参数数量达到数十亿，快速高效的AI推理需求显得愈加重要。虽然训练这些大型模型需要大量计算，但以经济高效的方式部署它们则依赖能够快速处理的硬件，并且不会消耗过多能源，尤其对聊天机器人、虚拟助手和交互平台等对延迟敏感的应用至关重要。
随着技术的发展，AI推理的能效越来越受到关注。数据中心已经是高能耗的消费者，而大规模AI的重计算需求只会加剧这一问题。平衡高性能与低能耗的硬件对于实现可持续的大规模AI至关重要，而Groq的张量流处理器正是为了应对这一效率挑战而设计的。
挑战Nvidia的主导地位
目前Nvidia凭借其A100和H100 GPU在AI处理器市场中处于领先地位，支撑着大多数云AI服务。然而，包括Groq、Cerebras、SambaNova和Graphcore在内的新一波初创公司正在崭露头角，它们的架构专为AI设计。
在这些竞争者中，Groq对推理和训练的关注尤其引人注目。首席执行官Jonathan Ross自信预测，到2024年底，大多数AI初创企业将采用Groq的低精度张量流处理器进行推理。
Meta的LLaMA 3被称为最强大的开源语言模型之一，为Groq提供了展示其硬件推理能力的理想机会。如果Groq的技术能在运行LLaMA 3时超过主流替代品，它将进一步验证该初创公司的主张，并加速市场的接受度。该公司还成立了一个新的业务单元，通过云服务和战略合作伙伴关系提高其芯片的可获得性。
强大的开源模型如LLaMA的出现与Groq高效的AI推理硬件相结合，可能使得先进语言AI变得更具可及性和成本效益，为更广泛的企业和开发者提供服务。然而，Nvidia仍是一个强大的竞争者，其他挑战者也准备抓住新的机遇。
随着大规模AI模型快速发展的基础设施建设竞争加剧，以合理成本实现近实时AI推理可能会彻底变革电子商务、教育、金融和医疗等多个领域。一位用户在X.com上简洁地总结了这一时刻：“速度 + 低成本 + 高质量 = 此时此刻没有其他选择。”未来几个月将决定这一 assertion 是否成立，凸显出AI硬件的格局正在快速演进，挑战传统规范。
排行榜
