尽管英伟达在生成 AI 市场凭借其丰富的硬件和软件产品取得成功，像 Hailo 这样的初创公司正在崭露头角，积极竞争。Hailo 是一家以色列初创企业，推出了新型节能生成 AI 加速器 Hailo-10，专为边缘设备设计。
Hailo-10 处理器使生成 AI 应用能够在边缘设备（如车辆和商业机器人）上运行，无需依赖云数据中心。Hailo 声称，这将显著提升模型性能，同时降低成本和能源消耗。
在 Hailo-10 发布之际，公司宣布扩大其 C 轮融资，新增 1.2 亿美元投资。此次投资由多家新老投资者共同主导，Hailo 的估值达 12 亿美元。Hailo 联合创始人兼 CEO Orr Danon 表示：“这笔资金将帮助我们抓住管道中的重要机会，并为长期增长奠定基础。”他强调，Hailo-10 加速器将使生成 AI 无缝融入日常生活，赋予用户以无与伦比的灵活性，使用聊天机器人和内容生成器工具。
Hailo-10 生成 AI 加速器的期待
生成 AI 已经在创建市场营销内容和模拟人类对话方面变革了企业，然而其在边缘设备上的应用潜力尚未充分开发。Hailo 希望通过新处理器实现复杂功能，令机器人能够进行自然的人际交流。
尽管云数据中心的传统 AI 硬件可以支持边缘应用，但云计算常常因数据处理延迟而出现延迟问题。Hailo-10 通过直接在设备上运行生成 AI 服务，克服了这一挑战，增强了处理能力。
根据 Danon 的说法，Hailo-10 使用户能够直接在 PC 或其他边缘系统上执行实时翻译、生成软件代码或根据文本提示创建图像和视频等任务，而无需增加 CPU 负担或消耗过多电量。
Hailo-10 使用与其前身 Hailo-8 和 Hailo-15 相同的软件套件，并拥有令人印象深刻的功率与性能比。它可以在低于 5W 的功耗下以每秒最多 10 个令牌的速度运行 Llama2-7B，并在 5 秒内生成 Stable Diffusion 2.1 图像。
随着边缘生成 AI 变得更加沉浸式，重点转向在最低功耗下（理想状态下低于 5W）管理大型语言模型（LLM）。Hailo-10 达到每秒高达 40 万亿次操作（TOPS），为边缘 AI 加速器设定了新的性能基准。
相比之下，英伟达的 Jetson 系列能够处理边缘 AI 工作负载，提供高达 275 TOPS 的性能，但功耗也更高。入门级边缘 AI 应用中，英伟达的 Orin Nano 提供最多 40 TOPS，功耗范围为 5W 至 15W。Danon 强调，Hailo-10 在推理性能上优于基于 GPU 的解决方案，凭借其具成本效益和较低功耗特点，适合更紧凑的边缘系统。
Hailo-10 的初步目标行业
Hailo 计划在 2024 年第二季度开始向 PC 和汽车娱乐领域推出 Hailo-10。然而，关于何时将其扩展至生成 AI 驱动的机器人等应用，目前尚不清楚，这一领域已经被英伟达在其 GR00T 项目中探索过。
目前，Hailo 与来自计算、汽车、安全、工业 4.0、零售和医疗等多个领域的 300 家全球客户合作，包括 NEC、博世、施耐德电气、戴尔、ABB 和富士康等知名公司。
总之，Hailo 的创新 Hailo-10 生成 AI 加速器有望重新定义边缘计算，提供比当前解决方案更具能效的替代方案，同时增强各种应用的功能。
排行榜
