儘管Nvidia在生成式AI市場中蓬勃發展，憑藉其豐富的硬體和軟體產品，但以色列創業公司Hailo也正迅速崛起，展開競爭。Hailo推出了Hailo-10，一款專為邊緣設備設計的新型高能效生成式AI加速器。
Hailo-10處理器使得生成式AI應用能夠在邊緣設備（如汽車和商用機器人）上運行，而無需依賴雲端數據中心。Hailo聲稱，這將顯著提升模型性能，同時降低成本和能源消耗。
在Hailo-10發布的同時，該公司宣布擴大其C輪融資，額外籌集了1.2億美元。此項投資由多位新舊投資者共同領投，使Hailo的估值達到12億美元。Hailo聯合創始人兼CEO Orr Danon表示：「這筆資金將使我們能夠把握龐大的商機，為長期增長奠定基礎。」他強調，Hailo-10加速器將無縫整合生成式AI於日常生活中，讓用戶能夠靈活使用聊天機器人和內容生成工具。
Hailo-10生成式AI加速器的預期功能
生成式AI已經在企業中轉型，創造市場行銷內容和模擬類人對話。然而，它的邊緣能力尚未被充分開發。Hailo希望透過其新處理器將複雜功能（如能進行自然人類互動的機器人）帶入現實。
雖然雲數據中心中的傳統AI硬體可以支持邊緣應用，但由於數據處理延遲，雲計算往往會遭遇延遲問題。Hailo-10透過直接在設備上運行生成式AI服務，克服了這一挑戰，增強了處理能力。
根據Danon的介紹，無論是自動化即時翻譯、生成軟體代碼，還是從文本提示創建圖像和視頻，Hailo-10都允許用戶在PC或其他邊緣系統上直接執行這些任務，無需過度消耗CPU或耗電。
Hailo-10使用與其前身Hailo-8和Hailo-15相同的軟體套件，具有令人印象深刻的功率與性能比。它可以以不到5W的功耗，每秒運行最多10個tokens的Llama2-7B，同時在5秒內生成Stable Diffusion 2.1的圖像。
隨著邊緣生成式AI變得愈加沉浸式，重點轉向在極低功耗（理想情況下低於5W）下管理大型語言模型（LLMs）。Hailo-10的性能高達40 TOPS（每秒tera運算），為邊緣AI加速器設定了新的性能基準。
相比之下，Nvidia的Jetson系列處理邊緣AI工作負載，最高可達275 TOPS，但功耗也更高。對於入門級的邊緣AI應用，Nvidia的Orin Nano可提供最高40 TOPS，功耗範圍為5W至15W。Danon強調，Hailo-10在推理性能上優於基於GPU的解決方案，因其性價比及低功耗，使之適用於更緊湊的邊緣系統。
Hailo-10的初始目標行業
Hailo計劃在2024年第二季度開始出貨Hailo-10，主要針對PC和汽車信息娛樂領域。不過，何時擴展至生成式AI驅動的機器人等應用仍待觀察，此領域Nvidia的GR00T專案已經進行探索。
目前，Hailo與300家全球客戶合作，覆蓋計算、汽車、安全、工業4.0、零售和醫療等多個領域，合作夥伴包括NEC、Bosch、施耐德電氣、Dell、ABB和富士康等知名公司。
總之，Hailo創新的Hailo-10生成式AI加速器有潛力重新定義邊緣計算，提供現有解決方案的高能效替代方案，同時增強多種應用的能力。
排行榜
