Несмотря на успех Nvidia на рынке генеративного ИИ благодаря широкому спектру аппаратного и программного обеспечения, стартапы, такие как Hailo, активно выходят на конкурентный уровень. Израильская компания Hailo представила Hailo-10, новый энергоэффективный ускоритель генеративного ИИ, специально предназначенный для устройств на границе сети.
Процессор Hailo-10 позволяет запускать приложения генеративного ИИ на устройствах, таких как автомобили и коммерческие роботы, без зависимости от облачных дата-центров. Hailo утверждает, что это значительно улучшит производительность моделей при снижении затрат и потребления энергии.
В рамках запуска Hailo-10 компания объявила о расширении раунда финансирования серии C, привлечя дополнительные 120 миллионов долларов. Инвестиции, полученные от новых и существующих инвесторов из различных отраслей, оценили Hailo в 1,2 миллиарда долларов. «Это финансирование позволит нам реализовать захватывающие возможности и обеспечит долгосрочный рост», - сообщил соучредитель и CEO Hailo Орр Данон. Он подчеркнул, что ускоритель Hailo-10 позволит интегрировать генеративный ИИ в повседневную жизнь, предоставляя пользователям возможность с легкостью использовать такие инструменты, как чат-боты и генераторы контента.
Что ожидать от ускорителя генеративного ИИ Hailo-10
Генеративный ИИ уже трансформирует бизнес, создавая маркетинговое содержание и моделируя человеческие беседы. Однако его возможности на границе сети остаются в значительной степени неиспользованными. Hailo намерен реализовать сложные функции, такие как роботы, способные на естественное взаимодействие с людьми, с помощью своего нового процессора.
Хотя традиционное аппаратное обеспечение ИИ в облачных дата-центрах поддерживает приложения на границе сети, облачные вычисления часто страдают от задержек, связанных с обработкой данных. Hailo-10 преодолевает эту проблему, обеспечивая работу генеративных ИИ-сервисов непосредственно на устройствах, улучшая их вычислительные возможности.
Будь то автоматизация перевода в реальном времени, генерация программного кода или создание изображений и видео на основе текстовых подсказок, Hailo-10 позволяет пользователям выполнять эти задачи напрямую на ПК или других устройствах на границе сети, не перегружая CPU и не расходуя батарею, по словам Данона.
Используя ту же программную платформу, что и его предшественники Hailo-8 и Hailo-15, Hailo-10 демонстрирует впечатляющее соотношение мощности и производительности. Он может запускать Llama2-7B с производительностью до 10 токенов в секунду, потребляя менее 5 Вт, создавая изображения с помощью Stable Diffusion 2.1 менее чем за 5 секунд.
Поскольку генеративный ИИ на границе сети становится все более интерактивным, акцент смещается на управление большими языковыми моделями (LLM) в условиях минимального энергопотребления — идеально ниже пяти ватт. Hailo-10 достигает показателя до 40 TOPS (тера операций в секунду), устанавливая новый стандарт производительности для ускорителей ИИ на границе сети.
Для сравнения, линейка Nvidia Jetson, обрабатывающая нагрузки ИИ на границе сети, достигает 275 TOPS, но потребляет больше энергии. Для начального уровня приложений Hailo предлагает Orin Nano с производительностью до 40 TOPS и потреблением энергии от 5 Вт до 15 Вт. Данон подчеркнул, что Hailo-10 демонстрирует превосходную производительность для инференса по сравнению с GPU-решениями благодаря своей экономичности и сниженным требованиям к мощности, что делает его подходящим для более компактных систем на границе сети.
Первые целевые отрасли для Hailo-10
Hailo планирует нацелиться на сектора ПК и автомобильной информационно-развлекательной системы, когда Hailo-10 начнет поставки во втором квартале 2024 года. Тем не менее, пока неизвестно, когда он расширится на приложения, такие как роботы с использованием генеративного ИИ, область, уже исследованная Nvidia в рамках проекта GR00T.
На данный момент Hailo сотрудничает с 300 глобальными клиентами из различных отраслей, включая вычисления, автомобилестроение, безопасность, Индустрию 4.0, розничную торговлю и здравоохранение, среди которых такие заметные компании, как NEC, Bosch, Schneider Electric, Dell, ABB и Foxconn.
В заключение, инновационный ускоритель Hailo-10 по генеративному ИИ может изменить подход к вычислениям на границе сети, предлагая энергоэффективные альтернативы существующим решениям и улучшая возможности ряда приложений.
Рейтинг
