Hailo, 엔비디아와 경쟁하며 에지 디바이스를 위한 에너지 효율적인 차세대 AI 가속기를 공개하고, 1억 2천만 달러의 자금을 확보했습니다.

엔비디아가 광범위한 하드웨어와 소프트웨어를 통해 생성 AI 시장에서 번창하는 가운데, 이스라엘의 스타트업 하일로(Hailo)가 경쟁자로 등장했습니다. 하일로는 에지 디바이스를 위해 특별히 설계된 새로운 에너지 효율적인 생성 AI 가속기인 하일로-10을 소개했습니다.

하일로-10 프로세서는 차량 및 상업용 로봇과 같은 에지 디바이스에서 클라우드 데이터 센터에 의존하지 않고 생성 AI 애플리케이션을 실행할 수 있게 합니다. 하일로는 이러한 방식이 모델 성능을 현저히 향상시키고 비용과 에너지 소비를 줄일 것이라고 주장합니다.

하일로-10 출시와 함께, 이 회사는 시리즈 C 자금 조달 추가 참여를 발표하며 1억 2천만 달러를 확보했습니다. 이는 다양한 산업의 신규 및 기존 투자자들에 의해 이끌어져 하일로의 가치를 12억 달러로 평가했습니다. 하일로의 공동 창립자이자 CEO인 오르 다논(Orr Danon)은 "이번 자금으로 우리는 파이프라인에 있는 흥미로운 기회를 활용할 수 있으며, 장기적인 성장 전략을 세울 수 있을 것입니다"라고 밝혔습니다. 그는 하일로-10 가속기가 생성 AI를 일상 생활에 원활히 통합하여, 사용자들이 챗봇 및 콘텐츠 생성기 같은 도구를 유연하게 활용할 수 있게 할 것이라고 강조했습니다.

하일로-10 생성 AI 가속기에 대한 기대

생성 AI는 이미 마케팅 콘텐츠를 생성하고 인간과 유사한 대화를 시뮬레이션함으로써 기업을 변모시키고 있습니다. 그러나 에지에서의 기능은 아직 대부분 활용되지 않고 있습니다. 하일로는 새로운 프로세서를 통해 자연스러운 인간 상호작용을 하는 로봇 등 정교한 기능을 현실로 가져오고자 합니다.

전통적인 클라우드 데이터 센터의 AI 하드웨어는 에지 애플리케이션을 지원할 수 있지만, 클라우드 컴퓨팅은 데이터 처리 지연으로 인해 지연(latency) 문제를 겪는 경우가 많습니다. 하일로-10은 생성 AI 서비스를 직접 디바이스에서 실행함으로써 이러한 문제를 극복하여 처리 능력을 향상시킵니다.

하일로-10은 실시간 번역 자동화, 소프트웨어 코드 생성, 텍스트 프롬프트로부터 이미지 및 비디오 생성 등을 PC 및 다른 에지 시스템에서 CPU에 부담을 주거나 배터리를 소모하지 않고 수행할 수 있게 합니다.

하일로-10은 이전 모델인 하일로-8 및 하일로-15와 동일한 소프트웨어를 사용하여 뛰어난 전력 대비 성능을 자랑합니다. 이 프로세서는 5W 미만의 전력으로 Llama2-7B를 최대 초당 10개의 토큰으로 실행할 수 있으며, Stable Diffusion 2.1을 사용해 5초 이내에 이미지를 생성할 수 있습니다.

에지 생성 AI가 더욱 몰입감을 주면서, 최소한의 전력 소비(이상 5W 미만) 내에서 대규모 언어 모델(LLM)을 관리하는 것이 중요해지고 있습니다. 하일로-10은 초당 40 TOPS(테라 연산)를 달성하여 에지 AI 가속기의 새로운 성능 기준을 세웠습니다.

비교적으로, 엔비디아의 제트슨(Jetson) 라인은 에지 AI 워크로드를 처리 시 최대 275 TOPS를 제공하지만 더 많은 전력을 소모합니다. 입문 수준의 에지 AI 애플리케이션을 위해 엔비디아의 오린 나노(Orin Nano)는 5W에서 15W의 전력 사용으로 최대 40 TOPS를 제공합니다. 다논은 하일로-10이 GPU 기반 솔루션에 비해 더 나은 성능을 보여주며, 비용효율성과 저전력 요구로 인해 더 컴팩트한 에지 시스템에 적합하다고 강조했습니다.

하일로-10의 초기 목표 산업

하일로는 하일로-10이 2024년 2분기에 출하될 때 PC 및 자동차 인포테인먼트 분야를 목표로 하고 있습니다. 하지만 생성 AI 기반 로봇과 같은 애플리케이션으로의 확장 시점을 논의하기는 이릅니다. 이 분야는 이미 엔비디아의 GR00T 프로젝트를 통해 탐색된 바 있습니다.

현재 하일로는 NEC, Bosch, Schneider Electric, Dell, ABB, Foxconn과 같은 저명한 기업을 포함하여 다양한 산업에 걸쳐 300개의 글로벌 고객과 파트너십을 맺고 있습니다.

결론적으로, 하일로의 혁신적인 하일로-10 생성 AI 가속기는 기존 솔루션에 에너지 효율적인 대안을 제공하며 다양한 애플리케이션의 기능을 향상시킬 것으로 기대됩니다.