Mesmo com a Nvidia prosperando no mercado de IA generativa por meio de sua ampla gama de hardware e software, startups como a Hailo estão surgindo para competir. A Hailo, uma startup israelense, lançou o Hailo-10, um novo acelerador de IA generativa eficiente em termos de energia, projetado especificamente para dispositivos de borda.
O processador Hailo-10 permite que aplicações de IA generativa funcionem em dispositivos de borda—como veículos e robôs comerciais—sem depender de data centers na nuvem. A Hailo afirma que isso aumentará significativamente o desempenho dos modelos, ao mesmo tempo em que reduzirá custos e consumo de energia.
Juntamente com o lançamento do Hailo-10, a empresa anunciou uma extensão de sua rodada de financiamento da Série C, garantindo mais $120 milhões. Este investimento, liderado por investidores novos e existentes de diversas indústrias, avalia a Hailo em $1,2 bilhões. "Esse financiamento nos permitirá aproveitar oportunidades empolgantes em nosso portfólio e nos posiciona para um crescimento sustentável a longo prazo," disse o cofundador e CEO da Hailo, Orr Danon. Ele destacou que o acelerador Hailo-10 integrará a IA generativa de forma fluida ao cotidiano, permitindo que os usuários utilizem ferramentas como chatbots e geradores de conteúdo com flexibilidade incomparável.
O que Esperar do Acelerador Hailo-10 de IA Generativa
A IA generativa já está transformando as empresas ao criar conteúdos de marketing e simular conversas humanas. Entretanto, suas capacidades de borda ainda estão sendo amplamente exploradas. A Hailo visa trazer funcionalidades sofisticadas—como robôs que interagem naturalmente com humanos—para a realidade com seu novo processador.
Embora o hardware de IA tradicional em data centers na nuvem possa suportar aplicações de borda, a computação em nuvem frequentemente enfrenta latência devido a atrasos no processamento de dados. O Hailo-10 supera esse desafio ao executar serviços de IA generativa diretamente nos dispositivos, melhorando suas capacidades de processamento.
Seja automatizando traduções em tempo real, gerando código de software ou criando imagens e vídeos a partir de comandos textuais, o Hailo-10 permite que os usuários realizem essas tarefas diretamente em PCs ou outros sistemas de borda, sem sobrecarregar a CPU ou drenar a bateria, segundo Danon.
Utilizando a mesma suíte de software de seus antecessores, Hailo-8 e Hailo-15, o Hailo-10 opera com uma impressionante relação de potência e desempenho. Ele pode rodar o Llama2-7B a até 10 tokens por segundo com menos de 5W de potência, enquanto gera imagens com Stable Diffusion 2.1 em menos de 5 segundos.
À medida que a IA generativa de borda se torna mais imersiva, o foco se desloca para o gerenciamento de grandes modelos de linguagem (LLMs) dentro de limites de potência mínimos—idealmente abaixo de cinco watts. O Hailo-10 alcança até 40 TOPS (tera operações por segundo), estabelecendo um novo padrão de desempenho para aceleradores de IA de borda.
Em comparação, a linha Jetson da Nvidia, que lida com cargas de trabalho de IA de borda, oferece até 275 TOPS, mas consome mais potência. Para aplicações de IA de borda de nível inicial, o Orin Nano da Nvidia oferece até 40 TOPS com consumo de energia variando de 5W a 15W. Danon destacou que o Hailo-10 apresenta desempenho superior em inferência em relação às soluções baseadas em GPU, graças à sua relação custo-benefício e redução da demanda energética, tornando-o adequado para sistemas de borda mais compactos.
Indústrias Alvo Iniciais para o Hailo-10
A Hailo planeja focar nos setores de PC e entretenimento automotivo quando o Hailo-10 começar a ser enviado no segundo trimestre de 2024. No entanto, ainda não está claro quando a empresa se expandirá para aplicações como robôs impulsionados por IA generativa, uma área já explorada pela Nvidia com seu projeto GR00T.
Atualmente, a Hailo tem parcerias com 300 clientes globais em diversos setores, incluindo computação, automobilismo, segurança, Indústria 4.0, varejo e saúde, contando com empresas notáveis como NEC, Bosch, Schneider Electric, Dell, ABB e Foxconn.
Em conclusão, o inovador acelerador de IA generativa Hailo-10 pode redefinir a computação de borda, oferecendo alternativas eficientes em termos de energia às soluções existentes, ao mesmo tempo em que aprimora as capacidades de uma gama de aplicações.
Classificação
