OctoAI Apresenta o OctoStack: Capacitando Empresas a Customizar e Implantar Modelos de IA Privados com Facilidade

A OctoAI, com sede em Seattle, lançou o OctoStack, uma plataforma projetada para permitir que as empresas implantem modelos privados de IA generativa. Esta solução de produção turnkey pode ser utilizada em um cloud privado virtual ou localmente, oferecendo acesso a inferência otimizada, personalização de modelos e gerenciamento de ativos. O objetivo da OctoAI é proporcionar às empresas a flexibilidade de desenvolver e operar aplicações de IA generativa adaptadas às suas necessidades específicas.

“Construir aplicações viáveis e à prova de futuro em IA generativa exige mais do que apenas uma inferência em nuvem acessível,” disse Luis Ceze, CEO da OctoAI. “A portabilidade de hardware, a integração de modelos, o ajuste fino e o balanceamento de carga são desafios de pilha completa que demandam soluções abrangentes.”

O OctoStack suporta o ajuste fino e a implantação de diversos modelos de IA, tanto open-source como comerciais, incluindo a família Llama da Meta, o Mistral 8x8B e o Stable Diffusion. No entanto, não inclui o modelo Claude da Anthropic, que está disponível exclusivamente na nuvem. “Oferecemos modelos open-source altamente capacitados que os clientes podem controlar e personalizar completamente,” acrescentou Ceze.

Soluções Totalmente Gerenciadas vs. Auto-Gerenciadas

Esse lançamento segue a oferta anterior da OctoAI, um serviço de infraestrutura auto-otimizável. Ceze destacou que o OctoStack é uma solução auto-gerenciada, à medida que a demanda por implantações privadas cresceu, com o uso pelos clientes atingindo “bilhões de tokens por dia.” Ele comparou isso a hospedar um blog em um servidor privado em vez de uma plataforma compartilhada, enfatizando a importância do controle de dados para as empresas.

“À medida que as empresas adotam cada vez mais a IA, elas se preocupam em enviar dados via APIs para fora de sua jurisdição,” explicou Ceze. “O OctoStack permite que os clientes selecionem e personalizem seus modelos enquanto oferece uma API completamente privada. Nós gerenciamos a infraestrutura para garantir que os modelos sejam confiáveis e eficientes em suas GPUs.”

Embora centenas de clientes utilizem a solução totalmente gerenciada da OctoAI, Ceze não revelou o número de usuários do OctoStack. Ele mencionou empresas que já estão experimentando ferramentas de IA generativa, como Apate.ai, Otherside AI, Latitude Games e CapitalAI, como alvos primários para essa oferta.

Potencial de Crescimento da IA Generativa nas Empresas

O mercado empresarial apresenta oportunidades significativas para a adoção de IA generativa. Um relatório da Menlo Ventures revelou que foram gastos US$ 400 bilhões em software em nuvem neste setor no ano passado, com a IA representando US$ 70 bilhões (18%), e a IA generativa constituindo apenas US$ 2,5 bilhões—menos de 1%.

“O interesse e o uso atual de IA generativa entre as empresas é alto, com mais da metade dos CIOs planejando a implantação formal,” observou Hyoun Park, CEO da Amalgam Insights. “No entanto, as capacidades de personalização e ajuste fino de modelos ainda são limitadas.”

Ray Wang, fundador da Constellation Research, observou que muitas organizações estão se otimizando para um cenário de múltiplos fornecedores sem uma pilha puramente generativa de IA. Ele vê o OctoStack de forma positiva, pois centraliza capacidades, simplificando o processo de implantação.

A OctoAI enfrenta concorrência de startups e empresas consolidadas como Nvidia, Databricks e SambaNova Systems. No entanto, Ceze mantém confiança na posição da OctoAI. “Este é um espaço dinâmico, e embora a concorrência aumente, nosso foco único em otimizações entre tecnologias nos diferencia. Essa é a essência da base da nossa empresa.”