OctoAI, con sede en Seattle, ha lanzado OctoStack, una plataforma diseñada para permitir a las empresas implementar modelos generativos de IA de forma privada. Esta solución turn-key puede utilizarse en la nube privada virtual o de manera local, ofreciendo acceso a inferencia optimizada, personalización de modelos y gestión de activos. El objetivo de OctoAI es brindar a las empresas la flexibilidad para desarrollar y operar aplicaciones de IA generativa adaptadas a sus necesidades específicas.
“Desarrollar aplicaciones viables y a prueba de futuro en IA generativa requiere más que solo inferencia en la nube asequible”, comentó Luis Ceze, CEO de OctoAI. “La portabilidad de hardware, la incorporación de modelos, el ajuste fino y el balanceo de carga son retos de pila completa que exigen soluciones integrales”.
OctoStack admite el ajuste fino y la implementación de varios modelos de IA de código abierto y comerciales, incluyendo la familia Llama de Meta, el modelo 8x8B de Mistral y Stable Diffusion. Sin embargo, no incluye el modelo Claude de Anthropic, que está disponible exclusivamente en la nube. “Proporcionamos modelos de código abierto altamente capaces que los clientes pueden controlar y personalizar completamente”, añadió Ceze.
Soluciones Totalmente Gestionadas vs. Autogestionadas
Este lanzamiento sigue a la oferta anterior de OctoAI, un servicio de infraestructura auto-optimizado. Ceze destacó que OctoStack es una solución autogestionada, ya que la demanda de despliegues privados ha crecido, con el uso de clientes alcanzando “miles de millones de tokens por día”. Lo comparó con alojar un blog en un servidor privado en lugar de en una plataforma compartida, subrayando la importancia del control de datos para las empresas.
“A medida que las empresas adoptan cada vez más la IA, se preocupan por enviar datos a través de APIs fuera de su jurisdicción”, explicó Ceze. “OctoStack permite a los clientes seleccionar y personalizar sus modelos, mientras proporciona una API completamente privada. Nosotros gestionamos la infraestructura para asegurar que los modelos sean confiables y eficientes en sus GPUs”.
Aunque cientos de clientes utilizan la solución totalmente gestionada de OctoAI, Ceze no reveló el número de usuarios de OctoStack. Mencionó a empresas que ya están experimentando con herramientas de IA generativa, como Apate.ai, Otherside AI, Latitude Games y CapitalAI, como objetivos primarios para esta oferta.
Potencial de Crecimiento para la IA Generativa en las Empresas
El mercado empresarial presenta grandes oportunidades para la adopción de IA generativa. Un informe de Menlo Ventures reveló que se gastaron $400 mil millones en software en la nube en este sector el año pasado, con la IA representando $70 mil millones (18%), y la IA generativa solo $2.5 mil millones—menos del 1%.
“El uso e interés actual en IA generativa entre las empresas es alto, con más de la mitad de los CIOs planificando una implementación formal”, señaló Hyoun Park, CEO de Amalgam Insights. “Sin embargo, las capacidades para la personalización y ajuste fino de modelos siguen siendo limitadas”.
Ray Wang, fundador de Constellation Research, observó que muchas organizaciones están optimizando para un entorno de múltiples proveedores sin una pila de IA generativa pura. Ve a OctoStack de manera positiva, ya que centraliza capacidades, simplificando el proceso de implementación.
OctoAI enfrenta competencia de startups y empresas establecidas como Nvidia, Databricks y SambaNova Systems. Sin embargo, Ceze confía en la posición de OctoAI. “Este es un espacio dinámico, y aunque la competencia se intensificará, nuestro enfoque único en optimizaciones entre tecnologías nos distingue. Esa es la esencia de la base de nuestra empresa.”
Clasificación
