OctoAI представляет OctoStack: Помогаем предприятиям легко настраивать и разрабатывать частные AI модели.

Компания OctoAI из Сиэтла запустила платформу OctoStack, созданную для того, чтобы дать предприятиям возможность разворачивать частные генеративные модели ИИ. Это комплексное решение можно использовать как в виртуальном частном облаке, так и на собственных серверах, обеспечивая доступ к оптимизированной инференции, настройки моделей и управлению активами. Цель OctoAI — предоставить компаниям гибкость в разработке и эксплуатации генеративных приложений ИИ, адаптированных к их специфическим требованиям.

«Создание жизнеспособных и готовых к будущему генеративных приложений ИИ требует большего, чем доступная облачная инференция», — сказал Луис Сезе, генеральный директор OctoAI. «Портируемость оборудования, интеграция моделей, их тонкая настройка и балансировка нагрузки — это задачи полного стека, требующие комплексных решений».

OctoStack поддерживает тонкую настройку и развертывание различных моделей ИИ с открытым исходным кодом и коммерческих моделей, включая семействo Llama от Meta, Mistral 8x8B и Stable Diffusion. Однако в него не входит модель Claude от Anthropic, доступная только в облаке. «Мы предоставляем высокопроизводительные модели с открытым исходным кодом, которые клиенты могут полностью контролировать и настраивать», — добавил Сезе.

Управляемые и самостоятельные решения

Этот релиз последовал за предыдущим предложением OctoAI — службой самооптимизирующейся инфраструктуры. Сезе отметил, что OctoStack является самостоятельным решением, поскольку спрос на частные развертывания растёт: «ежедневно обрабатываются миллиарды токенов». Он сравнил это с размещением блога на частном сервере, а не на общей платформе, подчеркивая важность контроля данных для предприятий.

«С увеличением принятия ИИ компаниями возрастает беспокойство о передаче данных через API за пределами их юрисдикции», — объяснил Сезе. «OctoStack позволяет клиентам выбирать и настраивать свои модели, обеспечивая совершенно приватный API. Мы управляем инфраструктурой, чтобы гарантировать надежность и эффективность моделей на их графических процессорах».

Хотя сотни клиентов используют полностью управляемое решение OctoAI, Сезе не раскрыл количество пользователей OctoStack. Он упомянул компании, которые уже экспериментируют с инструментами генеративного ИИ, такие как Apate.ai, Otherside AI, Latitude Games и CapitalAI, как основных целей для данного предложения.

Потенциал роста генеративного ИИ в предприятиях

Корпоративный рынок предоставляет значительные возможности для внедрения генеративного ИИ. В отчете Menlo Ventures говорится, что в прошлом году на облачное программное обеспечение в этом секторе было потрачено 400 миллиардов долларов, из которых 70 миллиардов долларов (18%) составил ИИ, а генеративный ИИ — всего 2,5 миллиарда долларов, что составляет менее 1%.

«Текущая заинтересованность в генеративном ИИ среди предприятий велика, более половины CIO планируют формальное развертывание», — отметил Хаюн Парк, генеральный директор Amalgam Insights. «Однако возможности для настройки и тонкой настройки моделей остаются ограниченными».

Рэй Ванг, основатель Constellation Research, отметил, что многие организации оптимизируют работу на много поставщиков, не имея чистой стековой генеративной ИИ. Он положительно оценивает OctoStack, поскольку он централизует возможности, упрощая процесс развертывания.

OctoAI сталкивается с конкурентами из числа стартапов и утвердившихся игроков, таких как Nvidia, Databricks и SambaNova Systems. Однако Сезе уверен в позиции OctoAI. «Это динамичное пространство, и хотя конкуренция будет усиливаться, наш уникальный фокус на оптимизации между технологиями выделяет нас на фоне остальных. Это суть основ нашего бизнеса».