OctoAI 发布 OctoStack：助力企业轻松定制和部署私有 AI 模型

Home AI News CN OctoAI 发布 OctoStack：助力企业轻松定制和部署私有 AI 模型

位于西雅图的OctoAI推出了OctoStack，一个旨在帮助企业部署私有生成性AI模型的平台。这个即插即用的解决方案可以在虚拟私有云或本地部署，提供优化的推理、模型自定义和资产管理服务。OctoAI的目标是为企业提供灵活的工具，以开发和运营符合特定需求的生成性AI应用。

OctoAI的首席执行官Luis Ceze表示：“构建可行且具未来保障的生成性AI应用，不仅仅依赖于经济实惠的云推理。硬件可移植性、模型接入、微调和负载均衡都是需要全面解决的全栈挑战。”

OctoStack支持多种开源和商业AI模型的微调和部署，包括Meta的Llama系列、Mistral的8x8B和Stable Diffusion。然而，它不包括Anthropic的Claude模型，因为该模型仅在云端提供。“我们提供高度可定制的开源模型，客户可以完全控制和自行调整，”Ceze补充道。

全托管与自托管解决方案

此次发布是继OctoAI之前推出的自优化基础设施服务后的一项新产品。Ceze强调，随着客户的使用达到“每天数十亿个令牌”，OctoStack的自托管选项显得尤为重要。他将其比作在私人服务器上托管博客，而不是在共享平台上，强调了企业对数据控制的必要性。

“随着企业越来越多地采用AI，他们对数据通过API传输到境外变得担忧，”Ceze解释道。“OctoStack允许客户选择和自定义他们的模型，并提供完全私密的API。我们管理基础设施，确保模型在GPU上的可靠性和效率。”

尽管数百个客户正在使用OctoAI的全托管解决方案，Ceze并未透露OctoStack的具体用户数量。他提到，像Apate.ai、Otherside AI、Latitude Games和CapitalAI等公司正在积极实验生成性AI工具，是OctoStack的主要目标客户。

企业中的生成性AI增长潜力

企业市场为生成性AI的采用提供了显著的机会。Menlo Ventures的一份报告显示，去年该行业在云软件上的支出达到4000亿美元，其中AI占70亿美元（18%），而生成性AI仅为25亿美元，不到1%。

“当前企业对生成性AI的使用和兴趣很高，超过一半的CIO计划进行正式部署，”Amalgam Insights的首席执行官Hyoun Park指出，“但模型自定义和微调的能力仍然有限。”

Constellation Research的创始人Ray Wang观察到，许多组织正在为多供应商环境进行优化，而没有纯粹的生成性AI架构。他对OctoStack持积极态度，认为其集中化的能力简化了部署过程。

OctoAI在初创企业及成熟市场参与者如Nvidia、Databricks和SambaNova Systems中面临竞争。然而，Ceze对OctoAI的地位充满信心。“这是一个动态的领域，尽管竞争会加剧，但我们独特的跨技术优化的关注使我们与众不同。这正是我们公司的基础所在。”

微软提升365 Copilot功能：GPT-4 Turbo助力无限消息发送、100次图像生成提升及更多新特性

微软扩展Priva套件以应对不断变化的隐私环境

Most people like

MailerLite

5.3M

MailerLite是一个强大的平台，旨在帮助企业拓展受众群体并实现收入增长。通过提供多样化的营销工具，MailerLite使企业能够有效地与目标客户沟通，提升品牌知名度和销售业绩。

电子邮件营销 AI电子邮件营销

AssemblyAI

591.2K

AssemblyAI提供了一个用户友好的API，利用先进的AI模型来进行语音转录和理解。这使得开发者能够轻松集成高效的语音处理功能。

AI模型 AI语音识别

AI Excel工具和Google表格 - AI Excel公式生成器 - 机器人

132.8K

AI Excel工具：提升Excel和Google表格工作流程的智能数据可视化与AI功能。

其他 AI生产力工具

200+ ChatGPT Mega-Prompts for Solopreneurs

78.9K

一系列精心手工打造的超级提示，帮助您自动化所有个体经营任务，提升效率与生产力。

潜在客户开发提示

Find AI tools in YBX