OctoAI推出OctoStack：助力企業輕鬆自訂與部署私有AI模型

Home AI新聞 OctoAI推出OctoStack：助力企業輕鬆自訂與部署私有AI模型

總部位於西雅圖的OctoAI推出了OctoStack，一個旨在幫助企業部署私有生成式AI模型的平台。這一即用型生產解決方案可以在虛擬私人雲或內部部署中使用，提供優化的推斷、模型自定義和資產管理。OctoAI的目標是使企業能夠靈活開發和運行量身定制的生成式AI應用。

OctoAI首席執行官Luis Ceze表示：「構建可行且具未來性的生成式AI應用不僅僅依賴於實惠的雲推斷。硬體可攜性、模型上線、微調和負載平衡是需要全面解決的全棧挑戰。」

OctoStack支持各種開源和商業AI模型的微調與部署，包括Meta的Llama系列、Mistral的8x8B及Stable Diffusion，但不支持Anthropic的Claude模型，後者僅在雲端提供。Ceze補充道：「我們提供高度可控和可自定義的開源模型給客戶。」

完全管理與自我管理解決方案

此次發布緊接OctoAI之前的自我優化基礎設施服務。Ceze強調，隨著客戶需求的不斷增長，OctoStack成為一個自我管理的解決方案，客戶使用量已達到「每日數十億個標記」。他將其比喻為在私有伺服器上托管部落格，而非共享平台，突顯了企業對數據控制的重要性。

Ceze解釋道：「隨著企業日益接受AI，他們越來越擔心將數據通過API發送到其管轄範圍以外。OctoStack允許客戶選擇和自定義自己的模型，同時提供完全私密的API。我們管理基礎設施，確保模型在其GPU上保持可靠和高效。」

雖然已有數百名客戶使用OctoAI的完全管理解決方案，但Ceze並未透露OctoStack的用戶數量。他提到，像Apate.ai、Otherside AI、Latitude Games和CapitalAI等已經在實驗生成式AI工具的公司是這一產品的主要目標客戶。

企業生成式AI的增長潛力

企業市場為生成式AI的採用提供了重大機遇。Menlo Ventures的一份報告顯示，去年該行業在雲軟體上支出了4000億美元，其中AI占70億美元（18%），而生成式AI僅佔25億美元，還不到1%。

Amalgam Insights的首席執行官Hyoun Park指出：「企業中對生成式AI的使用和興趣很高，超過一半的CIO計劃進行正式部署。然而，模型定制和微調的能力仍然有限。」

Constellation Research創始人Ray Wang觀察到，許多組織正在為多供應商環境進行優化，但並沒有一個純粹的生成式AI堆疊。他對OctoStack持積極看法，認為它集成了多項能力，簡化了部署過程。

OctoAI面臨來自初創企業和行業龍頭如Nvidia、Databricks及SambaNova Systems的競爭。然而，Ceze對OctoAI的市場地位保持信心。「這是一個動態的領域，雖然競爭將加劇，但我們獨特聚焦於科技間的優化使我們與眾不同。這就是我們公司的根本所在。」

179K

探索引人入勝的AI生成角色世界，專為沉浸式互動體驗而設計。這些智能創作徹底改變了故事敘述、遊戲和虛擬環境，為用戶提供動態且具反應性的互動。了解人工智慧如何強化角色發展，使敘事更為豐富與引人入勝。在您的專案中釋放創意，並學習這些創新角色如何將您的互動體驗提升到新的高度。

AI 角色 AI Character

只需幾個點擊即可將您的照片轉換為驚人的病毒式3D化身！

病毒式 AI Avatar Generator

354K

發現探索世界的新方式，透過我們的AI旅遊規劃工具，為您量身定制個性化的體驗。無論您追求冒險、放鬆還是文化融入，我們的尖端技術將分析您的興趣，為您精心安排完美的行程。將旅行夢想化為現實，展開與您個人風格相呼應的難忘之旅。

AI 旅遊規劃師 AI Trip Planner

4.5M

在《快樂之地》中，深入引人入勝、角色驅動的對話，每一次互動都邀請深入探索與參與。

人工智慧 AI Voice Chat Generator

Find AI tools in YBX