OctoAI推出OctoStack：助力企業輕鬆自訂與部署私有AI模型

Home AI新聞 OctoAI推出OctoStack：助力企業輕鬆自訂與部署私有AI模型

總部位於西雅圖的OctoAI推出了OctoStack，一個旨在幫助企業部署私有生成式AI模型的平台。這一即用型生產解決方案可以在虛擬私人雲或內部部署中使用，提供優化的推斷、模型自定義和資產管理。OctoAI的目標是使企業能夠靈活開發和運行量身定制的生成式AI應用。

OctoAI首席執行官Luis Ceze表示：「構建可行且具未來性的生成式AI應用不僅僅依賴於實惠的雲推斷。硬體可攜性、模型上線、微調和負載平衡是需要全面解決的全棧挑戰。」

OctoStack支持各種開源和商業AI模型的微調與部署，包括Meta的Llama系列、Mistral的8x8B及Stable Diffusion，但不支持Anthropic的Claude模型，後者僅在雲端提供。Ceze補充道：「我們提供高度可控和可自定義的開源模型給客戶。」

完全管理與自我管理解決方案

此次發布緊接OctoAI之前的自我優化基礎設施服務。Ceze強調，隨著客戶需求的不斷增長，OctoStack成為一個自我管理的解決方案，客戶使用量已達到「每日數十億個標記」。他將其比喻為在私有伺服器上托管部落格，而非共享平台，突顯了企業對數據控制的重要性。

Ceze解釋道：「隨著企業日益接受AI，他們越來越擔心將數據通過API發送到其管轄範圍以外。OctoStack允許客戶選擇和自定義自己的模型，同時提供完全私密的API。我們管理基礎設施，確保模型在其GPU上保持可靠和高效。」

雖然已有數百名客戶使用OctoAI的完全管理解決方案，但Ceze並未透露OctoStack的用戶數量。他提到，像Apate.ai、Otherside AI、Latitude Games和CapitalAI等已經在實驗生成式AI工具的公司是這一產品的主要目標客戶。

企業生成式AI的增長潛力

企業市場為生成式AI的採用提供了重大機遇。Menlo Ventures的一份報告顯示，去年該行業在雲軟體上支出了4000億美元，其中AI占70億美元（18%），而生成式AI僅佔25億美元，還不到1%。

Amalgam Insights的首席執行官Hyoun Park指出：「企業中對生成式AI的使用和興趣很高，超過一半的CIO計劃進行正式部署。然而，模型定制和微調的能力仍然有限。」

Constellation Research創始人Ray Wang觀察到，許多組織正在為多供應商環境進行優化，但並沒有一個純粹的生成式AI堆疊。他對OctoStack持積極看法，認為它集成了多項能力，簡化了部署過程。

OctoAI面臨來自初創企業和行業龍頭如Nvidia、Databricks及SambaNova Systems的競爭。然而，Ceze對OctoAI的市場地位保持信心。「這是一個動態的領域，雖然競爭將加劇，但我們獨特聚焦於科技間的優化使我們與眾不同。這就是我們公司的根本所在。」

微軟提升 365 Copilot 功能，加入 GPT-4 Turbo：無限訊息傳送、100 次圖片生成增強及其他新功能

微軟擴展 Priva 套件以應對不斷變化的隱私環境

Most people like

Whimsical

2.6M

輕鬆加速您的下一個專案建置的對齊。

協作 AI Mind Mapping

Morgen

141.3K

Morgen是一個一體化的平台，旨在簡化日曆管理、任務組織和排程，並可在所有設備上訪問。無論是個人還是團隊，Morgen都能通過同步任務和日曆來提升生產力，帶來無縫的規劃體驗。

日曆 AI Scheduling

Trezy

11.2K

小型企業的有效現金流管理工具在當今快節奏的經濟中，小型企業面臨著獨特的財務挑戰。確保穩定的現金流對於維持運營、履行義務和促進增長至關重要。本文深入探討了專為小型企業量身定制的現金流管理工具，旨在簡化財務流程並提升決策能力。無論您是想跟蹤支出、預測收入還是改善整體財務狀況，這些工具都能幫助您掌握現金流，推動業務邁向成功。

現金流管理 AI Analytics Assistant

Natural Language Playlist

13K

探索一個創新的人工智慧平台，根據您獨特的自然語言描述製作個性化的混音帶。這項尖端技術將您的文字轉化為量身定製的音樂體驗，專為您而設。

AI產生的混音帶 AI Music Generator

Find AI tools in YBX