控制影子AI：戰略性部署生成式AI以提升安全性和性能

Home AI新聞控制影子AI：戰略性部署生成式AI以提升安全性和性能

理解影子 AI 及其對 IT 部門的挑戰

影子 AI 正成為 IT 部門在部署與管理生成式 AI 服務時的一大挑戰。令人擔憂的是，有 45% 的企業缺乏正式政策來管理生成式 AI 的使用，這使得組織面臨風險。

隨著大型語言模型（LLMs）的普及和易於獲取，IT 人員可以輕鬆地從各大公有雲提供商或專門的 API 服務獲取 LLM 和 GPU 服務。這一便利性使知識工作者能夠通過便捷的介面在筆記本電腦或移動設備上創建自己的數字助手。

影子 AI 的興起

目前影子 AI 的狀況類似於 SaaS 應用程序和公有雲服務的興起，此時 IT 領導需要應對業務單位和開發者在未經批准的情況下獲取軟體。IT 部門通常會回應將影子 IT 限制或與員工達成不情願的協議，以支持他們的應用選擇。

與此同時，雲端消耗失控，因配置錯誤與過度供應導致成本過高。隨著 IT 開始根據業務價值評估投資，焦點轉向優化雲支出。

隨著組織意識到許多應用可能在內部或其他雲環境中表現更佳，重新平衡 IT 工作負載變得尤為重要。部分雲端供應商正在重新考慮數據外流費用，IT 領導也在重新思考其策略。

雖然公有雲是快速應用測試和擴展的理想環境，但它同時也增加了未經授權工作負載的風險。

管理 AI 的挑戰

AI 能力的民主化為 IT 領導帶來治理上的難題。儘管面臨挑戰，CEO 仍渴望採用生成式 AI 服務，徹底取消是不可行的。

因此，IT 領導必須在支持員工在生成式 AI 中的創新與執行負責任的治理（尊重預算約束）之間取得平衡。

識別理想的 AI 使用案例

為此，IT 領導應與業務主管攜手，識別最佳的生成式 AI 使用案例。此過程需要雙方作出妥協，IT 縮小服務選項並標準化工具。

每個用例都應評估其成本效益和性能，無論是部署在本地還是托管環境中。有些應用可能在公有雲環境中表現更好，但許多應用在內部運行時能受益於加強的監控和安全性。

在內部部署 LLM 也能帶來成本節省。Enterprise Strategy Group (ESG) 最近的一項研究顯示，使用檢索增強生成（RAG）的開源 LLM 進行推理時，通常比利用公有雲資源或基於 API 的服務更具經濟效益。

在 ESG 的測試中，他們發現：

- 與 Amazon Web Services (AWS) EC2 進行測試的開源 Mistral 7B 模型在成本效益上提高了 38% 至 48%，隨著用戶增長，省下的成本更高。

- 將 700 億參數的 Meta Llama 2 與 AWS EC2 進行比較，顯示出 69% 至 75% 的成本優勢。

- 在 50,000 名企業用戶中，將 Llama 2（70B 參數）與 OpenAI 的 GPT-4 Turbo 測試顯示，成本效益提高了 81% 至 88%。

雖然在本地部署生成式 AI 服務不會消除影子 AI，但可幫助減輕其影響。內部監控模型使 IT 團隊更易於解決來自意外輸出的問題，強調了將 AI 舉措與組織數據對齊的重要性。

合作成功

組織可能在多種環境（包括公有雲、私有雲及邊緣環境）中運行生成式 AI 工作負載。決定部署 LLM 的地點可能相當複雜，像 Dell Technologies 這樣的可靠夥伴可以在此過程中提供關鍵支持，提供 AI 優化的伺服器、現代化客戶設備和專業服務。

影子 AI 雖然提出重大挑戰，但通過正確的策略和合作夥伴，企業可以建立負責任的生成式 AI 框架。正確的合作夥伴將照亮未來的道路。

了解更多關於 Dell AI 解決方案的信息。

Edia：一年內顛覆學區數學成績的 AI 初創公司

Visa的首席信息官揭示生成式人工智慧如何改變支付產業

Most people like

Photomath

逐步解決問題，揭開數學掌握的秘密。本指南將帶領您掌握解決數學挑戰所需的基本技術和策略，讓您充滿信心地應對各種挑戰。無論您是希望提升技能的學生，還是尋求刷新知識的成人，我們的系統性方法將引導您完成每個過程，確保每個階段的清晰與理解。深入探索，發現如何將複雜問題拆解，從而找到有效的解決方案！

數學幫助 Homework Helper

Midjourney Art AI

310.6K

釋放你的創意潛能，使用 AI 藝術生成器將文本提示轉換為驚人的視覺效果。利用先進人工智慧的力量，輕鬆將你的想法變為現實，無論是在為項目創作插圖、設計獨特藝術品，或是單純探索你的想像力。體驗這個創新工具如何無縫結合科技與創意，將你的文字轉換為引人入勝的藝術作品，使藝術變得對每個人都可及。今天就開始你的藝術旅程，使用我們直觀的 AI 藝術生成器吧！

AI 藝術生成器 AI Art Generator

CoCoClip.AI

253.1K

介紹終極AI影片編輯器，打造引人入勝的社群媒體影片釋放我們先進AI影片編輯器的強大功能，幫助您輕鬆製作精彩的社群媒體影片。無論您是經驗豐富的創作者還是剛起步的新手，這款直觀的工具簡化了編輯過程，讓您能夠創造出引人注目的內容，吸引觀眾並提升您的網上形象。

AI 影片編輯器 AI Video Generator

Freshly.ai

20.6K

Freshly.ai 利用人工智慧與人類合作的力量，充分發揮 AI 的潛能。透過這種獨特的協同增強能力，我們提供超越期望的卓越成果。探索我們的創新方法如何改變創意與生產力。

人工智慧 Large Language Models (LLMs)

Find AI tools in YBX