生成式人工智慧的快速演變:企業面臨的挑戰與策略
在短短幾個月內,生成式人工智慧的格局已經 dramatically 變化。Menlo Ventures 在2024年1月的市場圖譜中展示了一個清晰的四層框架,而Sapphire Ventures在5月底的可視化界面揭示了一個複雜的網絡,涵蓋了200多家公司及多個類別。這一迅速擴張突顯了創新的速度以及IT決策者面臨的日益嚴峻的挑戰。
IT領導者正面臨一個技術考量與戰略關注相交織的複雜領域。數據隱私至關重要,加上新AI法規的潛在影響使得情況更加複雜。人才短缺使企業在內部開發和外包專業知識之間不得不作出選擇。同時,創新需求與成本管理之間的矛盾也愈發緊迫。
向端到端解決方案的轉變
隨著企業面對生成式人工智慧的複雜性,許多公司開始尋求全面的端到端解決方案,以簡化AI基礎設施並優化運營。例如,Intuit面臨一個關鍵決定:利用其龐大的開發資源來利用現有能力創建AI體驗,或是走一條更具雄心的路徑。他們選擇了後者,開發了GenOS,一個綜合性的生成式AI操作系統。
Intuit的首席數據官Ashok Srivastava強調速度和一致性的重要性:“我們正在構建一個抽象平台複雜性的層次,從而快速開發特定的生成式AI體驗。”這種方法與導致“高複雜性、低速度和技術負擔”的去中心化方式形成鮮明對比。
同樣,Databricks擴展了其AI部署能力,推出了新的模型服務功能,這些提升可以讓數據科學家在較少的工程支持下部署模型,簡化從開發到生產的過渡。Marvelous MLOps的作者Maria Vechtomova指出,行業對簡化的需求:“機器學習團隊應以最小化架構複雜性和工具使用為目標。” Databricks的平台支持多樣的服務架構,應對各種用例如電子商務和欺詐檢測。
Databricks的AI/ML產品高級總監Craig Wiley概述了創建“真正完整的端到端數據和AI堆棧”的目標,反映出整個行業朝向綜合解決方案的趨勢。然而,並非所有人都認同單一供應商方案的優點。Red Hat的Steven Huels主張支持與現有系統兼容的互補方案,突顯生成式人工智慧領域的日益成熟。
重視數據質量與治理
隨著生成式人工智慧應用的快速增長,數據質量和治理的重要性也愈加突出。AI模型的性能高度依賴於訓練數據的質量,這需要堅實的數據管理實踐。治理確保數據的倫理和安全使用越來越重要。Huels預測,隨著AI對關鍵商業決策的影響增大,治理將成為重要焦點。
Databricks將治理嵌入其平台,從數據攝取到AI提示和回應創建連續的數據血統和治理系統。
語義層與數據架構的興起
隨著優質數據的重要性日益增加,語義層和數據架構正成為先進數據基礎設施的重要組成部分。Illumex開發了一種“語義數據架構”,可以動態增強數據交互,提高AI能力。
Intuit在數據管理上以產品為導向的方法正是這一趨勢的範例,將數據視為必須滿足高質量和性能標準的產品。採用語義層和數據架構標誌著數據基礎設施的重要演變,增強AI系統理解和有效運用企業數據的能力。然而,實施這些技術需要在專業知識和技術上進行大量投資。
在集約化市場中接受專業解決方案
目前的AI市場呈現出一種矛盾:雖然端到端平台正在興起,專業解決方案針對特定AI挑戰仍在不斷增長。例如,Illumex專注於創建生成式語義架構,填補數據與業務邏輯之間的空白。
這些專業解決方案通常補充更廣泛的平台,填補市場空缺並增強其能力。在集約化市場中,專業產品的出現強調了針對特定AI挑戰的持續創新。
導航開源與專有解決方案
生成式人工智慧的上升反映了開源與專有解決方案之間日益增強的相互作用。組織必須仔細評估每種解決方案的優缺點。Red Hat以其企業Linux(RHEL)AI產品進入生成式人工智慧領域,旨在在遵循開源原則的同時平等化大型語言模型的使用。
然而,實施開源解決方案通常需要大量內部專業知識,這對於面臨人才短缺的組織來說可能構成挑戰。專有解決方案雖然提供了更整合的體驗,但強調了一個連貫的生態系統。Wiley指出,Databricks為其客戶管理各種AI模型的整合。
開源與專有解決方案之間的平衡將取決於組織特定的需求、資源和風險容忍度。隨著AI領域的演進,有效管理這一平衡可能成為競爭優勢。
將生成式AI與現有系統整合
企業在採用生成式AI時的重大挑戰之一是在與現有系統與流程的整合上,這對於最大限度地提高商業價值至關重要。成功的整合依賴於穩健的數據和處理能力。“您是否擁有實時系統?您是否具備流處理?您是否有批量處理能力?”Srivastava詢問道。
組織還需要將AI計劃與各種數據來源相連接。Illumex專注於這一整合挑戰,使企業能夠在不進行大量重組的情況下利用現有數據。
此外,還必須考慮AI如何與現有商業流程和安全框架協調。Intuit的GenOS系統展示了統一企業內各種功能的解決方案。
生成計算的未來
快速演變的生成式AI生態系統,涵蓋了端到端解決方案、專業工具和增強治理,標誌著企業技術的一個轉變時刻。領先的AI研究者Andrej Karpathy展望未來,認為單一神經網絡將能取代傳統軟體,創造“100% 完全軟體2.0的電腦”。這一概念挑戰了我們對軟體的現有理解,暗示統一的AI系統能夠中介整個計算體驗。
雖然這些觀點可能顯得遙遠,但它們展示了生成式人工智慧不僅有可能轉變單個應用,還能改變計算的根本本質。組織今天在AI基礎設施上的選擇將塑造未來的創新。隨著市場持續進化,靈活性、可擴展性和適應性將是成功的關鍵。