AI 影響之旅：將創意轉化為商業實際解決方案

媒體人工智慧影響巡迴活動最近造訪了舊金山，專注於生成式人工智慧的實際應用及實施過程中的複雜性。媒體公司首席執行官馬特·馬歇爾（Matt Marshall）主導了與產業領袖的討論，包括DataStax首席產品官艾德·阿納夫（Ed Anuff）、Genesis Health首席轉型官妮可·考夫曼（Nicole Kaufman）及Skypoint首席執行官蒂森·馬修（Tisson Matthew）。

這場對話在企業從生成式人工智慧的探索階段過渡到成熟實施過程中具有重要意義。公司不再僅僅進行ChatGPT等工具的小規模實驗，而是開始面對一個關鍵問題：如何利用這項技術並將其與我們的核心商業數據整合，以便在生產環境中使用？

阿納夫指出：「我們正在見證人工智慧成熟模型的出現。組織正在從針對快速獲利的一次性專案轉向由業務推動的重點人工智慧計畫，著眼於具有高影響力和高可見度的實施。這些努力可能需要更長時間來開發，但其轉型潛力是顯著的。」

生成式人工智慧可應用於多種案例，從後端操作到面向公眾的網站和移動應用程式。儘管公司可能仍提及「聊天機器人」或「對話介面」等術語，但最終的目標是創建知識應用，使得在適當的上下文中能夠進行互動式數據檢索。主要決策在於是自行開發這些解決方案還是利用現成產品。

前期考量

對於客戶支持或財務分析，許多組織希望利用生成式人工智慧創造能從內部數據中提取洞見的應用程序。阿納夫解釋：「根據數據量和定制介面的具體需求，現成解決方案可能會相當有效。像亞馬遜這樣的公司提供的平台，允許用戶上傳文件以便快速得到聊天機器人的回應，從而實現簡單迅速的實施。」

然而，隨著企業將焦點從小型的後端應用擴展到與核心業務功能相關的關鍵用例，特別是面向外部的應用，基本解決方案可能無法滿足需求。阿納夫提到醫療應用需要實時連接數據源，以便根據更新的病人信息提供準確的回應。他還指出亞太地區金融機構的人工智慧代理可直接訪問基於聊天的財務規劃，並根據財務報告中的即時數據做出反應。

「那是與你核心數據相連的定制化人工智慧檢索增強生成（RAG）應用，」他肯定地說。「如Home Depot或Best Buy等知名零售商投資專門的網頁工程團隊，以開發符合其品牌及業務操作的量身定做的體驗。」

評估準備程度與成本

隨著組織超越創意階段，他們面臨兩大挑戰：相關性與成本。阿納夫解釋：「相關性對於許多數據領域的公司來說是一個新的關鍵指標。組織需要評估其人工智慧生成的回應的適用性。相關性問題往往需要重新評估整個數據架構」這進而影響第二個挑戰——成本。尋找交付相關、清晰結果的方法成本高昂，組織必須進一步評估規模化至生產的成本。

「圍繞這些問題的討論提供了一個真實的衡量，表明團隊對生產的準備程度，」他指出。「如果相關性仍然是一個障礙，這就表明團隊雖然已跨越初步架構挑戰，但在生產成本方面面臨新的複雜性，這往往是密切相關的。」

幻覺、數據與RAG的重要性

「幻覺」這一術語常用於描述人工智慧回應不正確的情況。儘管這是一個有用的口語術語，但並非所有偏離的回答都是幻覺；一些是由於訓練數據中的錯誤而產生的。當大型語言模型超出其訓練範疇並生成模糊或誤導性的內容時，就會出現幻覺。阿納夫強調，針對這些問題有有效的解決方案，特別是通過RAG。

RAG結合知識檢索與生成式人工智慧，讓系統能夠處理並整合內部知識庫中的數據，提供上下文感知的自然語言回應，而不僅僅是簡單地總結信息。「大型語言模型在兩個方面表現優秀，」阿納夫表示。「首先，它理解語言的細微差別。其次，它作為知識庫。程序員可以通過限制回應來控制模型使用其內在知識的程度，這稱為基礎引導。這通過保持模型專注於相關數據，大大降低了幻覺的風險。」

此外，阿納夫強調，RAG在安全且準確地將實時公司數據整合進模型的推理過程中至關重要。「雖然還存在其他數據整合的方法，但它們往往缺乏安全性、即時性和保障，」他強調。「因此，不論我們是否將其標籤為RAG，模型-數據庫的耦合在未來仍將是行業中的普遍趨勢。」