透過裝置內人工智慧解鎖網頁應用程式：前谷歌工程師的深度見解如何實現這一目標

Home AI新聞透過裝置內人工智慧解鎖網頁應用程式：前谷歌工程師的深度見解如何實現這一目標

為了利用大型語言模型（LLMs），網頁應用通常依賴於與雲端伺服器的連接。然而，前谷歌工程師雅各布·李（Jacob Lee）提出了一種創新的本地運行人工智慧的方法，這將大幅降低雲端解決方案的成本和隱私問題。曾參與谷歌相簿的開發，李現在為流行的LangChain框架貢獻，並在Ollama的部落格中分享他的見解。

在他的文章中，李解釋了開發人員如何創建能夠直接從用戶設備上與文件對話的網頁應用，從而消除了對昂貴雲端連接的需求。透過使用一系列開源工具，他設計了一個網頁應用，讓用戶以自然語言互動報告或論文。有興趣的用戶，只需安裝Ollama桌面應用、執行幾條本地設置命令，即可參加關於任何上傳文件的聊天機器人對話。

用於演示的用戶需要一個本地運行的Mistral實例，詳細的設置步驟已在李的部落格中列出。

運行流程

李的實現過程涉及簡化的五個步驟：

1. 數據獲取：用戶將如PDF等文件加載到系統中。李利用LangChain將文件分段，並使用Transformers.js為每個段生成向量嵌入，然後將這些段在Voy向量存儲數據庫中組織起來。

2. 檢索：當用戶輸入問題時，系統查詢向量存儲以找到與該問題最相關的段落。

3. 生成：問題和識別的段落被發送到本地運行的Ollama AI，該系統使用Mistral模型根據檢索的信息生成回答。

4. 再參考：對於後續查詢，系統在重複檢索和生成步驟前會重新構造問題。

5. 接入本地AI：Ollama工具從網頁應用訪問本地運行的Mistral模型，實現生成功能的無縫整合。

總結來說，李開發了一個能夠離線討論文件的網頁應用，完全由運行在用戶個人電腦上的智能軟體驅動。

對企業和開發者的優勢

這種本地優先的方法對企業和企業開發者具有重大影響。通過從雲端依賴轉向本地部署，組織能夠降低運營成本，尤其是在擴張操作時。此外，該方法還允許高級定制，因為用戶可以使用專有的內部數據創建精細化模型。

本地處理數據也解決了隱私問題，確保敏感信息保持在內部，減少潛在風險。李預期，隨著新模型越來越小巧與高效，這類系統將變得更加普遍，增強其與本地設備的兼容性。

為了促進更廣泛的訪問，李構想了一個瀏覽器API，允許網頁應用請求訪問本地運行的LLM，類似於Chrome擴展。“我對LLM驅動的網頁應用未來充滿期待，並期待Ollama和LangChain等技術如何促進全新的用戶互動，”他表示。

李的概念與AI驅動的網頁開發中日益增長的趨勢相一致。像MetaGPT這樣的平台允許用戶使用自然語言命令構建應用，CodeWP.ai等工具則生成網站的HTML。此外，像GitHub Copilot和Replit AI等開發環境簡化了編碼流程，而谷歌的Project IDX等計劃則為開發者提供AI資源以探索。

總之，雅各布·李對本地LLM整合的創新方法不僅為成本效益高且注重隱私的應用鋪平了道路，還改變了用戶在日益由先進AI能力推動的數字環境中與技術互動的方式。

Universal 樹立控訴，指控 Anthropic 的 AI 幾乎逐字重現其歌曲。

聯想首席執行官：在每個智慧裝置中融入個人化人工智慧，打造未來數位體驗

Most people like

Officely AI

9.7K

在當今快速變化的數位環境中，組織越來越傾向於運用人工智慧驅動的運營，以提升效率並簡化工作流程。藉由利用專業團隊的人工智慧代理，企業可以解鎖全新的生產力與創新層次。這些智能代理協同工作，使用先進的算法和數據分析來優化任務並推動成果。善用人工智慧的力量，轉變您的運營能力，讓您在不斷變化的市場中保持競爭力。

人工智慧驅動的運營 Large Language Models (LLMs)

Faraday

16.3K

解鎖以人工智慧驅動的客戶預測潛力，促進業務快速增長。透過運用先進的演算法，企業可以獲得寶貴的客戶行為見解，提升互動並增加收入。瞭解如何將人工智慧融入您的策略，改變您理解和預測客戶需求的方式。

人工智慧 Other

Recast

25K

Recast 無縫地將文章轉換成引人入勝的音頻摘要，讓您在隨時隨地都能輕鬆享受內容。

音頻摘要 AI Product Description Generator

Maxstudio

AI tools for image editing.

背景去除 Photo & Image Editor

Find AI tools in YBX