今天,LangChain 這家初創公司透過其開源框架,正在革新大型語言模型(LLM)應用開發,並宣布由 Sequoia Capital 領投的 2500 萬美元 A 輪融資。同時,該公司亦推出了首款商業化的 LLMOps 產品 LangSmith。
LangSmith 設計為一個全方位平台,加快 LLM 應用工作流程,涵蓋從開發、測試到部署和監控的完整項目生命周期。自 2023 年 7 月以封閉測試版推出以來,已被數千家企業每月使用。
LangSmith 的推出正值關鍵時期,開發者正尋求穩健的解決方案來構建和維護高性能、可靠的 LLM 應用。
LangChain LangSmith 的主要特點
LangChain 的開源框架為開發者提供了全面的工具包,提供一套通用的最佳實踐和模組化構建區塊,以創建 LLM 驅動的應用。開發者可以通過 API 整合多個 LLM,將其鏈接在一起,並與數據源相連以執行各種任務。最初的副項目現在已成為超過 5000 款 LLM 應用的支柱,涉及內部工具、自主代理、遊戲和聊天自動化等領域。
然而,僅僅提供開發工具包不足以克服將 LLM 應用推向生產環境的眾多挑戰。此時 LangSmith 登場,提供有效的 LLM 應用調試、測試和監控功能。
LangSmith 支援的工作流程
在原型設計階段,LangSmith 為開發者提供 LLM 調用序列的完整可視性,允許他們即時識別錯誤和性能瓶頸。他們可以與專業領域專家協作,優化應用行為,並使用人工反饋或 AI 輔助評估以確保相關性、正確性和敏感度。
完善原型後,LangSmith 通過托管的 LangServe 簡化部署過程,並提供有關生產指標(如成本、延遲、異常和錯誤)的即時見解,幫助企業提供優化性能和成本效率的 LLM 應用。
強勁的早期採用
在最近的博客中,Sequoia 的 Sonya Huang 和 Romie Boyd 報導,自封閉測試版推出以來,LangSmith 已獲得超過 70,000 次註冊。目前已有超過 5000 家企業,包括樂天、Elastic、穆迪(Moody’s)和 Retool 等知名品牌,正在利用這項技術。
“Elastic 利用 LangChain 驅動其安全的 Elastic AI 助手,依賴 LangSmith 獲取可視性,以快速進行生產。Rakuten 使用 LangSmith 嚴格測試和基準測試其基於 LangChain 的 Rakuten AI for Business。穆迪受益於 LangSmith 的自動評估以快速迭代和創新,”Huang 和 Boyd 強調。
儘管 LangSmith 已經獲得了關注,但它在公共發布後預期將會加速採用,適應快速變化的 AI 生態。
“團隊正在解決一個豐富的問題空間,由渴望解決方案的熱情用戶社群指導,”Sequoia 的高管們表示,這僅僅是 LangChain 的開始。
展望未來,LangChain 計劃通過回歸測試、使用生產數據的在線評估器、增強過濾、對話支持以及通過托管的 LangServe 簡化應用部署等功能擴展 LangSmith 的功能。該公司還計劃引入針對企業的管理和安全功能。
在 Sequoia 的這輪融資後,LangChain 累計融資總額達到 3500 萬美元,此前以 Benchmark 為首的融資輪籌集了 1000 萬美元。其他關於 LLM 應用評估和監控的解決方案包括 TruEra 的 TruLens、W&B Prompts 和 Arize 的 Phoenix。