Lasso Security 推出創新解決方案，保障大型語言模型 (LLMs) 的安全性

Home AI新聞 Lasso Security 推出創新解決方案，保障大型語言模型 (LLMs) 的安全性

Updated on 十一月 19 2023

大型語言模型在網絡安全領域的天真

儘管大型語言模型（LLMs）具備高度的複雜性，但在網絡安全問題上，它們常常顯示出驚人的天真。通過巧妙的提示，這些模型可能無意間洩漏敏感信息、生成惡意代碼或產生偏見的輸出，這引發了嚴重的倫理擔憂。Lasso Security的聯合創始人兼首席執行官Elad Schulman強調這一危險：“即使它們功能強大，LLMs也不應被無條件信任。其先進的能力使其易受多種安全漏洞的影響。”最近獲得來自Entrée Capital和Samsung Next的600萬美元種子資金的Lasso Security，旨在應對這些挑戰。“LLM的革命可能會超過雲計算和互聯網革命的總和，隨之而來的不僅是重大突破，還有相應的風險。”

安全擔憂：越獄、數據洩漏與數據竄改

LLMs迅速成為企業尋求競爭優勢的重要工具。然而，其對話性和非結構化的特性使其成為易受利用的目標。通過如提示注入或越獄等技術操縱提示，這些模型可以洩漏其訓練數據和敏感的組織信息。風險不僅限於惡意攻擊。三星因數據洩漏決定禁止生成性AI工具的案例，突顯了意外數據暴露的潛力。Schulman指出：“由於LLM生成的內容可能受到提示輸入的影響，用戶可能無意中獲取模型的額外功能。”

數據竄改是另一個主要問題；被篡改的訓練數據可能引入偏見，危及安全和道德標準。此外，對LLM輸出的驗證不足可能導致關鍵漏洞。根據OWASP的數據，未經監控的輸出可能使系統面臨像跨站腳本（XSS）、跨站請求偽造（CSRF）和遠端代碼執行等重大威脅。OWASP還強調了其他擔憂，例如模型拒絕服務攻擊，攻擊者通過大量請求使LLM服務中斷，以及來自軟件供應鏈中第三方組件的漏洞。

謹防過度依賴

專家強調，僅依賴LLMs獲取信息可能導致錯誤信息和安全漏洞。例如，在一個稱為“包幻覺”的過程中，開發者可能會要求LLM建議特定的代碼包，卻可能收到虛構的建議，這使得惡意行為者有機可乘，創造有害代碼進而侵入公司系統。“這種濫用利用了開發者對AI驅動建議的信任，”Schulman警告道。

監控LLM互動以保障安全

Lasso的技術能夠攔截員工與Bard和ChatGPT等LLMs的互動，以及與Grammarly和IDE插件等工具的集成。通過建立可觀測性層，Lasso捕捉並分析與LLM之間的數據傳輸，運用先進的威脅檢測技術識別異常活動。Schulman建議，組織首先要確認正在使用的LLM工具，然後分析其應用和目的。“這些行動將促進對必要保護措施的關鍵討論，”他表示。

Lasso Security的主要特點

- 隱形AI發現：識別活躍的工具、用戶及見解。

- LLM數據流監控：跟踪並記錄組織內外的所有數據傳輸。

- 實時檢測和警報：對潛在威脅提供即時見解。

- 阻止和保護：確保所有提示和生成輸出符合安全政策。

- 用戶友好的儀表板：簡化LLM互動的監控和管理。

安全利用科技

Lasso的獨特之處在於提供一套專注於LLM安全的全面解決方案，而非僅僅單一功能。Schulman指出：“安全團隊可以控制每次LLM互動，讓他們能夠創建和執行量身定制的政策。”企業必須安全地採用LLM技術，因為全面禁止是不可持續的。“沒有專門的風險管理策略，忽視生成性AI的企業將處於劣勢，”Schulman解釋說。最終，Lasso希望提供必要的安全工具，幫助企業在不妥協安全的前提下，充分利用先進技術。

微軟邀請山姆·奧特曼、格雷格·布羅克曼及OpenAI團隊參與創新AI計劃

AI社群對以色列-哈馬斯衝突的反應出現分歧