生成式人工智慧與網路安全:SydeLabs的創新解決方案
生成式人工智慧正在改變現代企業,但同時也引入了新型攻擊向量,可能危及組織及其聲譽。位於加州的初創公司SydeLabs正針對這一挑戰,推出實時意圖導向的防火牆。近期,公司獲得了來自RTP Global、Picus Capital及多位天使投資者的250萬美元種子資金。
雖然AI安全領域有多個參與者,SydeLabs以全面的解決方案脫穎而出,旨在幫助開發者避免大型語言模型(LLM)的漏洞,包括在整個專案生命周期中較不為人知的風險,從開發到部署。
創新的產品提供
SydeLabs開發了三個主要以AI為中心的產品:SydeBox、SydeGuard和SydeComply。SydeBox目前處於測試階段,作為自助式紅隊解決方案,允許團隊評估其AI應用和模型的潛在漏洞。SydeGuard將於不久後推出,提供實時的意圖導向保護,而SydeComply則針對不同全球地區的合規性問題。
SydeLabs聯合創始人Ankita Kumari表示:「在SydeBox的測試階段,我們發現了多種漏洞,包括訓練數據洩漏、提示注入及安全對齊的繞過。SydeGuard能偵測並防止提示注入、拒絕錢包攻擊和數據洩漏嘗試。」
SydeLabs的運作方式
SydeBox利用AI代理根據內部研究及公開數據發起測試攻擊,而LLM則在與目標系統互動時評估攻擊的成功性。相比之下,SydeGuard使用專有模型分析用戶提示中的潛在威脅,為提示、用戶會話和用戶賦予風險評分。
SydeGuard並不會立即阻止用戶,而是通知企業安全團隊,提供阻止、監控或將威脅重定向至蜜罐的選項,讓團隊能夠戰略性地決定如何應對潛在攻擊。
強大的漏洞檢測
自2024年3月1日SydeBox測試版上線以來,SydeLabs已標記超過10,000個漏洞,涵蓋50多個應用和模型。隨著公司的持續成長,SydeLabs計劃最終完善SydeGuard和SydeComply的產品。從長遠來看,SydeLabs打算為專注於漏洞檢測的企業免費提供紅隊解決方案,並通過基於消耗的模式來獲利SydeGuard。
Kumari強調了網路安全產品的準確性及其在應對網絡威脅方面的能力的關鍵性。「我們優先考量不斷升級我們的模型,專注於新的攻擊向量和方法論。」
行業背景與競爭優勢
SydeLabs的資金來自於生成式AI應用的安全性正受到密切關注的時期,尤其是提示注入攻擊導致名人的深度偽造事件。作為回應,微軟推出了新的Azure AI工具,以檢測幻覺及防止攻擊。競爭對手如Lakera和Prompt Security也在紅隊及實時預防領域運作,但Kumari堅持表示,SydeLabs的產品在準確性和性能上優於這些工具。
SydeLabs在網路安全領域不斷創新,確保生成式AI系統能抵禦不斷演變的威脅。