IT领导者越来越重视生成性人工智能（Generative AI），将其应用于营销、设计、产品开发、数据科学、运营和销售等关键业务职能。除了在组织内部的应用，生成性AI在疫苗开发、癌症检测以及环境、社会和治理（ESG）倡议等人道事业中也发挥着重要作用。
然而，这些应用也带来了独特的安全风险，主要涉及隐私、合规性以及敏感数据和知识产权的潜在丢失。随着生成性AI的逐步普及，这些风险将愈加严重。
“组织必须积极规划每一个生成性AI项目，无论是内部还是外部，不仅要应对当前风险，还要考虑未来的挑战。”思科的Outshift高级副总裁Vijoy Pandey建议道。“在创新与用户信任之间建立平衡至关重要，要优先考虑隐私、真实性和责任。”
理解生成性AI的独特风险
生成性AI所面临的风险与传统技术截然不同。利用深度伪造技术的复杂网络钓鱼攻击可能会误导个人，从而使身份盗用变得更加普遍。诈骗者可能会假冒公司的客户服务代表，非法获取敏感信息，导致重大财务损失。
此外，用户在使用生成性AI模型时，常常会不经意地输入敏感信息，而这些信息可能会被模型用于训练，进而引发隐私合规和数据保护的重大担忧。组织必须对新出现的与生成性AI相关的法规保持警惕。
尽管大型语言模型（LLMs）对数据的广泛需求提出了挑战，但现有的安全框架可以帮助缓解与原始数据和数据泄露相关的风险。
诈骗者可以利用生成性AI流程中的漏洞，这可能导致准确预测的错误、服务中断，甚至影响操作系统和社交媒体声誉。“面对数据污染和模型反演等威胁，检测至关重要。”Pandey解释道。“我们依赖既定的置信区间来评估模型输出，但如果攻击者破坏了流程，我们的信任标准可能会受到影响。”
及时发现问题是一个挑战；问题通常是随着时间推移逐渐显现的。安全运营团队可以利用MITRE ATLAS和OWASP前十大安全风险等资源，解决新兴的生成性AI安全问题。“生成性AI仍在不断演变，安全措施也必须随之发展。”Pandey警告道，“这是一段持续的旅程。”
知识产权安全与透明性问题
生成性AI通过处理庞大的数据集和复杂的算法生成复杂的输出，用户通常无法追溯所提供信息的来源，从而导致知识产权暴露的重大风险。这种担忧不仅源于外部训练数据，还包括用户输入到这些模型中的内容。
“挑战在于，在确保数据访问的同时，保护知识产权和敏感信息不被泄露或无意中输入到模型中。”Pandey指出。“我们是否不当使用开放源代码或许可内容？”
此外，生成性AI模型通常缺乏实时数据的相关性和准确性，这对检索增强生成（RAG）等应用产生了影响，RAG结合当前的业务背景并提供引用以验证信息，提升了LLMs的能力，使其能够持续学习，降低不准确性，同时保护敏感信息的安全。“RAG就像是派一个通才去图书馆学习量子物理，”Pandey描述道。“获取和消化相关信息正是RAG所实现的。虽然它面临挑战并需要实验，但它能够有效定制基础模型以满足组织的使用案例而不妥协数据完整性。”
确保用户安全与未来的发展
“生成性AI的使用案例目前已经明确，但在未来几年内，它将渗透到我们创造或消费的每一个领域。”Pandey预测。“这就需要采用零信任的策略。”
假设从数据到模型再到用户访问管道的每一个组件都有潜在失效的可能。此外，鉴于这项技术的新颖性，缺乏成熟的规则使得人类错误和脆弱性容易被忽略。因此，全面的文档记录对处理潜在违规和优先考虑安全措施至关重要。
“明确你的目标：记录数据来源、正在使用的模型及其训练过程。”Pandey建议道。“根据重要性对应用进行分类，确保安全政策能够反映这些重要性。”
安全措施必须在各个层面中嵌入，从基础设施到应用程序。如果一层失败，深度防御策略可以提供额外的保护，强调安全是一个持续的旅程。“解决生成性AI安全问题的关键在于随机过程—特别开发模型来管理其他模型的安全问题。”Pandey建议道。
用户信任在生成性AI中的至关重要性
用户信任是关键的业务绩效指标。“安全直接影响用户体验，从而影响生成性AI解决方案的成功。”Pandey强调。失去信任可能会严重损害收入。
“一个不安全的应用本质上是不存在的；与之相关的任何货币化或商业目标都变得无关紧要。”他进一步说明。“这同样适用于一个不安全的生成性AI模型或应用。没有安全性，你的模型将无法使用，进而阻碍业务增长。”
相反，如果客户发现自己的私人数据被错误处理，尤其是在生成性AI环境中，信任会迅速削弱，进一步复杂化对AI技术的脆弱认知。这两项挑战的同时存在需要组织时间去充分理解风险并建立有效的解决方案。
“采用零信任理念，构建强有力的防御，并保持对生成性AI模糊性质的警觉。”Pandey总结道。“要认识到今天的起点与三年后的状态将有显著不同，因为生成性AI及其相关的安全措施都在迅速发展。”
排行榜
