IBM通过其开源项目“对抗鲁棒性工具箱”(ART)在人工智能(AI)安全领域取得了重要进展。今天,ART在Hugging Face平台上线,提供旨在帮助AI用户和数据科学家最大限度减少潜在安全风险的工具。虽然此次发布标志着一个新里程碑,但ART自2018年以来一直在开发中,并于2020年作为开源项目贡献给Linux基金会。多年来,IBM在“保障AI免受欺骗的鲁棒性”(GARD)计划的支持下,不断完善ART。
随着AI技术的普及,AI安全的关注度日益上升。常见的安全威胁包括训练数据污染和规避策略,这些均可能通过注入恶意数据或操控输入对象误导AI模型。通过将ART与Hugging Face集成,IBM旨在提升开发者使用防御性AI安全工具的便利性,帮助他们更有效地应对威胁。使用Hugging Face模型的组织现可加强系统防范规避和污染攻击,并将这些防御措施无缝集成到工作流程中。
IBM AI安全与隐私解决方案经理娜塔莉·巴拉卡尔多·安赫尔表示:“Hugging Face拥有大量尖端模型。这个集成使社区能够利用ART中的红蓝队工具,应用于Hugging Face的模型。”
ART的发展历程:从DARPA到Hugging Face
IBM对AI安全的承诺早于当前生成式AI的热潮,体现了其对保护AI技术的前瞻性。作为一项开源计划,ART是Linux基金会LF AI & Data项目的一部分,得到了多个组织的多样化贡献。此外,DARPA还资助IBM在GARD计划下增强ART的能力。
虽然ART在Linux基金会的地位没有改变,但现在它也支持Hugging Face模型。Hugging Face迅速发展成为共享AI模型的协作平台,IBM与该组织建立了多个伙伴关系,包括与NASA共同开展的聚焦地理空间AI的项目。
理解对抗鲁棒性及其在AI中的重要性
对抗鲁棒性对于增强AI安全至关重要。安赫尔解释道,这一概念涉及识别可能企图妨碍机器学习系统的对抗行为,并主动建立防御措施。她强调:“这一领域需要了解对抗战术,以有效保护机器学习流程,采用红队方法识别和降低相关风险。”
自2018年成立以来,ART不断发展,来应对不断变化的AI威胁,包括各种攻击和跨多个模态的防御,如物体检测、目标追踪、音频处理等。安赫尔指出:“近期,我们专注于集成像CLIP这样的多模态模型,这些模型将在系统中很快可用。在安全形势不断变化的环境中,持续开发新工具以应对新出现的威胁和防御是至关重要的。”