打造更安全的AI,CVPR 2022 AI安全挑战赛开启
下面两张图中,人工智能模型分别给出了不同的识别结果,但画面似乎没什么区别?
对人
通过对抗攻击,在原图上叠加上非常小的扰动,虽然人眼看起来图片没有变化,但普通的AI模型会不再能“看见”路中的车辆,反而在前方误识别为行人
通过在数据上增加人类难以识别的细微改变,让AI模型接受并做出错误的判断,这就是深度神经网络中常见的对抗样本攻击。
不要小瞧这种细微的差别。如今,AI模型已经开始应用于智慧城市、智能驾驶等领域,如果因为对抗样本攻击,而让自动驾驶的汽车误将红灯识别为绿灯,将路障识别为可通行标志,后果将不堪设想。
构建安全、鲁棒的AI模型,区分开放世界场景下的干净样本和对抗样本,在人工智能领域日趋重要。
然而,当前很多AI模型是在封闭数据集下进行训练,无法适应开放世界场景,多样性的噪声数据将会给模型案例及鲁棒性带来极大挑战。
商汤科技作为领先的人工智能软件公司,长期投入于原创技术研究,对AI安全、伦理等问题很早就开始布局。针对日益重要的对抗安全、模型鲁棒性以及隐私保护问题,商汤正在建立和完善AI安全平台技术体系,打造覆盖全行业云边端平台更安全的“盾”。
为了加速开放世界场景下的鲁棒模型研究,推动新的以数据为中心的算法开发,商汤科技联合北京航空航天大学刘祥龙教授团队,联合举办面向复杂场景的鲁棒机器学习大赛——Robust Models towards Open-world Classification。比赛还得到了OpenI启智新一代人工智能开源开放平台的资源协助和支持。
刘祥龙教授团队多年来深耕人工智能安全领域,不断探索可信赖人工智能前沿技术,在对抗攻防、模型评测和可解释理论方面成果丰硕,在国内外均有一定影响力。
本次大赛依托“CVPR2022 Workshop:The Art of Robustness: Devil and Angel in Adversarial Machine Learning”展开,希望鼓励研究者开发面向开放世界的对抗防御算法,在多样化的对抗攻击算法,复杂的真实世界场景,及测试类别不确定等因素下,探究鲁棒模型的生产方式,促进鲁棒防御模型的发展。
此外,比赛获奖队伍还将受邀在workshop中做分享,讲解自己的技术方案。大赛已经正式启动,查看文末网址或点击阅读原文,
▎双赛道对抗竞赛,聚焦开放世界场景
这次比赛分为两个赛道。
Track 1:分类任务防御模型竞赛
第一赛道的目标是获得鲁棒性好的模型,可以适应各种各样的攻击样本,分为初赛和复赛两个阶段。
初赛阶段,比赛会分别释放训练集和测试集,参赛者仅能使用该阶段释放的训练集训练鲁棒模型。训练集为正常的分类数据,测试集包含正常分类数据和攻击样本。
第一赛道的攻击样本包括但不限于通过对抗攻击产生的对抗样本。选手需要得到足够鲁棒的防御模型,能够对干净样本和对抗样本进行正确分类。初赛阶段选手需要将给定测试集的预测结果提交。
复赛阶段,参赛者同样仅能使用该阶段释放的训练集训练鲁棒模型。但与初赛不同的是,参赛者需要提交训练好的原始模型,平台将对提交的模型进行评测。数据集的构成上,初赛为20类,复赛为100类。
Track 2:OpenSet对抗噪声检测模型
第二赛道的目标是对对抗攻击产生的对抗样本做区分。在第二个赛道中测试集为开放类别,即与训练集合的类别没有交集,同样分为初赛和复赛两个阶段。
初赛阶段,比赛会分别释放训练集和测试集,参赛者仅能使用该阶段释放训练
在复赛阶段,选手同样需要提交模型到平台进行验证。
▎比赛时间
3月11日-5月21日
▎比赛奖励
本次比赛总奖池1.5万美元。
其中,Track1总奖金池8000美元,取前6名,前六名奖金分别为3000、2000、1500、800、500、200美元;
Track2总奖金池7000美元,取前3名,前三名奖金分别为4000、2000、1000美元。
具体比赛规则及介绍,请前往官网。欢迎对AI模型安全感兴趣的朋友,踊跃报名参加~
比赛报名官网:
aisafety.sensetime.com
Workshop地址:
artofrobust.github.io
北航刘祥龙教授团队介绍:
xlliu-beihang.github.io
Openi启智社区:
openi.org.cn