阿里安全提出的自动化对抗攻击平台CAA，给AI系统做“安全体检”-德赢Vwin官网网

鞭牛士BiaNews消息：安全人员曾为某著名车企自动驾驶系统做过一次安全测试，用物理对抗攻击欺骗Autopilot车道检测系统，导致汽车在Autopilot不发出警告的情况下驶入错误车道。假如这是一场真实的攻击，后果不堪设想。事实上，AI系统如果没有足够的“免疫力”，甚至会被一张图片欺骗，如将停车标志识别为通行，在医疗应用中将有问题的医疗影像识别为正常图像等。

为帮助AI应用从源头构建安全性，阿里安全图灵实验室整理归纳了学界针对AI模型提出的32种攻击方法，以此为基础搭建了一个自动化AI对抗攻击平台CAA，帮助检测AI系统存在的安全漏洞。

经CAA“体检”后，AI安全专家可针对被检测AI的薄弱地带提出安全建议，助力AI鲁棒性（稳定性）检测，以此增强AI系统的安全性，近日，该研究成果被人工智能顶会AAAI2021接收。

相比业界此前提出的其他攻击工具箱，阿里图灵实验室研发的自动化对抗攻击平台CAA首度实现了对抗攻击的“工具化”。它让AI应用的使用者即使不具备任何专业领域知识的情况下，也可以进行AI模型的对抗攻击和鲁棒性测试。

此外，CAA还可预先评估待检测AI的特性，通过自动化搜索技术来合成多个攻击算法的组合，提升了现有模型攻击方法的性能和效率。阿里安全专家通过实验表明，CAA超越了最新提出的攻击方法，是可有效评估当前AI系统安全性的最强“攻击”。

图示：阿里安全提出的自动化对抗攻击平台CAA运行示意图

以事前“攻击演练”检测AI系统的安全性，是当前提升安全AI的有效方法，也是阿里提出新一代安全架构，从源头构建安全的核心理念。但如果不知道目标模型的防御细节，研究者通常很难根据经验选择到对当前模型最优的攻击算法，从而难以验证“体检”的真实效果。

阿里安全图灵实验室算法专家箫疯表示，阿里安全首次提出将智能技术引入到对抗攻击中，使得所有攻击细节和参数作为一个黑箱，而攻击者只需要提供目标模型和数据，算法就会自动选择最优的攻击组合和参数。

以AI体检AI，以AI训练AI。萧疯认为，对识别黄、赌、毒等不良内容的安全检测AI而言，模型可靠性和鲁棒性显得尤为重要。目前，在鉴黄算法上，图灵实验室正在借此技术方法提升曝光、模糊、低画质等极端分类场景下的模型识别能力，并且逐渐提升模型在极端场景下的鲁棒性，为业界提供更安全可靠的AI算法能力。

责任编辑：PSY

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

AI

AI

+关注

关注
87

文章
30728

浏览量
268880
自动化

自动化

+关注

关注
29

文章
5562

浏览量
79239
抗攻击

抗攻击

+关注

关注
0

文章
3

浏览量
6368
阿里

阿里

+关注

关注
6

文章
438

浏览量
32828

自动化水厂监控系统

随着科技的发展，自动化技术在各行各业中的应用日益广泛，而自动化水厂监控系统作为智慧水务的重要组成部分，具备多种功能，以满足水厂安全、高效、稳定运行的需求，正逐步改变着传统水厂的运营模式

发表于 12-16 16:17 •72次阅读

罗克韦尔自动化推出Logix SIS，开拓安全新格局

作为工业自动化、信息化和数字化转型领域的全球领先企业之一，罗克韦尔自动化近日推出了 Logix SIS，进一步丰富了其行业领先的安全技术产

发表于 11-25 09:38 •295次阅读

自动化AI开发平台功能介绍

自动化AI开发平台集成了多种算法、工具和框架，旨在帮助开发者更快速、高效地设计、训练、部署和管理AI模型。以下，AI部落小编将详细介绍

发表于 11-14 09:29 •205次阅读

AI即服务平台的安全性分析

AIaaS平台降低AI应用门槛，但面临数据泄露、恶意攻击等安全威胁。需加强数据加密、访问控制、模型加固、供应链安全等措施，确保合法合规，提供

发表于 11-07 09:32 •135次阅读

移动电源18650电芯全自动点焊机：高效、精准、安全|比斯特自动化

移动电源18650电芯全自动点焊机：高效、精准、安全|比斯特自动化

发表于 10-10 11:30 •305次阅读

基于CSS融合存储系统的自动化制造服务平台存储解决方案

基于CSS融合存储系统的自动化制造服务平台存储解决方案

发表于 09-10 10:15 •336次阅读

基于CSS融合存储<b class='flag-5'>系统</b>的<b class='flag-5'>自动化</b>制造服务<b class='flag-5'>平台</b>存储解决方案

隧道安全监测自动化系统解决方案

一、背景在现代交通网络中，隧道作为连接不同区域的重要通道，其安全性与运营效率直接关系到整个交通系统的稳定与顺畅。随着科技的飞速发展，隧道安全监测自动化

发表于 09-09 14:46 •335次阅读

隧道<b class='flag-5'>安全</b>监测<b class='flag-5'>自动化</b><b class='flag-5'>系统</b>解决方案

案例分享：某钢铁智慧电力综合自动化系统改造

、智能化管理。系统能够实时监测电力设备的运行状态，及时发现潜在的安全隐患，并通过自动化控制手段实现故障的快速隔离和恢复，确保电力供应的稳定性和安全

发表于 08-23 15:01 •388次阅读

高速公路自动化安全监测预警系统解决方案

一、背景在当今快速发展的交通网络中，高速公路作为连接城市与区域的重要纽带，其安全与畅通直接关系到国家经济的发展与民众生活的便捷。随着科技的不断进步，高速公路自动化安全监测预警系统应运而

发表于 08-12 14:58 •752次阅读

机械自动化是自动化的一种吗

引言 自动化技术是指利用控制装置对生产过程进行控制，以实现生产过程的自动化。机械自动化是自动化技术的一种，它主要涉及到使用机械设备和控制系统

发表于 07-01 09:32 •1640次阅读

工业自动化和控制系统网络安全的关系

一、工业自动化和控制系统概述 1.1 工业自动化的概念工业自动化是指利用计算机、通信和控制技术，实现工业生产过程中的自动化控制和管理。它主

发表于 06-16 14:25 •676次阅读

英国AI安全研究所推出AI模型安全评估平台

据报道，英国人工智能安全研究院近日发布了名为“Inspect”的AI模型安全评估平台，此平台采用开源技术且对全球

发表于 05-13 15:20 •406次阅读

变电所自动化控制系统应用与分析

摘要：变电所自动化控制系统是对变电所执行自动监视、测量、控制和协调的综合性系统。本文对变电所自动化控制中的计算机监控

发表于 03-28 10:39 •417次阅读

四信大坝安全监测自动化系统提升方案，筑牢安全大坝

四信大坝安全监测自动化系统，是守护水库大坝安全的智能卫士。通过全面部署水位、雨量、位移等传感终端，结合视频监控，实现对大坝安全的全方位监控。

发表于 03-27 14:17 •655次阅读

水利闸门自动化控制系统简介及构成

成都国科自动化ZK4000系列闸门自动化控制系统，采用了计算机、光纤网络通讯和现场总线、现地控制单元、传感器、测控软件等多种现代化技术，可实现对闸门开度、水位等参数的实时监测和控制。通

发表于 02-27 14:24 •1285次阅读