从危到机，AI 时代下的安全挑战丨CCF-GAIR 2018
作为国内最大的社交巨头，腾讯如何运用AI 技术应对安全挑战？AI时代下，安全攻防又有哪些新变化？——在6月30日的2018 全球人工智能与机器人峰会（CCF-GAIR）上，腾讯安全平台部总监、Tencent Blade Team负责人胡珀，揭秘了腾讯AI安全布局和最新进展。
胡珀首先分享了对AI本身的安全问题的考量与反思。他在演讲中提到，AI将是下一次的工业革命，但不可避免的存在安全方面的局限性。智能设备渗透到各行各业，也将会带来很大的安全隐患。除了自身算法安全、第三方组件问题，AI技术还可能被黑产利用。
面对AI时代的安全隐患，Tencent Blade Team不断探索AI在具体场景下的安全应用，在胡珀看来，“安全绝不仅仅是被动的事后处理，而是也要主动研究最前沿、最尖端的技术，用未雨绸缪的前瞻性研究来武装我们的工作。” 专项进行安全研究的Tencent Blade Team，研究重点随着腾讯和整个安全行业面临的实际场景不断进行调整变化。近年来随着AI大规模工程化、实用化，Tencent Blade Team加大了对 AI 智能设备安全方面的研究。
在具体场景下不断实战的同时，Tencent Blade Team也助力同行业进行技术优化。17年年底，腾讯发现谷歌人工智能学习系统TensorFlow存在严重安全风险，可被黑客利用带来安全威胁，Tencent Blade Team向谷歌报告了这一风险并获得致谢。据悉，该风险是TensorFlow首个自身安全风险。
相比同行业公司，腾讯的AI+安全所面临的场景更加丰富。腾讯主营业务涵盖游戏、社交、支付等多个领域，如QQ及微信的登录、QQ及微信内垃圾信息的打击等，都用到机器学习来保障用户的安全。除此之外，面对近期发展迅速的AI+医疗、智慧零售和智慧楼宇，Tencent Blade Team也在探索更新的AI安全解决方案。
胡珀是国内首个漏洞奖励平台TSRC负责人，自2007年加入腾讯以来，他一直从事国际范围内的前沿安全攻防技术、黑客攻防技术对抗研究，包括人工智能（AI）、物联网、移动互联网、数据安全等，先后负责过漏洞扫描、恶意网址检测、主机安全、DDoS攻击防护系统的建设和运营以及应急响应、前沿安全、安全培训、安全研究、漏洞奖励计划等工作。
胡珀演讲全文如下：
今天非常荣幸能够分享一下腾讯在AI安全方面所做的一些事情。先做一个自我介绍，我叫胡珀，在腾讯安全平台部工作了11年，一直在从事黑客攻防对抗方面的工作。我的一部分工作是属于安全研究，一直以来我们的理念就是安全绝不仅仅是被动的事后处理，而是也要主动研究最前沿、最尖端的技术，用未雨绸缪的前瞻性研究来武装我们的工作。为此，我们也组建了一支团队——Tencent Blade Team，专门进行安全的前沿研究，研究重点随着腾讯和整个安全行业面临的实际场景不断进行调整变化。比如最开始是研究Web安全，后来逐渐向移动互联网安全、物联网安全转型。近年来随着AI大规模工程化、实用化，我们也加大了对 AI 智能设备安全方面的研究，这个演讲就是对我们研究的总结。
AI是下一次的工业革命，我们现在不管是开会、人脸识别、车牌识别，还有智慧城市、智慧零售，还是智能手环、智能手机、智能音箱等，AI越来越渗透到我们的生活里。所有东西都AI了，基本上各个行业也都会引入AI，我们去（会场）外面看一下，全是各种智能的设备。
但是物联网设备或者所谓的智能设备渗透到各行各业，到我们生活之中，可能会带来很大的安全隐患。比如智能音箱有接收语音指令的功能，如果音箱被黑客控制的话，就可能会变成窃听器。同理，摄像头如果被黑掉，也可能被用来监视我们。
今天我要讲的主要分为两部分，第一部分是以智能设备为典型代表的AI存在的安全问题，第二部分讲腾讯把AI应用到安全场景去做安全检测或者安全防护上的实践。
AI的安全问题我们总结了一下，大概归为三类：第一类是AI算法自身的安全问题，前面几位老师也有讲到，比如现在我们的图像识别，图像欺骗，自己用PS定制一张图片，加一些像素进去，可能就会导致自动驾驶中的识别系统受到干扰。
第二类就是AI系统引入第三方的组件，但这些组件也会存在问题，这就是传统的安全问题了，包括对文件的处理，对网络协议的处理，各种外部输入协议的处理都可能会出问题。
第三类就是黑产也会用到AI。大家不要以为AI只是停留在学术界或者是工业界，其实现在黑产也大量在使用AI，之前我们处理过一个案子，就是黑产用机器学习的算法来识别验证码，最高可以达到80%到90%的识别率，这个团伙被摧毁后，我们发现这是我们见过的科技含量最高的黑产之一。
首先我们会发现，AI是很容易被带坏的。这是微软推出的机器人，通过跟网友对话进行学习，恶意的网友就会乱教它，比如骂脏话，甚至是种族歧视。
前面的老师也讲过，现在AI是孩子，你教什么就学什么，结果学坏了，最后骂人，后来微软马上下架去修改，这就是一种样本的问题。
第二个问题就是AI会被蒙蔽。只需要一些简单的操纵，人眼看起来毫无区别，AI识别却会得出完全错误的结果。比如这是一个人脸识别系统，给一张照片会识别出这个人的性别、年龄、表情、魅力值，第一张图正常图片可以识别出是男性，21岁，表情黯然伤神，但是如果经过特殊处理，加一些图层进去，对我们人眼没有影响，但就会被AI就识别成女性，20岁。另外两个也是，叠加图层上去，整个AI识别结果完全颠覆了，结果变成了男性，36岁。我们进行了测试，最大会有20%的识别错误几率。
针对标识的识别也是如此。我们可以看到，通过类似的图层叠加手法，会严重影响AI的识别结果。比如第一张图可以直行，第二张图加入图层后，我们人眼识别完全没变化，但到AI去识别就可以直行也可以右转，限速30变成限速80。这就是对AI的攻击。大家可以想像，如果这个攻击案例被用到了实际环境，可能直接导致车毁人亡的严重情况。
第三个问题就是被污染，也就是在AI的底层框架存在的问题。比如谷歌的深度学习系统TensorFlow，Tencent Blade Team研究之后，发现它其实存在一些传统的网络安全问题，比如恶意构造一个模型文件，格式经过特殊构造就可以控制它整个AI系统，然后可以算出AI系统的设计或者架构问题。除此之外，如果引用了恶意的第三方组件，也会导致系统崩溃，拿到系统权限。
这些漏洞我们都报给了官方，并拿到了致谢。这些系统如果底层出问题，被黑客利用，后果是灾难性的，所以现在产业界、学术界都非常关注AI的底层架构安全。
第四，许多智能设备都可能被控制。比如智能音箱可能被窃听，我们团队对市面上的一些智能音箱做了一系列研究，许多智能音箱都有安全问题，包括协议的解析和认证授权等，其实还是传统的安全问题。如果大家感兴趣，可以在今年8月份在拉斯维加斯的DEF CON上关注我们介绍智能音箱的漏洞技术细节的议题。
另外就是智慧城市，现在很多地方都引入了智慧城市，里面会用很多新的协议，比如 IoT 的协议，这个也存在许多安全隐患。
我们选用腾讯大厦作为目标进行了测试，发现它所使用的智能楼宇设备协议和加密通讯存在一些技术风险，这就造成我们可以通过远程控制某一层的会议室灯、空调、窗帘，包括插座等。
我们当时放了一个无人机到顶楼，挂了一个信号发射器，实现了对整层楼的开灯关灯关窗帘的控制，在欧洲的HITB安全峰会上我们也详细讲了这个漏洞的技术细节。
因为供应商是国外的，我们把问题报给官方，也修复了，做这个实验本身就是希望把这个问题修复掉。
除了智能音箱、智慧楼宇等，我们还研究过无人机。2015年，Blade Team参加一个黑客比赛，远程用电脑把无人机劫持了。我们破解了无人机的通讯协议，破解之后发现，只能够抓到一部分无线电协议，就可以去模拟摇控器发出来的协议，把当时的无人机给劫持掉。
摄像头也是类似。2014年的时候，我们对国内的摄像头做了一系列的安全评测，2014年是智能摄像头元年，所以我们也要去跟进看一下。大家有没有见过有部电影叫《窃听风云》，里面有个桥段就是加了一个设备，把摄像头替换掉，导致保安没有发现有人进去了。
有些摄像头我们发现也是有这个问题的，我这里放了一个QQ公仔，摄像的 wifi 网络被我劫持替换，就能控制它所有想要展示的图像，我重新可以录视频，把公仔隐掉。
另外就是一些智能手机，因为智能手机现在用了越来越多的一些所谓的生物识别、智能识别，比如说人脸解锁，人脸解锁之前有很大的问题，但是我直接用照片，而且用二维的照片就可以解锁。不过现在应该已经加了3D或者活体识别了，就没那么简单，但是我们目前在进行的一些研究中发现还是有机会的。所以后面有机会大家还可以看到我们的分享。
另外就是有些手机可以支持智能设备解锁，比如手环解锁，只要手机靠近手环就解锁了，不用输密码，这也是比较方便。但在设计的时候会出问题，解锁的时候它只会检测我的手环match地址，这个也很容易实现，我们可以直接解锁他的手机。另外一些品牌手机可能采取的是指纹解锁，但我们发现用一个类似的导电硅胶，直接把纸巾按上去就可以了，根本不需要指纹，这个硅胶按上去算法也通过了，最后解锁也通过。就像现在的智能电锁，也是类似的原理。大家会发现，现在的智能手机也是不够靠谱的。
前面我讲的是智能设备本身的一些安全问题和供给场景演示，但除了他们本身存在的问题之外，AI技术还可能被黑产滥用。
这就是我们现在看到的，越来越多的智能设备链接到了网络上，但是这些智能设备的安全防护又没有传统的PC防火墙，反而会被黑客黑掉，黑客就拿来挖矿、进行DDoS攻击等等，这样就会带来很大的问题。
这些就是一些恶意软件，把物联网设备拿来做DDoS攻击，现在大量的IoT设备都连接上了网络，包括路由器、摄像头，很容易沦为黑客控制的工具。还有一些机器学算法也加入了黑产团队。
以上就是我讲的第一部分，AI的安全问题，下面我来展开讲一下第二部分，AI安全应用在具体场景下的应用，包括实战等。
大概也是这三个方向：一个是会向传统的生物特征转变，第二个是研究工具有变化，以前是用特征工程来对抗黑客攻击，现在可能会转入机器学习的方法，可能用机器学习给它建一个域值和模型，通过模型来看它是否是黑客攻击。
框架大概是这样，可能就是有一个整体的平台，再加上机器学习作为一个分析引擎，和其他的数据层、信誉库等一起，协同进行合作。
现在有一种很麻烦的攻击，就是UDP模拟，包括协议都会模拟到正常的业务，这样怎么做呢？还是会用机器学习相对好一点，在UDP模拟协议的特定场景之下，这种效果是非常好的。传统的 DDoS 防护是通过一个量来发现，但机器学习可以通过很多维度解决这个问题。
我们可以看一下，大概引入机器学习的实际效果。我们主要是应用在两个层面，一个是DDoS，一个是黑客的入侵行为，我们看一下 DDoS 的效果。
这是一个传统的DDoS的模型，加上一个 AI 环节，用机器学习给所有商户做画像。在腾讯云上有很多这样的小商家，可能它单个商户面临的流向不一样，QQ空间和微信朋友圈流量非常大，小的商户流量非常小，如果采取传统的特征工程的方法不能很好解决，比如商户做活动或者双十一整体流量上升，就会有这样那样的问题。
如果用AI画基线，比如取前面三个月或者前面一个月的数据，引入机器学习生成一个模型，通过检测模型来看是否是DDos的攻击或者活动量突增。这样的话，平时就不仅是流量的大小，还包括原IP的属性，或者原端口、整个IP的值，我们会把整个协议让机器自己去学，让它自己提特征出来，大概会选出很多维度，我们会用这个维度做模型。如果它某一天或者某一个时刻偏离这个模型，就可能是遭到DDos攻击。
最后平均准确率从80%到了96.4%，效果还可以，但机器也有误报，我们现在采取双引擎在跑，避免出问题。
在反入侵上也是类似，比如说我们的系统管理员登陆服务器，登陆之后可能会做一系列的运维，或者是部署操作，但它是个有限的集，同时它可能会在某一个特定的时间，或者会有特定的习惯，反正是有规律的。
这个规律如果通过特征工程很难做，但通过机器学习，可以很好地为服务器的每一个管理员帐号进行精准画像，这样就可以解决黑客冒用帐号的攻击方式。现在大部分情况是黑客直接拿一个帐号密码，冒充管理做操作，但它的操作跟管理员是不一样的，一个是时间，还有一个是翻找文档，或者是偷数据的行为，但这些是正常运维管理员和普通用户不会出现的行为。所以完全可以通过这种模型，直接算一个匹配度，同时把它标注出来。
腾讯也有在做这块东西，效果就是我们的几次演习，拿到管理员帐号做进一步渗透的时候，他会明显发现有异常，会告警出来，效果还可以。
今天我总结一下，讲了两部分：一部分就是AI本身的安全问题，其实我们可以看到，随着现在AI和智能设备越来越应用到我们的生活，有很多各式各样的安全问题，不管是智能音箱、智能插座还是智慧楼宇等，一定会有很多黑客盯着，学术界、产业界最好提前发现解决，避免出更大的事故，毕竟以前的互联网都是信息化的东西，现在跟物理世界结合之后，可能会产生很大很严重的影响。
第二部分是把机器学习方法应用到传统的安全场景，在某些特定场景下，AI绝对是优于人类或者传统的特征工程，但在某些场景我们还需要继续探索。
