演讲者：唐家渝 瑞莱智慧RealAI 副总裁 

大家下午好，很高兴能有这个机会跟大家分享一下我们在AI时代发现的一些安全的问题和相应的解决方案的探索。

人工智能时代大家都说有三大主要的支撑，算力、算法、数据。因为有了大数据，所以我们才能去不断训练出更好的算法。在这个数据支撑的时代，有非常多的安全风险，这里我们举个例子，比如这两张图，在人看起来都是雪山，这里是阿尔卑斯山的一角，但是在机器看来，会把右边这张图认为是一只狗的图像，这是因为我们在图上加上人眼不可见的噪声以后，模型在提取特征以后，把它识别错了。这样的问题不仅出现在数字世界图像上，在线时生活中也会出现，例如我们曾经在2019年时就把手机的人脸识别解锁功能攻破，到今年我们利用一副面孔攻破了多个品牌的几十部手机。不仅是人脸识别这样的算法，目标检测就是我们常常用到的安防的场景上同样有这样的问题，这里展示到的是我们在不同的光纤角度包括一些运动的情况下，对于安防系统攻击的演示，只要在特定的车、人身上有特定的干扰图像后，我们的监控算法就实效了。这一类问题我们称之为对抗样本攻击问题，另外一类问题叫模型后门攻击问题，其实就是攻击者通过对训练数据的修改，在这个其中植入了后门。这里我们举到的例子，比如日常生活中我们用的很多的内容审核的模型，左边这张图，大家会认为它是一个爆恐的图片，能进行正常的审核，右边因为有一个植入的后门黄色色块，就会认为这是个正常的图片，逃过了审核。这样的问题在当前主流的深度学习的模型中是一直存在的。比如这里是通过在标识牌上粘贴黑色图像，把限速标识识别成了停车标识。

前面可能大家比较好奇这些问题是如何产生的，这里我们用一个比较浅显的例子跟大家介绍一下基本的原理。比如大家知道深度学习是通过自动化发现和学习这些数据中的特征，去学习相关的分界或者人脸识别相关的功能。机器学习通过学习这些数据，会自动学习出一个模型的边界，可能在模型的边界一侧它认为是A类，另一侧认为是B类，因为它看到的数据不够多，或者它本身学习到的特征并不够准确，跟真实的分界可能是有偏差的。当有一个新的样本出现时，我们只需要在这个样本上添加一些可能人看起来并不会特别明显或者看不到的色差以后，它就会是这个样本落在这个模型分界的右边以及真实分界的左边，这个模型就将它识别出错了。如果这些训练出的数据里被投入了一些有意的误导的特征，举个例子，比如这里要去识别分类这些图像是什么东西，比如在花个类别所有的左下角都加了一个紫色的色块，当一个新的图像出现时，这个模型就会认为紫色的色块是花非常显著的特征，在任何一个图像的时候就会把它认为是花，这就是被成功植入了后门。

以上是大概原理，不仅是从模型本身，因为深度学习的可解释性和黑盒性带来的问题，同时我们在使用AI的过程中，因为要用到大量的数据，会引出数据泄露的风险。比如今年315，大量门店在不经用户同意的情况下采集了大量的人脸照片，这些人脸照片或多或少已经在黑产上流出了。黑产上有什么用，比如这里我们拿到一张图像，可以利用这张图像去驱动它生成各种各样的动作的视频，相信看到这个视频大家也比较熟悉，比如我们在网上进行开户、刷脸支付，需要做这样的动作，这样确实会造成实际的金融安全的风险。右边这个例子也是我们跟一家金融客户去沟通时对他们实际的业务系统构造的攻击的案例。

AI安全的风险远不止此，前面说的是大家平时能接触到的或者相对来说风险比较大的点。无论从数据训练的阶段到模型训练出以后在线运行的阶段，运行过程中产生的各种数据的阶段，都会造成各种各样的问题。这些问题我们每一个点都需要进行一个深入的研究，包括前面360的同事也提到，包括软硬件的基础设施都会有各种各样的问题。

AI的安全可控一直受到国内外高度关注，早在2016年时，清华大学的张博院士提出要发展下一代的人工智能，不可能只从数据中学习到相关的东西，要充分结合现在已有的东西，去发展安全可信可扩展的下一代的人工智能，2018年美国也同样提出发展下一代人工智能的想法，同样提出我们要提供AI系统的可靠性、安全性和可解释性。在今年我们的政治局常委会议上，提到国家安全战略，首次把人工智能安全作为一个单独的点提出来，可见大家对人工智能安全的重视也是越来越多了。

以上主要是介绍了人工智能安全实际的问题和大家对它的关注，我们瑞莱智慧对这一块做了比较多的研究和解决方案的输出。我们整体的目标还是希望去发展安全可控的人工智能，大体的目标进行拆解，我们希望人工智能的系统它的功能是稳健可靠的，我们运用的数据是可控可信的，决策是公平公正的整个业务逻辑具有可解释性，一旦发生安全事件可以追溯，以及人工智能的应用是合法合规的。基于这个大的愿景，我们目前做了三件事情。一是让现在现有的人工智能系统更加安全，基于对方的技术，打造防火墙，抵抗AI系统的攻击。另外一方面，比如刚才提到的伪造的音视频用于诈骗，用于金融系统的攻破，我们为防止这样的AI技术被滥用，我们也研究了包括AI合成内容的检测，包括隐私计算的技术。另外我们也基于清华大学人工智能研究院的研究成功，发展第三代人工智能，从根本上提供一些更加安全可解释的AI解决方案。

这一页是我们对AI安全整体解决方案的概览，从底层我们自主打造了人工智能安全的开发框架。以上我们从攻击和防御两个方面去研究了诸多的技术，覆盖模型安全的领域、数据安全的领域以及应用安全的领域，这些领域相关的技术我们向上输出，丰富了多个应用场景。概括来说，主要是对AI系统的安全性进行评测以及加固，以及对AI进行治理。

除了这些底层的技术和解决方案的研发以外，我们也积极参与国家的包括行业的一些安全标准的制定，后面我也会做简单介绍。这些解决方案的背后我们有许多标准化产品的支撑，第一个介绍的是我们在去年年初就发布的业内首个企业级人工智能安全检测平台，到目前为止也是唯一的一个，主要是通过业界主流的以及我们自己研发的多种的对抗技术，自动化检测AI系统的安全性。举个具体的例子，比如前面提到有对抗样本攻击的风险，我们这里就可以对AI系统的对抗样本攻击的能力进行自动化的测评，主要是利用11种业界最主流的以及我们独有的非常领先的攻击算法，去模拟攻击AI系统，测评完成后输出一个详尽的比分报告。整个测评方式我们也发表在了CVPR上，得到了学术界广泛的认可。我们对后门也做了自动化检测，覆盖的领域不仅是人脸识别，包括图像分类等等，我们都可以进行检测。最主要的特点是我们首创了业界黑盒的方法，被测模型和被测系统对我们来说是不可见的，我们不了解内部的数据和结构的情况下，对它进行充分的测试，充分保障被测方的知识产权。另外一方面，整个测试过程完全是全界面化的，被测的用户不用知道相关的理论知识甚至编程代码的操作。

我们针对目前应用最广泛的人脸识别的系统提供的人脸安全防火墙，主要是针对一些新型的攻击。比如大家听说了像活体检测，防假体攻击，主要是防照片这样的东西绕过人脸识别。我们对于人脸识别的防范更近一步，进一步扩展到针对AI模型本身的理论上的攻击，包括对抗样本的攻击，以及现在AI越来越生成逼真的深度伪造的视频检测。整个技术我们目前已经应用在多个场地，从落地的情况来看，攻击拒绝率达到98%以上，整个技术还是非常领先的。

第三块是前面介绍的应用可控的问题，提到数据安全的问题，我们相应推出了全景式的数据安全和隐私保护的计算平台，实现数据的可用和不可见。整体方案有多个优势，包括实施非常简易，有业界先进的运算性能，计算过程透明安全。这里尤其要提到的是打造的自动化编译的引擎，比如像现在大家使用联邦学习的框架，需要把传统的机器学习算法进行人工改写，改写成联邦环境下可以使用的，我们基于底层的改造，把所有的过程完全的自动化，我并不需要专有的知识，可以把以前的机器学习模型自动化编译为在联邦环境下可以使用的模型，大大降低了应用的成本。

第四块是我们近期推出的业界首个实战化、体系化AI攻防演习的平台，我们的AI安全靶场。这个靶场顾名思义就是我们构造现实的AI的应用场景对应的多个场景的模型，去开展AI攻击与防御有效性的评估和对抗攻防的演习，非常直观，在对抗演习的过程中，大家可以以练代学，在这个过程中提升相关人员的AI安全能力。在对战过程过程中，大家可以通过实战检测到安全状态，对目前已有的安全漏洞进行弥补，改进现有系统的安全性。这里的靶场我们综合了我们的研究成果以及清华大学联合研发的AI对抗攻防基准这样的成果，去提升白盒攻击、黑盒攻击在这上面的能力。

这里是几个前面介绍产品落地的案例，首先是跟头部支付厂商合作的案例，我们利用了我们领先的AI对抗的攻击算法，发觉现有支付的算法中人脸识别中存在的安全漏洞，发觉以后提供相应的安全性提升的方案，助力他们去发展更加安全的大家平时用到的刷脸支付。另外一块是跟国家电网集团合作的案例，电网会利用自动化的模型去识别郊外的场景是不是有危险品出现，比如烟火、吊车等，这些可能会干扰高压线安全的。利用我们的平台去对他们的模型进行安全性测评以后，发现他们的模型漏洞还是非常大的，像这里展示的一张图，可能我们看动图没有任何变化，但实际上它加入了人眼不可见的噪声，使这个模型识别出错了，检测不出危险情况。另外一块，后续通过对抗训练等方式，帮助他提升这个模型的鲁棒性。

我们提供的AI安全能力还是得到了业界的广泛认可的，从最顶层的学术论文，得到了多个图灵奖得主的引用，包括在国际国内AI安全的竞赛中都获得了几乎都是冠军。在开源生态领域我们也积极去建设，我们也办了多届AI安全对抗的比赛。我们的代表性客户，包括蚂蚁金服、华为、国家电网。AI安全是非常新的东西，也是国家层面非常关注的东西，我们也积极参与国家级多个AI项目。

AI安全是个非常新的领域，相关领域的标准还是比较缺乏的，我们也积极参与了AI安全评测标准的制定，包括去年工信部的揭榜挂帅测评的工作，我们也负责算法安全标准制定的部分，针对百度、腾讯、商汤人脸识别等头部的厂商进行产品算法安全性的测试和择优。

以上成果都基于我们有一个业务领先和技术领先的团队，最后简单介绍一下我们团队的情况。我们的团队是孵化自清华大学人工智能研究院的，是作为清华大学官方的产学研落地的企业孵化出来的，在2018年6月，清华成立了人工智能研究院，在同年第二个月就孵化了我们公司。目前已经在政务、金融、能源等多个领域进行了落地，提供金融风控、智慧理财、人脸识别系统性的安全性检测提升的多种解决方案。整个团队目前也吸纳了头部公司多个获得过多种奖项的比较头部的同事和同学，整个团队目前接近200人，有大概一半的同事具有硕士和博士以上的学历，大概三分之一的同事是来自于清华和北大的同学。核心团队深耕技术领域数十年，整个团队发表了百余篇顶刊的论文。从产业落地方向来看，我们获得了包括政府、产业和市场广泛的认可，我们累计获得的荣誉接近80余项，值得一提的是，今年的世界互联网大会上我们也获得了世界互联网领先科技成果，当时全世界只有14家，我们是唯一一家创业公司，同期的领先成果包括华为的鸿蒙、北斗、高通的5G等等。

以上是我们对AI安全做的一些探索和思考以及我们持续发力的一些方向点，也欢迎大家关注我们，持续跟我们进行互动，使AI安全整个生态做得更好。以上是我的分享，谢谢大家。

固定链接 'AI之下如何安全？' 提交: December 10, 2021, 1:25am CST