11月28日，CIS 2019网络安全创新大会圆满收官。由百度安全高级架构师兜哥和赛博研究院首席研究员惠志斌博士担任出品人的人工智能安全前沿论坛在当天下午顺利进行，观众的热情依然不减，现场座无虚席。数位演讲嘉宾依次上台，和大家一起共论人工智能的“矛”与“盾”，深析人工智能与网络安全的发展与趋势。

人工智能与安全，融合是大势所趋，对抗永恒存在。网络安全方兴未艾，当碰到人工智能，注定要擦除不一样的火花。人工智能技术是一把双刃剑，既可以用于网络防御，也可以用于网络攻击。由此，人工智能技术的发展也具有双重属性。在这个技术发展迅猛，安全形势繁杂的时代，人工智能安全值得被反复探讨。

议题一：针对云端AI服务的攻击与防护

兜哥——百度安全高级架构师

近几年云计算产业规模不断壮大，各行业数据激增，通过云计算挖掘数据价值，以及企业IT基础架构向云迁移已经成为主流趋势。兜哥分享的议题紧跟时代趋势，企业上云的优势以及面临的挑战都是当前人们关注的热点。

兜哥首先分析了云端AI的典型收益，可分为五点，第一，不用在端上部署昂贵的GPU；第二，可以充分利用云端的GPU资源；第三，降低开发者使用AI的门槛；第四，模型升级便利；第五，便于收集bad case，加速模型优化。

因此，企业上云具有的许多好处使得针对云端的攻击也增加了。兜哥在现场详细分析了几种云端服务的攻击形式，比如几何攻击、迁移攻击、基于模型指纹的攻击和替身攻击等。

兜哥

在演讲结束之后，兜哥还和现场观众进行了互动。当观众问及对抗样本的可解释性时，兜哥认为，对抗样本早期的理解是噪声，后面大家看了之后发觉其实就是一种特性或者特征，只不过这种特征是人不能理解的，但是机器是可以理解的。对抗样本的存在原因在于数据，他认为是模型本身的问题，模型的理解和人的理解特征不一样，能触发新机器识别的错误。模型理解图像，对抗样本就不存在了。

议题二：部分可观下APT攻击行为捕获：马尔可夫决策助力AI模型

孟雷——斗象科技机器学习研究专家

APT本质是针对性攻击，企业系统通常"外部安全堡垒"建设完善，但APT攻击目的性强，会通过变种木马、勒索病毒、组建僵尸网络等手段从内部瓦解企业安全堡垒。如果安全攻防信息持续不对等，企业用户将很难发现APT攻击的蛛丝马迹。由于APT攻击表现行为复杂多变，使用传统人工规则分析方式将存在很多局限，AI技术是解决此类问题的重要手段。

孟雷在会上提及，APT威胁愈加严峻，人们面临的困境是APT越来越隐蔽。数据表明，APT攻击事件中，没有告警的占40%，有效告警的占19%，有效处理的占4%。APT挑战主要分为两个方面，一是海量告警的响应，如何区分有效告警和无效告警；二是对于模型准确性的提升，比如模型噪音、弱智能体。

而在解决方案上，孟雷认为，构造强智能体，具备分析、拦截和放行三个动作。强智能体应该能够达到自主的通过动作、观察、奖赏与环境进行交互来决策出一个最佳的动作行为序列。

孟雷

简单总结，对于传统的基于机器学习的APT攻击检测模型具备存在新、处理响应慢，耗费资源等问题，孟雷介绍了部分可观马尔可夫决策和蒙特卡洛搜索树，通过VPT攻击阶段的数据渗漏，使用DNS隧道的流量验证解决方案。

议题三：以子之矛攻子之盾，AI攻防的那些事

杜培——蚂蚁金服天穹实验室安全专家

“其实这个题目是根据明朝那些事来取的，大家可以看到我的题目，就可以知道我想讲什么了，主要是想用一点通俗的语言来介绍一下攻防，涉及到AI肯定涉及数学的东西，我是想通俗化一点”。

的确，正如杜培所言，他以一种较为轻松、较为通俗的的方式和大家分享了自己的议题。一开场，他先呼应了兜哥前面提及的给图片增加噪声，随后又引出了新的问题，即如何增加噪声。

杜培的分享从隐身术的秘密开始。隐身术很有趣的是，在AR模型识别的过程中，当人们拿着一张特殊的A4纸，AR模型便无法识别，仿佛隐身了一般。他具体分析了这当中的奥秘，YOLO如何做检测，涉及到的Object概率阈值，如何减少等等，杜培的分享循序渐进，由浅至深，十分精彩。

杜培

杜培还进一步分析了物理世界和数字世界的差别。物理世界识别检测受到的影响较大而在数字世界比如黄赌毒违规内容检测则只是轻微的扰动。在演讲结尾，他表达了自己对未来趋势的见解，增强鲁棒性、增强隐蔽性、增强迁移性、防守对抗四大趋势将会是未来发展的方向。

议题四：XAI与可信任安全智能

张润滋——绿盟科技高级安全研究员

随着实践过程中人们对深度学习或者人工智能技术的加深，大家对AI技术去做安全的对抗这种期望也有波动变化，从最开始依赖在边界上专家写规则，依赖他们的经验知识做防护到之后依赖AI模型去做对抗防护。然而，对于AI模型自动化防御的实践之路，道阻且长。

可信任的安全智能技术即将可信任的人工智能技术和安全场景进行融合，需要对其可解释性、合规性以及安全性进行综合的分析。张润滋在会上重点分析了其可解释性技术，在技术层面去实现可信人工智能技术，以及如何让它落地在重要安全场景。

XAI，即可解释性AI。当深度学习模型做出决策的时候，人们不知道它为什么做出了这个决策，不知道它里面的运作机制是什么，导致人们不知道他们什么时候会做对或者做错，最终导致人们对这个模型的不信任。

张润滋

随后，张润滋提出这个问题的解决方法。研究模型的可解释性，分三个部分，第一部分，可解释的模型这部分，这也是人们重点关注的；第二部分，从心理学领域，可解释性如何量化；第三部分，可解释性的人机交互的接口。

在演讲结束之际，张润滋感慨：“这条路还是蛮漫长的，都需要我们在实践中不断地探索，我们最终的目标还是说要打造一个可信任的安全智能，就是我们的安全专家他们的经验知识相对来说很难复制，但是我们机器智能却是很容易复制的，当我们面对未来更大规模数字化的时候，我们很难依赖专家去解决宏观上大规模数据的处理的问题了，我们需要自己安全领域可信任的机器战友。”

议题五：AI繁荣下的隐忧

唐梦云——腾讯安全平台部AI安全研究员

最后一位登场的唐梦云从宏观角度，讲述了在这个AI繁荣的时代下，人们面临的安全风险和伦理问题。人工智能的大时代背景在于深度学习算法的进步、软硬件的提升和数据的激增，人们对人工智能的探讨也是不绝于耳。AI深入渗透到了人们的日常生活之中，并且改变了人们的生活方式和生活理念。

唐梦云从多个方面分析了AI是如何渗透入人们的生活的。在人脸识别、语音、医疗等多领域，AI的繁荣使人们生活更为便利，带来了很多好处。但是与此同时，AI 技术背后的安全也让人深思。

她提出了五点AI自身面对的安全性挑战：

第一，软硬件安全；

第二，模型的鲁棒性；

第三，模型的安全；

第四，数据安全；

第五，数据的隐私。

唐梦云

此外，很多常见的针对AI系统的外部攻击，包括投毒攻击、后门攻击、窃取攻击、逃逸攻击等。唐梦云认为，要从以下几个方面去应对AI要面临的，也是人类要面临的问题：

第一，如何防止AI被骗，比如在模型训练阶段，让模型去学习恶意样本；

第二，利用模型的可解释性方法，了解AI如何思考；

第三，用AI反制AI的滥用。

结语

人工智能是一个持久的话题，而人工智能安全也不能落伍。人工智能技术发展在安全保障的基础之上，才能加强产业发展融合，为高质量发展提供新动能，同时，保障和改善民生。人工智能安全前沿论坛的演讲嘉宾分享了最新的前沿成果和技术实践，相信在人工智能安全领域，精彩不止于此，未来将更进一步。

CIS 2019大会PPT合辑

链接: https://pan.baidu.com/s/1DDvHRwkGTyM2MnllucqCzw

提取码: n6aq

*本文作者：Sandra1432，转载请注明来自FreeBuf.COM