您的位置:生活遨游 > 搜索科技 > 搜狗搜索 >

BlackHat Europe:百度安全科学家变身AI版大卫•科波菲尔

原标题:BlackHat Europe:百度安全科学家变身AI版大卫•科波菲尔

在近期召开的BlackHat Europe 2018上,来自百度安全的“感知欺骗:基于深度神经网络(DNN)下物理性对抗攻击与策略”的最新研究报告成功入选。百度首席安全科学家韦韬博士、百度安全实验室资深研究员Zhenyu Zhong博士、Yunhan Jia博士受邀出席发表主题演讲,分享了百度安全在AI时代下机器学习算法安全领域的研究与实践。报告展现了让物体在深度学习系统的“眼”中凭空消失,在AI时代重现了大卫•科波菲尔的经典魔法。针对深度学习模型漏洞进行物理攻击可行性研究,这个领域的研究有着广泛的用途,在自动驾驶领域、智能安防领域、物品自动鉴定领域都有重要的实际意义。百度安全的这个研究也启示了工业界及学术界需要更加迫切的研究人工智能感知系统的安全问题,共同探索与建设安全的AI时代。

BlackHat是国际安全工业界的顶级会议之一,具有广泛的影响力。BlackHat每年分别在美国、欧洲、亚洲各举办一次安全信息技术峰会,会议聚焦于先进安全研究、发展和趋势,并以其强技术性、权威性、客观性引领未来安全思想和技术的走向。近年来,百度安全多次登上BlackHat的舞台,分享在AI安全、移动安全等领域的研究与实践成果。

机器学习容易受到对抗样本的攻击,这在业内已不是新鲜事。对图像数据叠加人类难以通过感官辨识到的细微扰动,就可以“欺骗”机器学习模型做出错误的分类决定,指鹿为马,甚至无中生有。业内将这种影响AI决策边界的细微扰动称之为“对抗样本”(Adversarial Example Attack),一个典型的场景,假设恶意攻击者通过篡改数据,生成对抗样本使得机器学习生成模型对输入数据产生错误的判定,继而应用到人脸识别、无人驾驶等领域,这将破坏整个人工智能生态应用的进程与基本信任。

BlackHat Europe:百度安全科学家变身AI版大卫•科波菲尔

不同L p 范式数字扰动对YOLOv3的影响

在报告中,Zhenyu Zhong博士系统介绍了模型安全可靠性的重要性,以及当前基于视觉感知的物体识别所依赖的深度学习模型的漏洞。如图1所示,三个具有代表性的攻击算法(FGSM、JSMA、CW2)所生成的扰动在与原图叠加后,普通人几乎无法区分它们与原图的区别,却能令YOLOv3失去对车辆的正常识别。

然而,这类攻击需要对输入图片的bit级精确控制。在现实世界中,此类针对深度神经网络进行精确数据输入的篡改以实现机器学习错误分类的手段是否依旧可实现,业内一直存在争议。据百度安全的最新研究成果表明,在物理世界中,对抗样本在机器识别领域是一个实际存在的威胁。针对机器学习模型漏洞进行物理攻击可行性研究,这在历届BlackHat上尚属首例。报告中Zhenyu Zhong博士提出了为实现物理攻击而设计的威胁模型及策略:在假设攻击者无法对输入流数据以及数据处理环节进行篡改的前提下,仅允许向目标对象上做图像贴片,以使得深度学习感知系统产生误判。

BlackHat Europe:百度安全科学家变身AI版大卫•科波菲尔

物理攻击的挑战

值得指出的是,原本理论上精确数据篡改可以达到完美欺骗的攻击效果,在实际物理环境的限制之下,往往会失去作用。百度安全科学家在报告中针对不同距离、角度光照条件、色彩失真、目标对象补丁位移等因素(图2)进行了技术攻关,从而克服了可变的物理环境对攻击的影响,现场成功复制了昔日大卫. 科波菲尔让自由女神像消失的神奇瞬间,展示了针对车辆机器识别的物理攻击效果。

如图3所示,在时间t0的时候,当在车后显示器中显示正常logo时,YOLOv3可以正确识别目标车辆,而在t1时,切换到扰动后的图片时,它可以立刻让目标车辆在YOLOv3面前变得无法辨识;在t2时,切换回正常的图片,YOLOv3重新可以识别目标车辆。然后,百度安全科学家进一步演示了在动态变化的情况下(多角度,不同距离如图4所示)的物理攻击,从t0到t2之间,摄像头经历了由远到近,由左到右的位移变化。在此时间段内,在车背后显示的扰动后的图片保持不变。在绝大多数时间内,攻击扰动样本让YOLOv3无法识别目标车辆。这是首次针对车辆的物理攻击的成功展示,从攻击目标的大小,分辨率的高低和物理环境对攻击效果的影响和难度来说和以往的学术文章所针对交通标识的攻击相比更是一个新的提升。

BlackHat Europe:百度安全科学家变身AI版大卫•科波菲尔

人工智能在拓宽传统产业格局框架的同时,也重塑了安全的防线边界,传统的安全防御已无法应对新时代的挑战。百度安全的研究证明,人工智能时代不仅要面对曾经的云管端的安全问题,机器学习算法自身的安全性亦存在漏洞,存在现实威胁性。如若被恶意利用则可延伸到人身和公共安全层面。企业需要针对AI模型进行安全防护能里和效率的提升。百度安全针对人工智能算法安全性的研究,包括深度学习模型鲁棒性测试、形式化验证、机器识别恶意样本实时监测、黑白盒攻防等领域。此外,百度安全始终倡导通过新一代技术研发与开源,实现对安全问题的快速响应与对抗,百度安全实验室AdvBox对抗样本工具包针对AI算法模型提供安全性研究和解决方案,目前已应用于百度深度学习开源平台PaddlePaddle及当下主流深度学习平台,可高效地使用最新的生成方法构造对抗样本数据集用于对抗样本的特征统计、攻击全新的AI应用,加固业务AI模型,为模型安全性研究和应用提供重要的支持。

包括对抗样本工具包AdvBox在内,百度安全今年将首创的七大技术——KARMA系统自适应热修复、OpenRASP下一代云端安全防护系统、MesaLock Linux内存安全操作系统、MesaLink TLS下一代安全通信库、MesaTEE下一代可信安全计算服务、HugeGraph大规模图数据库——开源汇成“七种武器”,全面解决云管端以及大数据和算法层面的一系列安全风险问题,实现由传统安全时代的强管理向AI时代的强技术支撑下的核心管理的转变,全面应对AI时代下层出不穷且日益复杂的生态安全问题及挑战。

上一篇:这家网红学院火了!带你变身人工智能Alpha
下一篇:网站编辑如何写出好文章

您可能喜欢

返回顶部返回顶部