编码中心
欢迎来稿
当前位置首页 > 科技新闻 > 正文

系统漏洞敲响AI安全警钟

2017-12-25 07:43 来源:科技日报 翟冬冬

  近日,腾讯安全平台部Blade团队对外发布消息称,该团队在对谷歌人工智能学习系统TensorFlow进行代码审计时,发现该系统存在重大安全漏洞,利用该系统进行编辑的AI场景,有遭受恶意攻击的可能。

  目前谷歌官方已经确认了该漏洞,并表示TensorFlow官网将在网站创建安全公告页面,及时披露和修复安全漏洞。

  尚未造成影响

  TensorFlow是谷歌研发的第二代人工智能学习系统,它可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。除谷歌外,国外如eBay、Airbnb、Twitter、Uber等企业,国内的小米、中兴、京东等公司都在使用TensorFlow进行AI模型训练和开发。

  腾讯安全平台部Blade团队回复科技日报记者,这次发现的漏洞不但攻击成本低,普通攻击者就能实施攻击,而且迷惑性强,大部分AI研究者可能没有防备。安全漏洞风险较高,主要问题是在TensorFlow处理训练好AI模型的时候,没有考虑到规避异常AI模型,导致其执行了黑客的命令逻辑。

  好在目前这个漏洞尚未被“有心人”利用,造成严重后果。腾讯安全团队表示,要从根本上解决这种漏洞需要TensorFlow框架更改处理模型的架构,难点是整个架构设计的更改。目前使用者应该避免使用外部的AI模型,等待官方发布补丁。

  安全如何保障

  此前有业内人士认为,由于AI框架刚开始被大范围使用,截至首个安全风险被报告,业内对此类安全问题关注度还不够。

  北京市计算机中心算法工程师张秀玲介绍,目前这些第三方基础库是端对端的相对成熟稳定的平台,可以省去很多基础编程工作,只需要在这些基础库之上设计算法架构即可,尤其对于做应用的人很有吸引力。腾讯安全团队表示,现在很多软件都会依赖TensorFlow、Caffe、Torch 等第三方开源基础库,所以这里也容易引入漏洞,常见的是安全漏洞。AI可能存在的安全漏洞分为两类。

  “第一类是AI算法自身的漏洞,比如通过一些方法欺骗AI,让AI误判。之前业界和我们的团队都实现过利用特制的交通标识牌欺骗自动驾驶系统。”腾讯安全团队说。还有一类属于传统的软件漏洞,比如像处理文件的漏洞、引入第三库带来的漏洞等。腾讯安全团队表示,造成什么风险是由这个AI系统的能力决定的。如果是关系国计民生的大系统那将会造成很大危害,会导致AI失控,或者说被黑客控制。

  我国7月发布的《新一代人工智能发展规划》明确指出,人工智能发展的不确定性带来新挑战。在大力发展人工智能的同时,必须高度重视可能带来的安全风险挑战,加强前瞻预防与约束引导,最大限度降低风险,确保人工智能安全、可靠、可控发展。

  腾讯安全团队认为,安全防护是一个纵深工程,仅仅从算法和代码层面考虑的话,要从漏洞成因的两方面入手,算法上不要出问题,代码上也要保证安全。

(责任编辑:王蔚)

热点推荐

SpaceX今年第7次发射  共向国际空间站运2.63吨物资

SpaceX今年第7次发射 共向国际空间站运2.63吨物资

据国外媒体报道,美国当地时间4月2日,SpaceX已成...

携手世界 为破解人类科学难题贡献中国智慧

携手世界 为破解人类科学难题贡献中国智慧

在蔚蓝的大海中,国际大洋钻探计划正在钻探地球的...

苹果允许用户彻底删除ID 重隐私者得天下

苹果允许用户彻底删除ID 重隐私者得天下

北京时间3月30日,据彭博社报道,苹果公司表示将在...

eSIM时代,运营商的末日还是新生

eSIM时代,运营商的末日还是新生

自近日中国联通宣布在国内首发Apple Watch Series ...

首枚会变色的“心脏芯片”问世

首枚会变色的“心脏芯片”问世

东南大学生物医学工程学院生物电子学国家重点实验...

“科学”号调查麦哲伦海山

“科学”号调查麦哲伦海山

海山是世界海洋生物多样性研究的热点地区。在国家...

别了,“天宫” 你是永远的“一号”

别了,“天宫” 你是永远的“一号”

2011年9月29日,你乘坐长征二号F运载火箭离我们而...