黑客如何欺骗人工智能,攻击图神经网络?别小看土豪转账一分钱
旺道一键推广 -> 最新发布


黑客如何欺骗人工智能,攻击图神经网络?别小看土豪转账一分钱

原创:谭婧

世上总会有骗子,人工智能时代也不例外。想起《天下无贼》里葛优说的那句:「我最烦你们这些打劫的了,一点技术含量都没有。」在人工智能的骗局里,最不缺的就是技术含量。

当人工智能自动合成语音软件,模仿熟人的声音给你打电话的时候,还可以安慰自己“耳听为虚”。扭脸间,人工智能又在视频中给主人公换脸,让“眼见为实”变得十分尴尬。不过,博弈始终存在,人类也会欺骗人工智能,甚至攻击。


黑客如何欺骗人工智能,攻击图神经网络?别小看土豪转账一分钱

人工智能作假


黑客如何欺骗人工智能,攻击图神经网络?别小看土豪转账一分钱

人工智能作假

欺骗AI图像识别的低级套路,早已问世。

比较常见的欺骗人工智能的套路是,在摄像头识别人脸时,在面部上贴上特殊纹路的纸片,这样人脸识别技术可能会失效,识别不出来,或者识别错误。请脑补,人们打扑克的时候会在额头和脸上贴纸条的惩罚方法。当然,不仅机器识别不了,贴多了,老妈也识别不了。

再比如,一张喵星人的图片,经过有效的恶意攻击,人工智能可能将喵星人误判为一只汪星人。这种欺骗应用在自动驾驶领域会有极危险的情况。假如对无人驾驶汽车的视觉系统进行攻击,识别错误交通标志,可能会引发交通事故,传感器再多也防不住。这种恶意的攻击是在哪里动手脚呢?有的方法是将图片的像素值做一些微小的、人眼观察不到的变换,会使人工智能「晕了」。


黑客再出击,如何攻破机器学习模型?

如何有技术含量的欺骗人工智能?如何攻破机器学习模型?这个问题正在被前沿学术界所关注。

众所周知,人工智能的深度学习技术已经成了警队的「天眼」,在特定环境下准确识别人脸图片的能力超过了人类。但是,在鲁棒性和泛化能力方面有缺陷。这种缺陷在不同环境下,会引发不同的问题。

所以,有效地去攻击现有的机器学习模型是可能的。

街角电线杆子的膏药小广告上写着:缺钱吗?朋友,骗过银行人工智能,实现贷款100万的授信额度。如果当黑客拥有了一项技术,可以攻击全天下计算机系统里的机器学习模型时,最想攻击哪里?人性的贪婪的目光总会落在银行身上。如果说武装劫匪的目标是银行大厦里的金库,那么互联网银行就是黑客的目标。

若要实现小广告所示的黑产业务,作案时需要满足两个条件:

条件一:某互联网银行的客户信用积分是用深度学习技术计算的,该银行信用系统中人工智能深度学习技术对转账人信用值这个特征非常敏感。在该银行信用系统的人工智能深度学习模型中,有没有与土豪的往来转账记录,将会作为贷款人贷款级别高低的一个依据。这一关键“特征”的改变会影响贷款额度。

条件二:黑客为了欺诈贷款,想方设法让土豪转了一分钱,虽然只有一次转账,虽然交易数额极低。

在一和二这两个条件都满足的情况下,恶意攻击取得胜利。一夜暴富的状况出现了:凭借土豪一分钱的转账记录,黑客改变了自己的信用评分。顷刻,银行信用系统识别将黑客判定为尊贵的高净值客户。

一分钱的硬币,掉在路边都没有人去捡。但是,这一分钱的转账在“图结构”中,相当于与富豪有一条边相连。如果银行信用系统中人工智能深度学习技术对转账人信用值这个特征非常敏感,这一条边的增加,则举足轻重。其结果,可以是让黑客在顷刻间,拥有了可以向银行贷款100万的信用额度。

这项攻击可以将金融机构置于巨大风险之下。如何解决呢?很遗憾,迄今为止没有办法彻底解决。不过为了解决这个问题所作的第一步的努力,是找到现有深度学习技术在这方面的漏洞,也就是神经网络脆弱的地方。

学术界对此也非常关注,有一篇人工智能的顶级会议论文对这个问题进行了研究。论文出自清华大学朱军和美国佐治亚理工大学宋乐的研究团队,论文标题是《对抗性攻击用于图结构数据(Adversarial Attack on Graph Structured Data)》。这篇论文被收录于第三十五届ICML人工智能顶级学术会议,属于前沿研究领域。

黑客如何欺骗人工智能,攻击图神经网络?别小看土豪转账一分钱

Adversarial Attack on Graph Structured Data

为什么选择图结构数据?


金融交易网络等其数据天生就适合于图表达。银行的交易网络天然的就是图结构。图(graph)是什么?图通常由一些结点(nodes)和连接这些结点的边(edge)组成。详细地说,节点(node)通过边(edge)连接,图是互连节点的集合。图(graph)是表示一些对象(objects)与另一些对象之间相互连接的结构。

图结构具有强大的表达能力,许多实际问题可以用图结构来表示。而图结构中的节点和关系就像图像和文本数据一样是到处都存在的数据。图,是一种数据结构,它对一组对象(节点)及其关系(边)进行建模。图上的表征学习,逐渐变成机器学习的一大核心领域。卷积神经网络是深度图像学习技术之一,图卷积神经网络(GNN)是将卷积神经网络技术拓展、升华到更通用的图结构数据,它已被广泛的应用到各大互联网、金融、生物医药公司。

图里的节点可以是用户账号、电子邮箱、WIFI设备、天猫旗舰店、公司、车站,甚至可以是变电站。如果你在淘宝购买了一支口红,你(购买者)、香奈儿官方旗舰店(淘宝商铺)这两者都是可以是节点,而购买行为是边。一次网购可以用一个简单的图来表示,两个节点一条边。一次转账也可以用一个简单的图来表示,两个节点一条边。关系数据是图计算的一个基本的数据。没有关系数据,图计算就是胡扯。

黑客如何欺骗人工智能,攻击图神经网络?别小看土豪转账一分钱

在纷繁复杂的算法世界中,图数据又复杂,又普遍存在。图数据有自己的特点,蕴含的信息极其丰富,极具价值。可以说,图数据是一座宝藏。例如谷歌的搜索业务也用到了图计算,或者可以说,谷歌的成功起步于这个算法。想知道网页(就是节点)的重要性程度,需要有个PageRank的算法。为什么搜索到的这么多网页有的要被放在搜索的首页。因为有了定量的分数,才可以对网页排序。所以,图计算的算法一直在默默地改变世界。

深度学习有缺点?别放弃治疗。


在人工智能的世界里,深度学习正处在巅峰。2019 年 3 月 27 日,计算机权威机构ACM 宣布,深度学习的三位创造者 Yoshua Bengio,Yann LeCun,以及 Geoffrey Hinton获得2019 年的图灵奖。图灵奖也爱上了深度学习。可以说深度学习是人工智能世界里最好用的“铲子”。

黑客如何欺骗人工智能,攻击图神经网络?别小看土豪转账一分钱

Yoshua Bengio,Yann LeCun,Geoffrey

从人脸识别、内容推荐到疾病诊断,以及自动驾驶,深度学习在决策中发挥着非常重要的作用。现在的问题不仅仅是深度学习如何使用,也应该考虑当神经网络和深度学习算法大规模应用之后,它们特有的安全威胁是什么?黑客找到这些漏洞,然后攻击深度学习模型,后果不堪设想。罪犯从监控摄像头下逃之夭夭,自动驾驶汽车误识交通标志,当街撞人。

所以,需要对深度学习进行对抗性研究。


“对抗性攻击(adversarial attack)”一词最早是在2014年,由谷歌公司人工智能研究人员Christian Szegedy带领的研究小组在论文中提出的。在一辆校车的图片上加上一层对人类来说无形的数据噪声,就是那种人眼看不出来不同的噪声,结果神经网络就被骗了,傻兮兮地认为,它几乎可以肯定校车是一只鸵鸟。这么容易被骗,那还了得,所以,研究人员会开始从对抗的角度来研究它,因为深度学习技术越来越普遍了,有缺陷得早点治疗。

论文《对抗性攻击用于图结构数据》的摘要部分提到,“图结构的深度学习算法在各种应用中取得了令人兴奋的结果。然而,对这些模型的鲁棒性研究还很少,对图像或文本的抗攻击和防御性的研究也很少。在这篇论文里面提出了三种方法:基于强化学习的,基于遗传算法的以及基于梯度近似的。数据表明,图神经网络模型容易受到这些攻击。”该论文对图深度学习鲁棒性及对抗性攻击进行了开创性的研究。

用强化学习的方法,找到漏洞。

论文通讯作者是美国佐治亚理工大学计算科学与工程系终身副教授宋乐。他也是国际机器学习协会董事会成员之一,及第35届机器学习技术国际会议(ICML)署名论文数量排名第三的作者,与其他两位科学家并列。

黑客如何欺骗人工智能,攻击图神经网络?别小看土豪转账一分钱

黑客如何欺骗人工智能,攻击图神经网络?别小看土豪转账一分钱

美国佐治亚理工大学计算科学与工程系终身副教授,宋乐

乐教授宋认为,强化学习的目的是找到一个策略从而最大化累积回馈(Maximize accumulated reward)。强化学习能够通过和环境交互变得越来越聪明。例如黑客不断地试探支付宝芝麻信用的打分机制或者某银行的信用机制,去尝试提高信用分值。用强化学习的方法来寻找图深度学习模型的漏洞的过程也需要反复试错。

这种方法非常有效,在金融机构内部安全演练中也在使用。比如,为了寻找系统漏洞,也会进行红方和蓝方模拟相互间的攻击,来不断的提高系统安全性能。论文的方法,用一句话来概括就是:用一个聪明的算法,尝试较少的次数,成功地找到深度学习网络的漏洞。“尝试较少的次数”一词需要稍加解释,论文里面的“次数”主要是关注修改尽量少的图上的边。比如只需要让巴菲特或者马云给你转一次账,而不是让一群土豪给你转账很多次。”

这里还需要对图数据中节点(node)的重要性进行描述,提炼成表征的描述,强化学习会生成一个策略,比如在网络中给某个节点加一条边,那就是在图结构的数据中,网络中要和谁连接的问题。如果转化成互联网银行的实际业务问题,简单说来,就是“谁转账给你或者你转账给谁?”

论文一作为戴涵俊博士,现为谷歌大脑的研究员。

戴涵俊博士介绍,“论文重点考虑,怎么降低选取一条边策略的复杂度?在一个有N个节点的图中选取一条边的选择空间有O(N^2)。如果一个金融网络中有1万个用户,那选择空间就是1亿种可能性。我们把这个巨大空间的选择分成两步来完成,即第一步选边的起点,第二步在第一步的基础上选边的终点,从而把复杂度降低到O(N)。”

黑客如何欺骗人工智能,攻击图神经网络?别小看土豪转账一分钱

​论文的关注点在于图的结构方面。比如针对某个人的社交关系进行修改。从学术角度讲,就是论文中考虑的对图的修改可以是对已有的边删除,也可以是添加新的边。所以,当攻击行为摸索到图深度学习模型的规律,很可能会发生:土豪转账给你,哪怕只有一分钱,也有可能提高你的授信额度。但是更可怕的攻击行为是,马云给马化腾转账了一分钱,从而使你获得贷款100万元的授信额度。因为从图结构数据的本质来理解,对社交关系进行修改,可以是比如跟你加好友,删好友,以及转帐给某人。这一小小的动作,也是一种改变网络的一种方式。

说到底,所有的攻击如果想通过最少的步骤(次数)来完成,都是一个优化问题。

论文还提到了其他攻击方法,也就是强化学习之外的方法,包括随机(Random)攻击,基于遗传算法的攻击和基于梯度近似的攻击。按葛优的理解,都是“技术含量极高”的手段。攻击行为可以理解为一种试错行为,一次试错,一次回馈,但是很难窥见模型的全貌。如果攻击者可以访问有关基础模型参数和架构的信息,以及算法及其所使用的参数,则称为白盒攻击。如果攻击者无法访问已部署的模型体系结构等,则该攻击称为黑盒攻击。这些都是高水平的攻击方法。

当然,除了高级的,也有比较简单的攻击方法,比如对图的节点的攻击,也就是攻击贷款人。例如,赵先生的年龄是36岁,通过篡改年龄,将其年龄改为16岁,那么一个中学生的还款能力可想而知,遭受攻击后赵先生的授信额度无辜地受到了负面影响。这种类型的攻击,和文章开头提到的欺骗计算机视觉技术的手法的难度类似,对修改图像数据中的像素点,把猫识别成狗。

在了解了攻击人工智能的招式之后,我们不难发现人工智能机器学习的鲁棒性和泛化能力,关乎金融机构系统安全性,又关乎抗风险能力。土豪转账一分钱,贷款额度瞬间涨。值得欣慰的是,对人工智能技术的攻击已经在前沿科技研究者的视线范围之内。论文作者宋乐教授总结道,“论文的结论包括,论文中设计的方法对图深度学习攻击有效,图深度学习鲁棒性还有待提高”。

(完)

参考文献:

《learning Combinatorial Optimization Algorithms over Graphs》,Hanjun Dai, Hui Li, Tian Tian, Xin Huang, Lin Wang, Jun Zhu, Le Song

亲爱的数据

出品:谭婧


黑客如何欺骗人工智能,攻击图神经网络?别小看土豪转账一分钱

出品人:谭婧


黑客如何欺骗人工智能,攻击图神经网络?别小看土豪转账一分钱

亲爱的数据

打开APP阅读全文
教育培训机构-如何策划节日招生?
做教育培训,最重要的事情莫过于招生了。面对不同的学员,招生方…于招生。目标不同,活动策划也会不一样。② 活动主题要鲜明不仅主题要鲜明,主题之间要有连续性。就像看连续剧一样,一集接一集,一环扣一环。策划好一系列活动,一个接一个来,从多个角度延续活动的宣传,突出主题,引起关注度。常用的招生方式有:体验课招…-------------想要获得更多运营技巧、doc文案,
教育培训:如何提高满班率和续班率
什么是满班率?就是实际人数除以计划招生人数,这个值就是满班率…员有流失是正常的,但要保证一个概率。在保障老学员续期的基础上,我们也要大胆创新,开设网络课程,拓宽招生区域。实地课程录制后,进一步发行到商弈云课上,通过商弈云课系统转成真实流量,网上有人点击观看,点赞,可以按点播量分佣金。助你在日常的营销推…-----------------------想要获得更多运
培训机构难盈利的问题出在哪里,如何实现盈利?
竞争白热化实地培训班、托管辅导班竞争白热化了,利润越来越稀薄…现没有多少盈利。还有一部分负责人在刚招生时,掌握了不少资金,开始盲目扩张,盲目做课程推广,以期待获得更多生源和收费,从而使培训班陷入了这种恶性循环的陷阱里。其实这些到手的钱,并不是你的利润,而是你未来要支出的钱。如遇到行业快速发展时期,或者…-----想要获得更多运营技巧、doc文件,请“关注”并“转
“差异化”经营是网络培训赚钱的关键所在
“差异化经营”这个词,相信大多数人都耳熟能详,但要做到的却是…。在现有的基础上更新升级或者资源整合就是对现有的产品或者技术,进行升级版本,或者通过一些资源整合,成一个项目。你的技能以前是用来生产或制造产品,现在是把技能升级成知识培训,转换云课堂。直白一点就是可以让老师自行录好课程并上传到学校的商弈云课…在着缺点和不足之处。在创新改革时,要从功能、服务、价格等方面
教育培训行业是如何运作的?
以前读书时,学校附近有个小摊卖鸡蛋灌饼。刚开始的时候只有一家….%,剩下的一对一和多人大班其实市场份额都很小。家长报培训班,是希望孩子能够学到知识。老师通过课上教学和课后辅导来满足孩子的需求,达到成绩提高的目标。我见过上百人的大培训班,为什么一个班这么多人?因为是名师讲课,但人太多坐后面,基本听不到重…是你的核心竞争力。想要得到用户的认同,你就必须做到产品质量好
旺道:实体店怎么做网络营销?
年纪大了,体力不好了,便赚不了什么钱了。所以,一定要在年轻的…写文案都是非常头痛的事情,那么下面我会给大家提供一个解决方案。在互联网营销系统里面有很多细节营销,软文营销就是其中一种,但好多小白头痛写文章,所以可以用这个方法也一样可以植入广告语,或者是图片广告,轮显切换广告,使用 旺道营销系统,也就是每…以帮你吸引海量精准粉丝。有了粉丝,你通过广告、产品、服务就可
旺道:圈里圈外,铁饭碗距离瓷饭碗究竟有多远?
中国人爱混圈子,从线下一直混到线上,各种奇形怪状的圈子勾勒出…不能推则敷衍了事,盼着混到主任科员退休;一种是老黄牛式,踏踏实实、兢兢业业工作,但拙于人际关系,活干得最多,但依旧不见晋升迹象;还有一种是提线木偶式,你扯一下线他动一下,好像脑子和身体是分离的。我突然一拍脑袋,这是提前衰老的迹象啊,工作内容…即使选择留在铁饭碗圈里,也应保有随时离开的思想警惕和进行必要
旺道:微信要双开了,朋友圈推广更好做了
现在手机只能登一个微信,如两个,三个微信的小伙伴们就只能退出…动推广工具、 设置头像点击头像图标,点“+”选择图片,可以上传你的企业,个人头像,产品服务等。旺道微信朋友圈广告免费朋友圈广告-旺道、 设置推广主题点“广告”,再点“+”设置推广的主题(类别),填好中文主题,以及你的网址。教你不花一分钱做朋…简直就是一劳永逸哟。如果你点开发布的文章看不到广告,那就是你
旺道:如何能让网站多个关键词排名百度首页?
最近接了一个单,做婴儿游泳馆加盟的。优化推广范围是全国,但是…泳馆加盟哪家好”、“婴儿游泳加盟多少钱”这类与我息息相关的词。如何能让网站多个关键词排名百度首页?但客户并不认同,客户说这个词指数低,或者说搜的人不多。是,这是一方面原因。但是,指数低有什么关系,你是卖产品还是卖指数。搜的人不多有什么关系,…实现广告效果最大化,来满足大众化的广告需求。对于这样的四两拔
旺道:如何成为网络营销达人?这个技能帮你节省80%的时间
在某次名师讲坛上,听到了一个让人警醒的故事。说有个村子缺水,…准的产品。现在已经不是新鲜事物,好多企业因为百度竞价的高额费用,头疼不已,所以做网站关键词优化排名,成为了企业必选的推广项目。做优化也要做到有成效,不然就是一分钱也是昂贵的。用 旺道智能机器人 就可以持续代替人工去做,它非常聪明,只要你够耐…手,设备先进,你多努力奔跑也于事无补。简单说,要去一个地方,

此文章来源来互联网,如果你有任何版权冲突,可以联络我们,微信号:WANCOME,QQ:1444641。加我们时,请说明来意,我们将优先处理你的问题。




商弈云推  | 圈广告  | 跨圈推  | 圈推广  | 圈营销
粤ICP备10213132号
旺道商标注册证号:8608864
Copyright © 2016 环企网络信息科技有限公司 版权所有