没有合适的资源?快使用搜索试试~ 我知道了~
人工智能模型数据泄露的攻击与防御研究综述.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 157 浏览量
2023-03-06
20:51:56
上传
评论
收藏 45KB DOCX 举报
温馨提示
试读
19页
。
资源推荐
资源详情
资源评论
人工智能模型数据泄露的攻击与防御研究综述
本文对近年来人工智能数据安全与隐私保护的研究工作进行了总结和分析。
人工智能和深度学习算法正在高速发展,这些新兴技术在音视频识别、自
然语言处理等领域已经得到了广泛应用。然而,近年来研究者发现,当前主流
的人工智能模型中存在着诸多安全隐患,并且这些隐患会限制人工智能技术的
进一步发展。因此,研究了人工智能模型中的数据安全与隐私保护问题。对于
数据与隐私泄露问题,主要研究了基于模型输出的数据泄露问题和基于模型更
新的数据泄露问题。在基于模型输出的数据泄露问题中,主要探讨了模型窃取
攻击、模型逆向攻击、成员推断攻击的原理和研究现状;在基于模型更新的数
据泄露问题中,探讨了在分布式训练过程中,攻击者如何窃取隐私数据的相关
研究。对于数据与隐私保护问题,主要研究了常用的 3 类防御方法,即模型结
构防御,信息混淆防御,查询控制防御。综上,围绕人工智能深度学习模型的
数据安全与隐私保护领域中最前沿的研究成果,探讨了人工智能深度学习模型
的数据窃取和防御技术的理论基础、重要成果以及相关应用。
人工智能(AI,artificial intelligence)技术正在加速崛起,它的崛起依
① 深度神经网络(DNN,deep neural network)在多个经典机器学习任务
中取得了突破性进展;
③ 硬件计算能力的显著提高。在这 3 个因素的推动下,AI 技术已经成功应用
于自动驾驶、图像识别、语音识别等场景,加速了传统行业的智能化变革。
AI 技术在我国已经得到了广泛的应用。在电商领域,AI 技术可以被用于用
户行为分析、网络流量分析等任务,不仅使企业处理高并发业务更高效,而且
提升了整体系统的鲁棒性;在智能出行领域,AI 技术可以被用于处理路径规
划、司机乘客行为检测等任务;在金融领域,AI 技术可以执行高频交易、欺诈
检测、异常检测等任务;在网络安全领域,AI 技术作为辅助工具被应用于自动
化测试等任务中,极大地提升了安全人员在海量的大数据信息中定位异常点的
效率。2017 年,我国政府工作报告首次提及人工智能相关内容,人工智能的发
展也逐渐被上升到国家发展战略高度。
目前大多数现实世界的机器学习任务是资源密集型的,需要依靠大量的计
算资源和存储资源完成模型的训练或预测,因此,亚马逊、谷歌、微软等云服
务商往往通过提供机器学习服务来抵消存储和计算需求。机器学习服务商提供
训练平台和使用模型的查询接口,而使用者可以通过这些接口来对一些实例进
行查询。一般来说,服务商或者模型提供者会对使用者的查询操作按次进行收
费。
但 AI 技术在高速发展的同时面临着严峻的数据泄露风险。AI 模型的参数
需要得到保护,否则将对模型拥有者带来巨大的经济损失。此外,AI 技术所需
要的样本数据往往包含了个人的隐私数据,这些隐私数据一旦被泄露,将会为
模型拥有者带来巨大的经济风险和法律风险。2017 年,我国颁布的《中华人民
共和国网络安全法》也强调了对个人隐私信息的保护。因此,如何充分防范 AI
技术应用中的数据泄露风险,成为该技术进一步发展与部署的阻碍之一。
为了保障人工智能模型相关信息的隐私性,云服务商会保证自身模型的隐
秘性,仅提供一个接口来为使用者提供服务,从而保证模型使用者无法接触到
模型数据。然而近年来,仍然出现了大量试图破坏人工智能模型数据隐私性的
攻击。研究者发现深度学习模型使用过程中产生的相关计算数据,包括输出向
量、模型参数、模型梯度等,可能会泄露训练数据的敏感信息或者模型自身的
属性参数。更糟的是,这些数据往往又不可避免地会被泄露给攻击者,尤其是
某些模型的输出结果向量。这使深度学习模型的数据泄露问题难以避免。例
如,模型逆向攻击,攻击者可以在不接触隐私数据的情况下利用模型输出结果
等信息来反向推导出用户的隐私数据;成员推断攻击,攻击者可以根据模型的
输出判断一个具体的数据是否存在于训练集中。而这类攻击只需要与云服务的
接口进行交互。实际应用中,这类信息窃取攻击会导致严重的隐私泄露,如人
脸识别模型返回的结果向量可以被用于恢复训练数据或者预测数据中的人脸图
像,这将导致用户的肖像信息被泄露。攻击者还可以通过模型输出结果窃取相
关模型的参数,对模型拥有者造成严重的经济损失。
此外,随着联邦学习等分布式机器学习技术的发展,攻击者有可能成为模
型训练过程中的参与方。一般而言,联邦学习中的参与方无法获知彼此的输入
数据等隐私信息,但由于攻击者能够获得模型在训练过程中的输出、模型参数
和梯度等信息,这大大提升了攻击者的能力,使攻击者窃取其他参与方隐私数
据成为可能。这将给分布式机器学习技术的发展带来严重的阻碍。
近年来,许多研究者提出了各种机制来防御针对 AI 技术的隐私攻击。通过
对模型结构的修改,为输出向量添加特定噪声,结合差分隐私等技术,能够有
效防御特定的隐私泄露攻击。
本文将介绍目前研究较多的数据推断攻击,包括模型窃取攻击、模型逆向
攻击、成员推断攻击。并介绍针对上述不同攻击的防御机制,其生成的具备隐
私保护功能的模型能够抵抗特定的数据推断攻击。
在深度学习模型的训练和应用过程中,所使用的数据和模型参数都面临着
被泄露的风险。根据攻击者所利用的模型的输出信息类型的不同,可将此类推
断攻击分为基于模型输出的数据泄露以及基于梯度更新的数据泄露两类。
剩余18页未读,继续阅读
资源评论
xxpr_ybgg
- 粉丝: 6535
- 资源: 3万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功