没有合适的资源?快使用搜索试试~ 我知道了~
分布式深度学习隐私与安全攻击研究进展与挑战.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 90 浏览量
2022-06-10
16:39:55
上传
评论
收藏 1.61MB DOCX 举报
温馨提示
试读
36页
分布式深度学习隐私与安全攻击研究进展与挑战.docx
资源推荐
资源详情
资源评论
摘要不同于集中式深度学习模式,分布式深度学习摆脱了模型训练过
程中数据必须中心化的限制,实现了数据的本地操作,允许各方参与
者在不交换数据的情况下进行协作,显著降低了用户隐私泄露风险,
从技术层面可以打破数据孤岛,显著提升深度学习的效果,能够广泛
应用于智慧医疗、智慧金融、智慧零售和智慧交通等领域.但生成对抗
式网络攻击、成员推理攻击和后门攻击等典型攻击揭露了分布式深度
学习依然存在严重隐私漏洞和安全威胁.首先对比分析了联合学习、联
邦学习和分割学习 3 种主流的分布式深度学习模式特征及其存在的核
心问题.其次,从隐私攻击角度,全面阐述了分布式深度学习所面临的
各类隐私攻击,并归纳和分析了现有隐私攻击防御手段.同时,从安全
攻击角度,深入剖析了数据投毒攻击、对抗样本攻击和后门攻击 3 种
安全攻击方法的攻击过程和内在安全威胁,并从敌手能力、防御原理
和防御效果等方面对现有安全攻击防御技术进行了度量.最后,从隐私
与安全攻击角度,对分布式深度学习未来的研究方向进行了讨论和展
望.
关键词深度学习;分布式深度学习;隐私攻击;隐私保护;后门攻击
近年来全球掀起人工智能研发浪潮,美国、日本、英国、德国等
世界科技强国纷纷将人工智能上升为国家战略,力图在新一轮国际科
技竞争中掌握主导权.2017 年我国发布了《新一代人工智能发展规
划》,明确提出要抢抓人工智能发展的重大战略机遇,构筑我国人工
智能发展的先发优势,加快建设创新型国家.深度学习作为实现人工智
能的一种重要方法,通过海量训练数据构建具有很多隐层的深度学习
模型,获得强大的数据特征学习能力.在深度学习过程中,普遍认为训
练数据量越大,训练得到的模型的鲁棒性和准确性越高
[1]
.因此,深度
学习通常需要着重考虑数据的多源性,即通过汇聚各个机构或者用户
数据完成整体计算任务,以提高训练模型的准确性.但在深度学习模型
训练过程中,运营商可能会窃取用户的隐私信息.同时,公司之间的数
据共享需要用户的授权,而许多用户出于隐私泄露的顾虑而拒绝数据
共享.这些因素会导致“数据孤岛”,难以创造出“1+1>2”的数据价值
[2]
.
因此,随着各国法律法规对于隐私信息使用的严格限制和公众隐私保
护意识的加强,如何在保护数据隐私的前提下实现行业协作与协同治
理,如何破解数据隐私保护与数据孤岛的两难困境,成为当下深度学
习应用中亟待解决的技术难题.
不同于传统的集中式深度学习,分布式深度学习通过将深度学习
与协作性模型相结合,使各个机构或者用户在不交换数据的情况下进
行协作训练并获得更加精准的深度学习模型
[3]
,以便在满足隐私保护和
数据安全的前提下实现数据的有效利用
[4]
.分布式深度学习模型将模型
训练过程从云端转移至用户端,允许各方参与者在不暴露数据的情况
下完成训练,降低了用户隐私泄露风险
[5-6]
和通信开销
[7]
,从技术层面可
以打破数据孤岛,明显提高深度学习的性能,能够实现多个领域的落
地应用,比如智慧医疗、智慧金融、智慧零售和智慧交通等
[8]
.分布式
深度学习作为大数据使用的新范式,是破解数据隐私保护与数据孤岛
难题的新思路,一经提出就成为国际学术界和产业界关注的焦点.图 1
展示了集中式深度学习和分布式深度学习训练模式的区别.
Fig. 1 Centralized deep learning and distributed deep learning
图
1
集中式深度学习与分布式深度学习
海量的用户数据、丰富的应用场景促进了分布式深度学习技术的
蓬勃发展,但生成对抗式网络攻击、成员推理攻击和属性推理攻击等
隐私攻击揭露了分布式深度学习依然存在严重隐私漏洞
[5]
.在 2017 年的
计 算 机 和 通 信 安 全 (ACM Conference on Computer and
Communications Security)会议上,Hitaj 等人
[9]
设计了一种基于生
成式对抗网络攻击的新型隐私攻击方式.攻击者伪装成正常用户加入模
型训练后,可以基于生成式对抗网络的方法获得其他参与训练者的数
据仿真集,极大地威胁到用户的数据安全.同时,Shokri 等人
[10]
提出了
一种称为成员推理攻击的隐私攻击方法.攻击者通过训练多个影子分类
器为攻击模型提供训练集,训练好的攻击模型可以输出某条记录是否
在目标训练集中.最近,文献[11]又提出了一种属性推理攻击,可以在
攻击者仅拥有训练集子集的情况下获取用户数据集的各类属性信息,
如性别分布、年龄分布、收入分布等.可见,在分布式深度学习模式下,
攻击者依然可以通过生成式对抗网络攻击等一系列典型隐私攻击方式
获取用户的隐私数据信息.另一方面,在现有的分布式深度学习框架中,
参与者在本地训练模型并向云服务器共享明文梯度.由于无法监管参与
者在本地的训练行为,使得分布式学习容易遭受数据投毒、对抗样本
和后门攻击的威胁.怀有恶意的参与者,在训练过程中可以利用数据投
毒攻击,有目的性地更改本地数据的标签,上传“有毒”的梯度,“污染”
协作训练的模型,使得模型预测结果准确率下降.此外攻击者可以上传
后门本地模型,替换全局模型,以便模型有更高的概率输出攻击者的
目标标签
[12]
.
综上所述,分布式深度学习是破解数据隐私保护与数据孤岛难题
的新思路
[13]
,但其依然面临严重隐私漏洞和安全威胁.本文系统研究和
分析了分布式深度学习面临的隐私与安全攻击问题,主要包含 4 个方
面内容:
1) 对比分析了联合学习、联邦学习和分割学习 3 种主流的分布式
深度学习模式,归纳总结了它们各自特征及其存在的核心问题;
2) 从隐私攻击角度,全面阐述了分布式深度学习所面临的各类隐
私攻击,并归纳和分析了差分隐私、同态加密和安全多方计算等隐私
攻击防御手段;
3) 从安全攻击角度,深入剖析了数据投毒攻击、对抗样本攻击和
后门攻击 3 种安全攻击方法的攻击过程和内在安全威胁,并从数据集、
模型输入和模型训练角度对现有的安全防御技术进行了归纳与总结;
4) 针对现有的隐私和安全攻击与防护研究中存在的主要问题,讨论
和指出了分布式深度学习领域下一步可能的研究方向.
1 分布式深度学习概述
分布式深度学习无需用户上传本地数据就可以协作完成模型训练,
消除了用户关于数据云端存储不可控的担忧,缓解了传统集中式深度
学习收集用户数据所带来的隐私泄露问题.从训练模式上来看,分布式
深度学习目前主要有联合学习、联邦学习和分割学习 3 种.
1.1 联合学习
联合学习首次由 Shokri 等人
[14]
于 2015 年提出,它打破了集中式
深度学习的固有模式.如图 2 所示,在这种训练模式下,云服务器首先
收集一批用户的数据集训练初始的全局模型,然后参与联合学习的第
1 个用户下载初始模 型并基于自己的数据集使用随机梯度下降法
(stochastic gradient descent, SGD)在本地训练模型.训练结束后,
该用户按照一定比例随机选择部分模型参数上传到云服务器完成全局
模型的更新.当第 1 个用户上传完毕后,下一个用户下载新的全局模型,
并重复上述的训练和上传操作,这个过程将持续到模型收敛或达到预
先设定的迭代次数.
剩余35页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3543
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功