没有合适的资源?快使用搜索试试~ 我知道了~
面向深度学习的公平性研究综述.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 34 浏览量
2022-06-10
08:20:13
上传
评论
收藏 995KB DOCX 举报
温馨提示
试读
35页
面向深度学习的公平性研究综述.docx
资源推荐
资源详情
资源评论
摘 要 深度学习是机器学习研究中的一个重要领域,它具有强大的特征
提取能力,且在许多应用中表现出先进的性能,因此在工业界中被广
泛应用.然而,由于训练数据标注和模型设计存在偏见,现有的研究表
明深度学习在某些应用中可能会强化人类的偏见和歧视,导致决策过
程中的不公平现象产生,从而对个人和社会产生潜在的负面影响.为提
高深度学习的应用可靠性、推动其在公平领域的发展,针对已有的研
究工作,从数据和模型 2 方面出发,综述了深度学习应用中的偏见来
源、针对不同类型偏见的去偏方法、评估去偏效果的公平性评价指标
以及目前主流的去偏平台,最后总结现有公平性研究领域存在的开放
问题以及未来的发展趋势.
关键词 深度学习;算法公平性;去偏方法;公平性指标;机器学习
目前,深度学习算法已经取得了巨大的进步,并且越来越多地用
于影响个人生活的决策应用中,包括图像分类
[1]
、欺诈检测
[2]
、情绪分
析
[3]
、面部识别
[4]
、语音理解
[5]
、自动驾驶
[6]
、医学诊断
[7]
等,深度学习在
这些复杂任务上的性能已经达到甚至超过了人类决策的水平,能够实
现比机器学习更高的准确率.然而,深度学习在基于种族、年龄、性别
等敏感属性上的应用仍然具有不公平性,这种基于数据的学习方法会
过度关联敏感属性,可能会对受保护群体表现出歧视行为,从而对个
人和社会产生潜在的负面影响.例如,美国法院使用 COMPAS 作为刑
事司法系统中的风险评估工具,用来衡量每一个被告再次犯罪的概率.
然而,对此工具的调查发现 COMPAS 对于种族这一敏感属性存在不公
平性,非裔美国人被告再次犯罪的风险估计平均高于白人被告
[8]
.在医
学领域,年龄作为一种潜在的敏感属性,会影响基于深度学习诊断系
统的评估结果.例如,来自 UCI 机器学习知识库的 Heart Dataset 包
含了 906 名不同年龄段患者的 14 个处理过的特征
[9]
.这个数据集的目
标是准确地预测一个人是否患有心脏病,而研究发现系统对年龄的偏
见可能会导致不必要的医疗护理.在某些简历筛选工具中,存在对性别
这一敏感属性产生歧视性行为的现象,导致男性在应聘过程中比女性
更有优势.深度学习在应用过程中存在的不公平现象引起了业界和学术
界的广泛关注,Du
[10]
和 Ross 等人
[11]
使用局部解释对深度模型进行正则
化训练从而实现模型的公平;Elazar
[12]
和 Zhang 等人
[13]
使用对抗性训
练从模型的隐层表示中去除敏感属性的信息,从而得到一个公平的分
类器.
与机器学习方法相同,深度学习存在的偏见也是来自于数据和模
型.一方面,深度学习是基于数据驱动的学习范式,它使模型能够自动
从数据中学习有用的表示.但是这些数据在标注过程中会引入偏见,这
些数据偏见被深度模型复制甚至放大.另一方面,深度模型的结构是基
于经验设计的,其训练是一个黑盒过程,因此很难确定训练好的模型
是基于正确的理由做出的决定,还是受偏见影响做出的不公平判断,
这也使得模型去偏成为极具挑战性的任务.
目前,面向深度学习的公平性研究领域还有很大的发展空间,针
对来自数据、模型的偏见问题已经成为重点关注对象,仍需要不断的
探索.同时由于深度学习在高风险领域中的应用,对数据偏见的预处理
去偏、对模型偏见的中处理去偏、以及后验性去偏方法,正在引起业
界和学术界的关注.
为了更好地探究深度学习的公平性与未来的发展方向,本文将综
述深度学习偏见的不同来源并分类,对预处理去偏方法、深度模型的
公平性训练方法以及后验去偏方法进行介绍,并列举目前主流的面向
深度学习的去偏平台及去偏方法的公平性评估指标,同时对未来可能
的研究方向作出展望.
1 偏见的来源
由于训练数据标注和深度模型结构设计本身存在偏见,会导致深
度学习任务的预测结果存在不公平现象.根据偏见的来源不同,我们将
偏见类型分为数据偏见和模型偏见.
1.1 数据偏见
训练数据中可能存在由历史社会原因产生的偏见,在有偏见的数
据上学习的模型可能会导致预测结果的不公平性.数据的偏见会以多种
形式存在,Suresh 等人
[14]
讨论了数据偏见的不同来源,以及这些偏见
的产生方式;Olteanu 等人
[15]
准备了一份完整的不同类型偏见的列表,
并对由于数据偏见而产生的后果进行分析;Mehrabi 等人
[16]
总结了以
上 2 篇论文中引入的一些最普遍数据偏见的来源,但是缺少对偏见来
源的细粒度分类.
在本文中,我们将介绍这些数据偏见的定义并进行详细说明,此
外还将按照发生的原因对这些数据偏见进行细粒度的分类.我们将其分
为时间偏见、空间偏见、行为偏见、群体偏见、先验偏见、后验偏见.
1.1.1 时间偏见
时间偏见是指由于时间维度的差异引起的偏见.例如,在 Twitter
上可以观察到一个例子,人们谈论一个特定的话题时开始使用标签来
吸引注意力,然后不使用标签继续讨论该事件
[15,17]
,这是由不同时期人
群和行为的差异产生的
[15]
.另一个典型的时间偏见是纵向数据偏见,观
察性研究经常把横断面数据当作纵向的.例如,对大量 Reddit 数据的
分析显示,评论长度会随着时间的推移而减少
[18]
.
然而,大量的数据代表的是人口的横截面快照,实际上包含了不
同年份加入 Reddit 的不同群体.当数据按队列分列时,发现每个队列
中的评论长度随时间增加
[18]
.时间偏见可能会导致数据缺失,对后续的
分析统计带来困难.
1.1.2 空间偏见
空间偏见主要指的是由数据空间维度产生的偏见,也就是常说的
维数灾难.Verleysen 等人
[19]
指出基于学习原理的数据分析工具可从学
习样本中推断出知识或信息.显然,通过学习建立的模型仅在可获得学
习数据的空间范围内有效.模型不可能对与所有学习点都不相同的数据
进行概括.
因此,成功开发学习算法的关键要素之一就是要有足够的数据进
行学习,以便它们可以填充模型必须包含的空间.在保持其他所有约束
不变的情况下,学习数据的数量应随维度呈指数增长,例如,学习二
维数据需要 100 个具有相同平滑度的模型;对于 3 维模型,则需 1
000 个.指数级增长是维数灾难后果,这些数据通常会对算法的行为和
性能产生不利影响.对于这类偏见,我们通常采用降维的方法进行偏见
的减轻.
1.1.3 行为偏见
行为偏见可以分为社会行为偏见
[20-21]
和用户行为偏见
[21]
.其中社会行
为偏见是由社会历史固有的偏见或者他人的行为引起的偏见,可分为
社会偏见
[20]
、紧急偏见
[22]
、历史偏见
[14]
、资助偏见
[16]
.社会偏见
[18]
的产生
是由于他人的行为可能会影响我们的判断,例如,用户想要评价或回
顾一个得分较低的项目,但当受到其他高评分的影响时,用户可能认
为自己太过苛刻,从而会改变自己的评分
[20-21]
.紧急偏见
[22]
的发生由于人
口、文化价值观或社会知识的变化而产生的,这种偏见更可能在用户
界面中被观察到,因为通过设计,界面倾向于反映未来用户的能力、
特征和习惯.历史偏见
[14]
是指世界上已经存在的偏见和社会技术问题,
即使给定一个完美的采样和特征选择,也会渗透到数据生成过程中.资
助偏见
[16]
是指当公司为了满足资助机构的要求而进行虚假报告,从而出
现人为的偏见.例如,当公司的员工为了让资助机构满意而在他们的数
据和统计中报告进行杜撰,使报告结果产生偏见.
剩余34页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3691
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功