没有合适的资源?快使用搜索试试~ 我知道了~
2021-面向深度学习的公平性研究综述1
需积分: 0 0 下载量 90 浏览量
2022-08-04
00:41:41
上传
评论
收藏 1.71MB PDF 举报
温馨提示
![preview](https://dl-preview.csdnimg.cn/86319132/0001-ca42e8d30b0d0365c061ae2a91913d85_thumbnail.jpeg)
![preview-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/scale.ab9e0183.png)
试读
17页
摘要深度学习是机器学习研究中的一个重要领域,它具有强大的特征提取能力,且在许多应用中表现出先进的性能,因此在工业界中被广泛应用.然而,由于训练数据标注和模型设计
资源推荐
资源详情
资源评论
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pptx](https://img-home.csdnimg.cn/images/20210720083543.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/release/download_crawler_static/86319132/bg1.jpg)
计 算 机 研 究 与 发 展
DOI
:
10.7544∕issn1000G1239.2021.20200758
JournalofCom
p
uterResearchandDevelo
p
ment 58
(
2
):
264 280
,
2021
收稿日期
:
2020
-
09
-
15
;
修回日期
:
2020
-
10
-
28
基金项目
:
国家自然科学基金项目
(
62072406
);
浙江省自然科学基金项目
(
LY19F020025
);
宁波市
“
科技创新
2025
”
重大专项
(
2018B10063
)
Thisworkwassu
pp
ortedb
y
theNationalNaturalScienceFoundationofChina
(
62072406
),
theNaturalScienceFoundationof
Zhe
j
ian
g
Province
(
LY19F020025
),
andthe Ma
j
orS
p
ecialFundin
g
for
“
Scienceand Technolo
gy
Innovation2025
”
in Nin
g
bo
(
2018B10063
)
.
面向深度学习的公平性研究综述
陈 晋 音
1
,
2
陈 奕 芃
2
陈 一 鸣
2
郑 海 斌
2
纪 守 领
3
时
杰
4
程
瑶
4
1
(
浙江工业大学网络空间安全研究院
杭州
310023
)
2
(
浙江工业大学信息工程学院
杭州
310023
)
3
(
浙江大学计算机科学与技术学院
杭州
310058
)
4
(
华为国际有限公司新加坡研究院
新加坡
138589
)
(
chen
j
in
y
in@z
j
ut.edu.cn
)
FairnessResearchonDee
p
Learnin
g
ChenJin
y
in
1
,
2
,
ChenYi
p
en
g
2
,
ChenYimin
g
2
,
Zhen
g
Haibin
2
,
JiShoulin
g
3
,
ShiJie
4
,
andChen
g
Yao
4
1
(
Instituteo
f
C
y
bers
p
aceSecurit
y
,
Zhe
j
ian
g
Universit
y
o
f
Technolo
gy
,
Han
g
zhou
310023
)
2
(
Colle
g
eo
f
In
f
ormationEn
g
ineerin
g
,
Zhe
j
ian
g
Universit
y
o
f
Technolo
gy
,
Han
g
zhou
310023
)
3
(
Colle
g
eo
f
Com
p
uterScienceandTechnolo
gy
,
Zhe
j
ian
g
Universit
y
,
Han
g
zhou
310058
)
4
(
HuaweiInternationalPteLtd
,
Sin
g
a
p
ore
138589
)
Abstract Dee
p
learnin
g
isanim
p
ortantfieldofmachinelearnin
g
research
,
whichiswidel
y
usedin
industr
y
for its
p
owerful feature extraction ca
p
abilities and advanced
p
erformance in man
y
a
pp
lications.However
,
duetothebiasintrainin
g
datalabelin
g
andmodeldesi
g
n
,
researchshowsthat
dee
p
learnin
g
ma
y
a
gg
ravatehumanbiasanddiscriminationinsomea
pp
lications
,
whichresultsin
unfairnessdurin
g
thedecisionGmakin
gp
rocess
,
thereb
y
willcausene
g
ativeim
p
acttobothindividuals
andsocials.Toim
p
rovethereliabilit
y
ofdee
p
learnin
g
and
p
romoteitsdevelo
p
mentinthefieldof
fairness
,
wereviewthesourcesofbiasindee
p
learnin
g
,
debiasin
g
methodsfordifferentt
yp
esbiases
,
fairness measure metricsfor measurin
g
the effectof debiasin
g
,
and current
p
o
p
ular debiasin
g
p
latforms
,
basedontheexistin
g
research work.Intheend weex
p
loretheo
p
enissuesinexistin
g
fairnessresearchfieldandfuturedevelo
p
menttrends.
Ke
y
words dee
p
learnin
g
;
al
g
orithmfairness
;
debiasin
g
method
;
fairnessmetric
;
machinelearnin
g
摘
要
深度学习是机器学习研究中的一个重要领域
,
它具有强 大的特 征提取 能力
,
且在许 多应用 中表
现出先进的性能
,
因此在工业界中被广泛应用
.
然而
,
由于训练数据标注和模型设计存在偏见
,
现有的研
究表明深度学习在某些应用中可能会强化人类的偏见和歧视
,
导致决策过程中的不公平现象产生
,
从而
对个人和社会产生潜在的负面影响
.
为提高深度 学习的 应用可 靠性
、
推动其 在公平 领域的 发展
,
针对已
有的研究工作
,
从数据和模型
2
方面出发
,
综述了深度学习应用中的偏 见来源
、
针对不 同类型 偏见的 去
偏方法
、
评估去偏效果的公平性评价指标
、
以及目前主流的去偏平台
,
最后总 结现有 公平性 研究领 域存
在的开放问题以及未来的发展趋势
.
关键词
深度学习
;
算法公平性
;
去偏方法
;
公平性指标
;
机器学习
中图法 分类号
TP391
![](https://csdnimg.cn/release/download_crawler_static/86319132/bg2.jpg)
目前
,
深度学习算法已经取得了巨大的进步
,
并
且越来越多地用于 影 响个 人 生活 的 决策 应 用中
,
包
括图 像 分 类
[
1
]
、
欺 诈 检 测
[
2
]
、
情 绪 分 析
[
3
]
、
面 部 识
别
[
4
]
、
语音理解
[
5
]
、
自动驾驶
[
6
]
、
医学诊断
[
7
]
等
,
深度
学习在这些复杂任务上的性能已经达到甚至超过了
人类决策的水平
,
能够 实 现比 机 器学 习 更高 的 准确
率
.
然而
,
深度学习在基于种族
、
年龄
、
性别等敏感属
性上的应用仍然具 有 不公 平 性
,
这种 基 于数 据 的学
习方法会过度关联 敏 感属 性
,
可能 会 对受 保 护群 体
表现出歧视行为
,
从而 对 个人 和 社会 产 生潜 在 的负
面影响
.
例如
,
美国 法 院使 用
COMPAS
作为 刑 事司
法系统中的风险评 估 工具
,
用来 衡 量每 一 个被 告 再
次 犯 罪 的 概 率
.
然 而
,
对 此 工 具 的 调 查 发 现
COMPAS
对于种族这一敏感属性存在不公平性
,
非
裔美国人被告再次犯罪的风险估计平均高于白人被
告
[
8
]
.
在医学领 域
,
年 龄 作 为 一 种 潜 在 的 敏 感属 性
,
会影响基于深度学习诊断系统的评估结果
.
例如
,
来
自
UCI
机 器 学 习 知 识 库 的
HeartDataset
包 含 了
906
名不同年龄段 患 者的
14
个处 理 过的 特 征
[
9
]
.
这
个数据集的目标是准确地预测一个人是否患有心脏
病
,
而研究发现系统 对 年龄 的 偏见 可 能会 导 致不 必
要的医疗护理
.
在某些简历筛选工具中
,
存在对性别
这一敏感属性产生 歧 视性 行 为的 现 象
,
导致 男 性在
应聘过程中比 女 性 更 有 优 势
.
深 度 学 习 在 应 用 过 程
中存在的不公平现象引起了业界和学术界的广泛关
注
,
Du
[
10
]
和
Ross
等 人
[
11
]
使 用 局 部 解 释 对 深 度 模
型进行正则化 训 练 从 而 实 现 模 型 的 公 平
;
Elazar
[
12
]
和
Zhan
g
等人
[
13
]
使 用 对 抗 性 训 练 从 模 型 的 隐 层 表
示中去除敏感属性 的 信息
,
从而 得 到一 个 公平 的 分
类器
.
与机器学 习方法 相同
,
深度学 习存在 的偏见 也
是来自于数据和模型
.
一方面
,
深度学习是基于数据
驱动的学习范式
,
它使 模 型能 够 自动 从 数据 中 学习
有用的表示
.
但 是 这 些 数 据 在 标 注 过 程 中 会 引 入 偏
见
,
这些数据偏见被深度模型复制甚至放大
.
另一方
面
,
深度模型的结构是基于经验设计的
,
其训练是一
个黑盒过程
,
因此很 难确 定 训练 好 的模 型 是基 于 正
确的理由做出的决 定
,
还是 受 偏见 影 响做 出 的不 公
平判断
,
这也使得模型去偏成为极具挑战性的任务
.
目前
,
面向深 度学习 的公平 性研究 领域还 有很
大的发展空间
,
针对来自数据
、
模型的偏见问题已经
成为重点关注对象
,
仍需要不断的探索
.
同时由于深
度学习在高风险领 域 中的 应 用
,
对数 据 偏见 的 预处
理去偏
、
对模型偏见的中处理去偏
、
以及后验性去偏
方法
,
正在引起业界和学术界的关注
.
为了更好地探究深度学习的公平性与未来的发
展方向
,
本文将综述深 度 学习 偏 见的 不 同来 源 并分
类
,
对预处理去偏方法
、
深度模型的公平性训练方法
以及后验去偏方法 进 行介 绍
,
并列 举 目前 主 流的 面
向深度学习的去偏平台及去偏方法的公平性评估指
标
,
同时对未来可能的研究方向作出展望
.
1
偏见的来源
由于训练数据标注和深度模型结构设计本身存
在偏见
,
会导致深度学 习 任务 的 预测 结 果存 在 不公
平现象
.
根据偏见的来源不同
,
我们将偏见类型分为
数据偏见和模型偏见
.
1.1
数据偏见
训练数据中可能存在由历史社会原因产生的偏
见
,
在有偏见的数据 上 学习 的 模型 可 能会 导 致预 测
结果的不 公 平 性
.
数 据 的 偏 见 会 以 多 种 形 式 存 在
,
Suresh
等人
[
14
]
讨论了数据偏见的不同来源
,
以及这
些偏见的产 生 方 式
;
Olteanu
等 人
[
15
]
准 备 了 一 份 完
整的不同类型偏见 的 列表
,
并对 由 于数 据 偏见 而 产
生的后果进 行 分 析
;
Mehrabi
等 人
[
16
]
总 结 了 以上
2
篇论文中引入的一 些 最普 遍 数据 偏 见的 来 源
,
但是
缺少对偏见来源的细粒度分类
.
在本文中
,
我们将 介绍这 些数据 偏见的 定义并
进行详细说明
,
此外还 将 按照 发 生的 原 因对 这 些数
据偏见进行细粒度的分类
.
我们将其分为时间偏见
、
空间偏见
、
行为偏见
、
群体偏见
、
先验偏见
、
后验偏见
.
1.1.1
时间偏见
时 间 偏 见是 指由 于时 间维 度的 差异 引起 的偏
见
.
例如
,
在
Twitter
上 可 以 观察 到一 个例 子
,
人 们
谈论一个特 定的 话题 时开 始使 用 标 签 来 吸 引 注 意
力
,
然后不 使用 标签 继 续 讨 论 该 事 件
[
15
,
17
]
,
这 是 由
不同时期人群和行 为的差 异产 生 的
[
15
]
.
另一 个 典型
的时间偏见是纵向 数 据偏 见
,
观察 性 研究 经 常把 横
断面数据当 作 纵向 的
.
例 如
,
对 大 量
Reddit
数 据 的
分析显示
,
评论长度会随着时间的推移而减少
[
18
]
.
然而
,
大量的数据代表的是人口的横截面快照
,
实际上包含了不同年 份加入
Reddit
的不 同 群体
.
当
数据按队列分列时
,
发现 每 个队 列 中的 评 论长 度 随
时间增加
[
18
]
.
时 间 偏 见可 能 会 导 致 数 据 缺 失
,
对 后
续的分析统计带来困难
.
1.1.2
空间偏见
空间偏见主要指的是由数据空间维度产生的偏
见
,
也就是常说 的 维数 灾 难
.Verle
y
sen
等人
[
19
]
指出
562
陈晋音等
:
面向深度学习的公平性研究综述
![](https://csdnimg.cn/release/download_crawler_static/86319132/bg3.jpg)
基于学习原理的数据分析工具可从学习样本中推断
出知识或信息
.
显然
,
通过学习建立的模型仅在可 获
得学习数据的 空 间 范 围 内 有 效
.
模 型 不 可 能 对 与 所
有学习点都不相同的数据进行概括
.
因此
,
成功开 发学习 算法的 关键要 素之一 就是
要有足够的数据进 行 学习
,
以便 它 们可 以 填充 模 型
必须包含的空 间
.
在 保 持 其 他 所 有 约 束 不 变 的 情 况
下
,
学习数据的数 量 应随 维 度呈 指 数增 长
,
例如
,
学
习二维数据需要
100
个具 有 相同 平 滑度 的 模型
;
对
于
3
维模型
,
则需
1000
个
.
指数级 增长是 维数灾 难
后果
,
这些数据通常 会对 算 法的 行 为和 性 能产 生 不
利影响
.
对于这类偏见
,
我们通常采用降维的方法进
行偏见的减轻
.
1.1.3
行为偏见
行为偏见可以分为社会行为偏见
[
20G21
]
和用户行
为偏见
[
21
]
.
其中社会行为偏 见是 由社 会 历史 固 有的
偏见或 者 他 人 的 行 为 引 起 的 偏 见
,
可 分 为 社 会 偏
见
[
20
]
、
紧急偏见
[
22
]
、
历史偏见
[
14
]
、
资助偏见
[
16
]
.
社会
偏见
[
18
]
的产生 是 由 于 他 人 的 行 为 可 能 会 影 响 我 们
的判断
,
例如
,
用户想要评价或回顾一个得分较低的
项目
,
但当受到其他高评分的影响时
,
用户可能认为
自己太过苛刻
,
从而会改变自己的评分
[
20G21
]
.
紧急偏
见
[
22
]
的发生由于人口
、
文化价值观或社会 知识的 变
化而产生的
,
这种偏 见更 可 能在 用 户界 面 中被 观 察
到
,
因为通 过 设 计
,
界 面 倾 向 于 反 映 未 来 用 户 的 能
力
、
特征和 习 惯
.
历 史 偏 见
[
14
]
是 指 世 界 上 已 经 存 在
的偏见和社会技术 问 题
,
即使 给 定一 个 完美 的 采样
和特征选 择
,
也 会 渗 透 到 数 据 生 成 过 程 中
.
资 助 偏
见
[
16
]
是指当公 司 为 了 满 足 资 助 机 构 的 要 求 而 进行
虚假报告
,
从而 出 现 人 为 的 偏 见
.
例 如
,
当 公 司 的 员
工为了让资助机构满意而在他们的数据和统计中报
告进行杜撰
,
使报告结果产生偏见
.
用户行为偏见
[
23
]
源于跨平台
、
上下文 或不同 数
据集的 不 同 用 户 行 为
.
这 类 偏 见 的 典 型 例 子 可 在
Miller
等人
[
24
]
的研究中观 察到
,
其中作 者 展示 了 不
同平台之间的表情符号表达的差异如何导致人们的
不同反应和行为
,
有时甚至导致交流错误
.
用户行为
偏见可 以 分 为 用 户 交 互 偏 见
[
23
]
、
内 容 产 生 偏 见
[
23
]
和流行偏 见
[
23
]
.
用 户 交 互 偏 见
[
23
]
不 仅 可 以 在
Web
上观察到
,
而且 可以 从
2
个来 源 触发
———
用 户 界 面
和通过用户自己选 择的偏 见行 为
[
16
]
.
这种 偏 见可 能
会受到其他类型和子类型的影响
,
比如呈 现偏见
[
20
]
和排名 偏 见
[
20
]
.
呈 现 偏 见
[
20
]
是 信 息 如 何 呈 现 的 结
果
,
例如
,
在
Web
上
,
用 户 只 能 单 击 他 们 看 到 的 内
容
,
因此其他内容不会被单击
,
也可能是用户没有看
到
Web
上的所有信息
.
排名偏见
[
20
]
是由于人们认为
排名靠前的搜索结果是最相关
、
最重要的
,
这种想法
会吸引更多的点击 量
.
这种偏 见 影响 了 搜索 引 擎
[
20
]
和众包应用程序
[
25
]
.
内容产生偏见
[
15
]
源于用户生成
的内 容 在 结 构
、
词 汇
、
语 义 和 句 法 上 的 差 异
.
例 如
,
N
g
u
y
en
等人
[
26
]
讨论了不同性别和年龄群体在使用
语言 方面 的 差异
.
流行 偏 见
[
27G28
]
是由 于 越受 欢 迎的
物品越容易被 曝 光
.
这 种 偏 见 可 以 在 搜 索 引 擎 或 推
荐系统中看到
,
在这些系统中
,
受欢迎的对象会更多
地呈现给公众
.
行 为 偏 见 会 使 用 户 在 决 策 过 程 中 受
到其他外界因素的 影 响
,
导致 获 得的 信 息不 足 或者
带有偏见
,
从而产生歧视性行为
.
1.1.4
群体偏见
群体偏见
[
15
]
产 生 于 数 据 集或 平台 中所 表示 的
用户群体中的统计 数 据
、
代表 数 据和 用 户特 征 与原
始目标群体不 同 的 时 候
.
典 型 的 例 子 是 对 于 不 同 社
交平台上不同用户 的 统计 数 据
,
女性 更 倾向 于 使用
Pinterest
、
Facebook
、
Insta
g
ram
等社交平台
,
而男性
在
Reddit
或
Twitter
等 在 线 论 坛 上更 活跃
.Huan
g
等人
[
29
]
调查了 根 据 性 别
、
种 族
、
民 族 和 父母 教育 背
景划分的年轻人使用社交媒体的例子和数据
.
群体偏见可分为聚集偏见
[
14
]
和
Sim
p
son
悖论
[
30
]
.
聚集偏见
[
14
]
是 由 于 人 们 观 察 其 他 不 同 的 子 群 体 得
出错误结论时或者对一个群体的错误假设影响模型
的结果和定义时产生的
.
例如
,
在临床辅助工具中用
于糖尿病诊断和监测的糖化血红蛋白水平在不同性
别和种族之间 存 在 复 杂 的 差 异
.
由 于 这 些 因 素 以 及
它们在不同的子群 体 中的 不 同意 义 和重 要 性
,
单一
的模型很可能不适合一个群体中的所有群体
[
14
]
.
Sim
p
son
悖论
[
30
]
可 能 会 对 由 不 同 行 为 的 子 群
体或个体组成 的 异 构 性 数 据 的 分 析 产 生 偏 见
.
这 类
悖论的一个比较著名的例子是对加州大学伯克利分
校的性别歧视诉讼
[
31
]
.
在分析 了研 究 生院 的 招生 数
据后
,
可以发现与男性相比
,
女性被录取为研究生的
比例更小
.
然而
,
当对各个院系的招生数据进行分析
后发现女性申请者 具 有平 等 的地 位
,
在某 些 情况 下
甚至 比 男 性 小 有 优 势
.Sim
p
son
悖 论 在 许 多 领 域 都
得到 了 观 察
,
包 括 生 物 学
[
32
]
、
心 理 学
[
33
]
、
天 文 学
[
34
]
和计算社会科学
[
35
]
.
群体偏 见会 导致 用 户得 到 错误
的数据
,
从而得到错误的结论
.
1.1.5
先验偏见
先验偏见 发生在 我们选 择
、
利用和 测量特 定特
征的方式上
.
先 验 偏 见 可 以 分 为 抽 样 偏 见
[
16
]
、
自 我
662
计算机研究与发展
2021
,
58
(
2
)
剩余16页未读,继续阅读
资源评论
![avatar-default](https://csdnimg.cn/release/downloadcmsfe/public/img/lazyLogo2.1882d7f4.png)
![avatar](https://profile-avatar.csdnimg.cn/f7402f490bad49a99d3013e8265c0ca1_weixin_35784267.jpg!1)
傅融
- 粉丝: 26
- 资源: 333
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)