没有合适的资源?快使用搜索试试~ 我知道了~
“见微”系列之一:打开AI黑箱,探索可解释性-1018-太平洋证券-24页.pdf
需积分: 0 0 下载量 58 浏览量
2023-07-27
14:39:20
上传
评论
收藏 1.77MB PDF 举报
温馨提示
试读
24页
“见微”系列之一:打开AI黑箱,探索可解释性-1018-太平洋证券-24页.pdf
资源推荐
资源详情
资源评论
请务必阅读正文之后的免责条款部分 守正 出奇 宁静 致远
[Table_Title]
打开 AI 黑箱,探索可解释性
—— “见微”系列之一
[Table_Summary]
[Table_Summary]
报告摘要
可解释人工智能(XAI)能有效改善“准确性 VS 可解释性”
的选择困境。在选择模型时,预测效果一直是首要考量,但同时又
会担心模型过于复杂而难以掌控,往往要在准确性和可解释性之间
做出抉择。XAI 能在不损失准确性的同时,一定程度上提高模型
的可解释性,成为改善两难困境的一种重要手段。
XAI 可作为独立模块加入到现有的 AI 系统。XAI 存在三种常
用的分类方法:按复杂程度分为事前与事后、按解释范围分为全局
与局部、按模型相关度分为模型依赖与模型独立。从目前应用的情
况来看,“事后&模型独立”的方法可作为独立模块加入到用户现
有的 AI 系统中,颇受工业界的青睐。
XAI 的四类常用方法:Permutation Importance、SHAP、
Partial Dependence 和 LIME。Permutation Importance 通过打乱特
征值顺序来衡量特征重要性;SHAP 以合作博弈论为理论基础,衡
量特征对预测结果的贡献;Partial Dependence 可以观察特征变化
对预测结果产生的边际效应;LIME 利用白箱代理模型对给定实例
附近的样本做局部近似,将白箱的解释结果作为该实例的决策依
据。
XAI 可应用于多种策略模型。以多因子选股模型为例,XAI
从因子重要性、因子预测贡献、因子间交互、因子边际效应等多个
视角展现选股模型的特性。
风险提示:对选股模型的结果展示仅用于工具介绍,不构成任何投
资建议。XAI 相关方法存在一定局限性,不保证对所有场景和模
型均得到理想的解释结果。
量化研究报告
证券分析师:徐玉宁
电话:021-58502206-8028
E-MAIL:xuyuning@tpyzq.com
执业资格证书编码:S1190519090003
[Table_Title]
[Table_Message]
2019-10-18
量化研究报告
量
化
研
究
报
告
太
平
洋
证
券
股
份
有
限
公
司
证
券
研
究
报
告
量化研究报告
P2
打开 AI 黑箱,探索可解释性
请务必阅读正文之后的免责条款部分 守正 出奇 宁静 致远
目录
一、引言 .......................................................................................................................................................... 4
二、初探 XAI .................................................................................................................................................... 5
(一)、何为 XAI ? .................................................................................................................................................................. 5
(二)、分类框架........................................................................................................................................................................ 5
1、模型依赖与模型独立 ........................................................................................................................................................ 6
2、事前与事后 ....................................................................................................................................................................... 6
3、全局与局部 ....................................................................................................................................................................... 6
(三)、方法梳理........................................................................................................................................................................ 7
三、方法介绍 ................................................................................................................................................... 8
(一)、Permutation Importance ................................................................................................................................................. 8
1、算法介绍 ........................................................................................................................................................................... 8
2、方法特点 ........................................................................................................................................................................... 9
(二)、SHAP .............................................................................................................................................................................. 9
1、算法介绍 ........................................................................................................................................................................... 9
2、方法特点 ......................................................................................................................................................................... 11
(三)、Partial Dependence ....................................................................................................................................................... 11
1、算法介绍 ......................................................................................................................................................................... 11
2、方法特点 ......................................................................................................................................................................... 12
(四)、LIME ............................................................................................................................................................................ 13
1、算法介绍 ......................................................................................................................................................................... 13
2、方法特点 ......................................................................................................................................................................... 14
四、应用案例 ..................................................................................................................................................14
(一)、数据介绍与整体流程 .................................................................................................................................................. 14
(二)、Permutation Importance 应用 ...................................................................................................................................... 15
(三)、SHAP 应用 ................................................................................................................................................................... 17
(四)、Partial Dependence 应用 .............................................................................................................................................. 18
(五)、LIME 应用 ................................................................................................................................................................... 20
五、总结与展望 ..............................................................................................................................................21
六、参考文献 ..................................................................................................................................................21
量化研究报告
P2
打开 AI 黑箱,探索可解释性
请务必阅读正文之后的免责条款部分 守正 出奇 宁静 致远
图表目录
图表 1 AI 模型准确性与可解释性的示意图 ......................................................................................... 4
图表 2 传统 AI 与 XAI 的流程对比图 ................................................................................................... 5
图表 3 基于事前与事后的机器学习流程图 .......................................................................................... 6
图表 4 全局解释与局部解释的示意图 .................................................................................................. 7
图表 5 XAI 方法列举图表 ...................................................................................................................... 7
图表 6 PI 做法示意图 ............................................................................................................................. 8
图表 7 PI 算法的伪代码 ......................................................................................................................... 8
图表 8 SHAPLEY VALUE 核心思路的示意图 ......................................................................................... 10
图表 9 SHAP 算法的伪代码 ................................................................................................................. 11
图表 10 PD 计算公式 ........................................................................................................................... 12
图表 11 PDP 与 ICE 效果示意图 ......................................................................................................... 12
图表 12 LIME 决策边界示意图 ........................................................................................................... 13
图表 13 LIME 算法的伪代码 ............................................................................................................... 14
图表 14 因子数据 .................................................................................................................................. 15
图表 15 ELI5 调用示例 ........................................................................................................................... 16
图表 16 PI 特征重要性结果图表 ......................................................................................................... 16
图表 17 SHAP 调用示例与结果显示(回归) ..................................................................................... 17
图表 18 SHAP 调用示例与结果显示(分类) ..................................................................................... 18
图表 19 PDPBOX 调用示例与结果显示(单特征)........................................................................... 19
图表 20 PDPBOX 调用示例与结果显示(双特征)........................................................................... 19
图表 21 LIME 调用示例与结果显示 ..................................................................................................... 20
4
一、引言
近年来,AI 技术在多个领域都取得了骄人战果,某些场景的表现甚至超过人类,
比如 AI 人脸识别的准确率超过人眼准确率、AlphaGo 战胜人类世界冠军。然而,新
兴技术是把“双刃剑”,效果提升的同时也引发对模型掌控力下降。特别是自动驾
驶、医疗检测等高风险低、容错率的应用场景,唯“效果论”可能会引发严重的后
果。投资领域亦是如此,我们不得不在可解释性与准确性之间做出抉择:通常会牺
牲部分准确性,而去选择可解释性更高的模型。
图表 1 AI 模型准确性与可解释性的示意图
资料来源:太平洋证券研究院整理
一般而言,将深度学习模型、复杂集成模型等归为“黑箱模型”(Black-box model),
庞大的参数量、特征间的深层交互和复杂的模型结构使它们具备强大拟合能力;而
决策树和线性回归则因透明运作机制被归为“白箱模型”(White-box model)。 可解释
人工智能(EXplainable Artificial Intelligence,简称 XAI)能在不损失准确性的同时,
一定程度上提高模型的可解释性。类似于对黑箱注入“白色”元素,使我们从“灰
箱”中部分地了解模型运作方式。
本文是一篇关于 XAI 的工具类报告,主要涉及以下三个方面:
1、梳理 XAI 领域相关研究;
2、详细介绍几类常用方法的算法原理与特点;
3、展示在多因子选股案例中的实现与应用。
剩余23页未读,继续阅读
资源评论
qw_6918966011
- 粉丝: 21
- 资源: 6162
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- AT32与Sxx32/Gx32替换对照表
- STM32VET6单片机+XC3S250E(FPGA)+AD9708 DDS信号发生器MCU+FPGA源码+PDF硬件设计原理图
- SCIPOptSuite-9.0.0-win64-VS15.exe
- GIS10.4补丁文件
- fdgsfdgfdsgsf
- 基于CodeMirror5实现的mybatis+sql提示扩展功能,主要是用于在线设计开发场景中的动态sql部分.zip
- 计算机毕业设计-aSP.NET某中学学生成绩管理系统的设计(源代码+)-毕设源码实例.zip
- springboot集成mybatis动态sql.zip
- mybatis中的动态sql, 涉及 where trim set if foreach等
- 简单- 快递运输(Java & JS & Python & C).html
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功