没有合适的资源?快使用搜索试试~ 我知道了~
知识堆叠降噪自编码器.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 175 浏览量
2023-02-23
16:50:17
上传
评论
收藏 1.28MB DOCX 举报
温馨提示
试读
25页
知识堆叠降噪自编码器.docx
资源推荐
资源详情
资源评论
知识的表述和推理一直是人工智能的热点话题, 其中知识所代表的是数据特征与标签
间存在的一般规律. 在人工智能发展早期, 符号规则用来表述知识并进行推理, 研究者企图
通过这种方式来以人类的思维模式解释机器的结论, 而在这一过程中的规则定义为知识
[1]
.
符号形式的优点在于可以通过推导对知识进行验证, 并且其规则推导过程都是可以理解的.
在大数据时代, 以连接主义为核心的神经网络相较于符号系统具有更好的适应性. 其
中, 深度学习
[2]
凭借其良好的特征学习性能近些年已经在各个领域得到了广泛应用. 通过深
度学习得到的深度网络即为具有深度结构的神经网络. 在深度神经网络领域, Hinton 等
[3-4]
基
于深度置信网络(Deep belief network, DBN)提出非监督贪心逐层训练算法, 为解决深层结构
优化难题提供了解决办法, 并进一步提出了堆叠自动编码器(Stacked auto encoder, SAE).
Lecun 等
[5]
提出了卷积神经网络(Convolutional neural network, CNN), 利用空间相对关系以减
少参数数目来提高反向传播算法的训练效果, 在图像识别方面应用前景广阔. 此外, 深度学
习还出现了一些变形结构, 如堆叠降噪自编码器(Stacked denoising auto encoder, SDAE)
[6]
.
深度网络凭借其强大的学习能力广泛地应用于各个领域, 但同时也据有不可忽视的 “黑箱
问题”
[7]
, 即人类不能通过了解网络内部的结构和数值特性来得到数据特征和数据标签之间
的关系, 这一问题从根本上限制了深度神经网络的发展.
近年来, 一些研究者开始探究如何将符号系统和神经网络相结合, 其中一部分人希望
通过符号规则所表示的逻辑关系来解释网络内部的结构和数值特性, 另一部分希望将人类
已知的知识通过符号系统传入神经网络以提高网络性能. Gallant
[8]
最先提出了一种使用 IF-
THEN 规则解释推理结论的神经网络专家系统. 其后 Towell 等
[7]
提出基于知识的人工神经
网络(Knowledge-based artificial neural network, KBANN), 利用 MofN 规则实现对神经网络的
知识抽取和插入, 通过这种方式解释网络并增强网络性能. Garcez 等
[9]
在 KBANN 的基础上
提出了 CILP (Connectionist inductive learning and logic programming)系统, 该系统将逻辑规
则应用到初始化网络过程中, 使网络可以更好地学习数据和知识. Fernando 等
[10]
在 KBANN
的基础上提出了 INSS (Incremental neuro-symbolic system)系统, 成功利用包含实数的分类规
则初始化人工神经网络. Setiono
[11]
在前人的基础上从标准的三层前馈神经网络中抽取了 IF-
THEN 规则, 该抽取算法最大的亮点在于将隐藏节点的激活值离散化. 袁静等
[12]
尝试利用符
号逻辑语言描述神经网络, 并通过激活强度从理论上帮助规则进行推导. 钱大群等
[13]
根据神
经网络节点的输出值建立约束并生成规则. 这种规则被用来解释神经网络的行为. 黎明等
[14]
将模糊规则与神经网络相结合以提高模型的模式识别能力. 在深度学习上更进一步的研究
中, Penning 等
[15]
提出神经符号认知代理模型(Neural-symbolic cognitive agent, NSCA), 试图
将时间符号知识规则与 RTRBM (Recurrent temporal restricted Boltzmann machine)结合实现
在线学习. Odense 等
[16]
将受限玻尔兹曼机(Restricted Boltzmann machine, RBM)与 MofN 规则
相结合. 深度置信网络(DBN)是由 RBM 堆叠形成的, 而这一研究的意义则在于这是对 DBN
网络进行模块化解释的主要基础, 也是对神经网络与符号结合的一种新思考. Tran 等
[17]
在
NSCA 的基础上将置信度规则与 DBN 相结合, 实现知识的抽取和插入. Li 等
[18]
通过将符号
系统与神经网络相结合形成神经符号系统, 将符号主义与连接主义的优点集成, 形成新的推
理学习模型. Garcez 等
[19]
提出了神经符号计算的概念, 其中知识以符号的形式表示, 而学习
和推理由神经元计算. 通过这种方式将神经网络的鲁棒学习和有效推理与符号的可解释性
相结合. 论文从知识的表示、提取、推理和学习方面进行讨论, 并分别对基于规则、基于公
式和基于嵌入的神经符号计算方法进行了论述. 但是, 上文所提到的知识提取与插入方法通
常在浅层神经网络模型实施, 对于深度神经网络模型的知识提取与插入有待深入展开.
本文提出了一种新的深度神经网络模型 —— 知识堆叠降噪自编码器 (Knowledge-
based stacked denoising autoencoder, KBSDAE), 实现了符号系统与深度 SDAE 之间的有效集
成, 解决了深度神经网络的知识发现, 特征提取与网络可视化问题. 本文的主要贡献如下:
1)提出了一种新的深度知识神经网络 KBSDAE 模型, 显著地提高了特征学习及模式识别性
能; 2)提出了一种从深度网络发现知识的方法, 实现了深度网络可解释的目的; 3)有效地将符
号规则与分类规则相结合, 获得了一种具有高推导性能的规则系统. 最后采用各类标杆数据
验证了本文所提出方法的有效性与可应用性.
1. 堆叠降噪自编码器
自编码器(Autoencoders, AE)是基于神经网络的特征表达网络, 由输入层$(x )$、隐藏层
$ (h )$和输出层$ (y) $构成, 是深度学习的典型模型之一
[6]
. 它通过编码和解码运算重构输入
数据, 使得重构误差最小. 通过这种方式得到输入数据的隐藏层表达, 以达到特征提取的目
的. 因为学习过程中不存在数据标签, 但是又以输入数据作为重构目标, 所以认定该模型为
自监督学习过程.
自编码器的编码阶段是输入层 x 到隐藏层 h 的过程, 具体表示为
$$ h = {f_\theta }(x) = \sigma (wx + b) $$
(1)
其中, $\sigma$是 Sigmoid 非线性激活函数: $\sigma (x) = $$1 / (1 + $$ {{\rm{e}}^{ -
x}})$, 参数集合 $\; \theta = \{ w, b\}.$ 解码阶段是隐藏层 h 重构输出层 y 的过程, 具体表示
为
$$ y = {g_{\theta '}}(h) = \sigma '(w'h + b') $$
(2)
其中, $\sigma'$是 Sigmoid 非线性激活函数, 参数集合$\theta ' = \{ w', b'\}$.
通过最小化重构误差函数$L(x, y) = {\left\| {x - y} \right\|^2}$来逐步地调整网络内部的
参数$\theta ,\; \theta '$, 优化方式选择随机梯度下降法. 最优参数表示为
$$ \theta , \theta ' = \arg \mathop {\min }\limits_{\theta , \theta '} L(x, {g_{\theta '}}({f_\theta }(x))) $$
(3)
降噪自编码器(Denoising auto-encoder, DAE)是基于 AE 的一种变形, 通过噪声污染训
练输入数据以增加网络的鲁棒性, 防止过拟合
[7]
. 从图 1 可以看到 DAE 的训练过程, 首先利
用随机函数以一定的概率$ p $将原训练数据$ x $ 中的一些单元置零得到被污染的数据
$\tilde x$; 通过编码和解码对$\tilde x$ 进行重构; 最后调整网络参数$\theta , \; \theta '.$ 在利
用受污染的数据学习后, 网络可以具有更好的鲁棒性. 可以说, DAE 相较于传统的 AE 具有
更强的泛化能力.
图 1 堆叠降噪自编码器工作原理示意图
Fig. 1 Stacked denoising auroencoder working principle diagram
下载: 全尺寸图片 幻灯片
将若干个 DAE 堆叠起来, 就可以形成 SDAE, 如图 1 所示. 每一个 DAE 都以前一个
DAE 的隐藏层输出作为原始输入数据, 添加噪声后利用被污染的数据进行训练. 其训练过
程首先是逐个 DAE 贪婪训练, 最后通过 BP 算法
[20]
微调整个网络以获得最佳网络模型.
本文提出的 KBSDAE 实现了深度网络知识抽取和插入目的, 形成的 KBSDAE 系统如
图 2 所示. 下面将阐述知识抽取和插入的详细过程.
符号规则方面, 传统逻辑符号规则有很多种表达形式, 但是它们在复杂问题上的逻辑
推理能力较弱. 为了能描述深度神经网络, 本文选择了一种数值和符号相结合的规则 ——
置信度规则. 这种规则存在以下特性: 规则节点与网络神经元一一对应; 规则节点间的逻辑
关系是从网络中拓扑而出; 规则置信值是对网络权值进行拟合得出的; 即便面对复杂的大
型规则结构也可以进行有效的数学推理. 这些特性赋予符号规则两种能力: 1) 符号规则的
结构与网络基本相同且元素一一对应, 网络内部的逻辑关系可以被迁移到规则上作为一种
网络内部关系的表现; 2) 规则可以作为深度神经网络的一种简化表示, 具备一定的网络能
力. 所以符号规则的运行其实是对神经网络行为的一种简化模仿, 而这种模仿过程是人类所
能理解的.
置信度规则是一个符合充要条件的等式$c:\;{{h}} \leftrightarrow$${{{x}}_1} \wedge
\cdots \wedge {{{x}}_n}$, 其中$ c $属于实数类型, 定义为置信值; h 和${{ x}_i}\,(i \in [1,
n])$为假设命题, 这种符号规则形式与文献[16]中的规则相似, 但由于面向的网络不同, 规
则符号的意义也不同. 本文定义具体的置信度符号规则为
$$ \begin{split} &\lambda _{}^l= \\ & \left\{ \begin{aligned} & c_j^l:{{h}}_j^l \leftrightarrow ({ \wedge _{\forall p \in P}}{{h}}_p^{l -
1} )\wedge( { \wedge _{\forall n \in N}}\neg {{h}}_n^{l - 1}), 若\;1 < l< N\\ & c_j^l:{{h}}_j^l \leftrightarrow ({ \wedge _{\forall p \in
P}}{{{x}}_p}) \wedge ({ \wedge _{\forall n \in N}}\neg {{{x}}_n}), \;\;\;\; 若\;l=1 \qquad\;\end{aligned} \right. \end{split}$$
(4)
该规则可解释为: 当${{ x}_{1 }},\cdots,{{ x}_n}$命题成立时, h 命题也成立的置信值
为$ c $, 反之亦成立. 其中, $\lambda _j^l$是符号规则标签, 解释为第 l 层第$ j $个符号规
则; ${ h}_j^l$代表 DAE 中第 l 个隐藏层中第$ j $个神经元; ${{x}_i}\;(i \in $$ [1, n])$代表
DAE 输入层中第$ i $个神经元, P 和 N 分别代表对${h}_j^l$产生积极和消极影响的输入层
神经元集合. 根据表达式可以看出, 符号规则的整体结构和堆叠的自编码器具有相似的堆叠
嵌套结构, 可以最大化复现网络结构.
分类规则的解释逻辑是对网络分类过程的一种模仿, 由数值和逻辑符号组成. 这种规
则是从功能上对神经网络分类层的模仿, 通过数值和符号定义不同类别的不同区间可以最
大限度的对网络分类过程进行模仿和解释. 同时, 由于分类规则组成元素与置信度符号规则
相同, 故两者可以进行有效结合. 具体的规则形式表示为
$$ \begin{split} \phi =\Big\{ & {\rm{IF}}\,(B_{{\rm{select1}}}^N >V_1^N\;{\rm{or}}\;{{ B}}_{{\rm{select1}}}^N > V_1^{N'}) \wedge
\cdots\wedge\\ & (B_{\rm{selectn}}^N >V_n^N\;{\rm{or}}\;{ B}_{\rm{selectn}}^N > V_n^{N'})\;\; {\rm{THEN}}\, y = cl \Big\} \end{split} $$
(5)
其中, $\phi$是规则的标签, ${B^N}$表示从置信度符号规则集中推导输出的可信值
集, ${V^N}$代表对应的实数集, $ y $为类值标签, 可以被赋值为某一类$ cl $. 该规则的解
释为: 当符号规则集输出的${B^N}$符合相应的条件时, 可以判定这组数据属于某一类$ cl
$.
两种规则的合并即为本文提出的混合逻辑规则 R
mix
$$ R_{\rm{ mix }}= \left\{ { \wedge _{l = 1}^N{\lambda ^l} \wedge \phi } \right\} $$
(6)
剩余24页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3578
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功