机器学习笔记
需积分: 0 4 浏览量
2018-05-03
10:27:28
上传
评论
收藏 3.17MB DOCX 举报
深度学习：技术原理、迭代路径与局限
本文尝试复盘梳理深度学习目前的技术要点，深度学习中模型迭代的方向，以及改
进后存在的局限。
第一部分：深度学习技术基本要素：神经元、神经网络、分类器、可视化框架
在深度学习领域，神经元是深度学习的基本单位。
神经元从数学角度来看，为一个线性函数公式（如下图神经元里的公式）+非线性
函数（激励函数）组成。线性函数（包括降维后的线性函数，此处不细展开）用于
深度学习神经网络的模型训练，这其中，很可能出现欠拟合（欠拟合是指相对简单
的线性函数，分类处理信息时，因为分类标签数量或准确度不足以做有效区分）。
于是，在处理这一个问题时，工程师们人为设置了激励函数，来平衡线性函数无法
解决的问题：激活函数是神经元中非线性部分，用来减低线性部分造成的误差。
经由神经元作为节点连接而成的网络，是神经网络。最基本的神经网络，有两个神
经元，分别处在隐含层、输出层，如下图：
最简神经网络结构示意图
深度神经网络，是由含多层隐含层神经元组成的神经网络。具体的原理和实践会在
下文再做展开，展开之前，不妨先了解深度学习技术层面到底解决了什么问题？
首先，深度学习与传统机器学习处理输入信息方式，有一个根本的差异：
评论0
最新资源