神经网络学习之前馈神经网络.doc

前馈神经网络（Feedforward Neural Network, FNN）是**一种信息单向传播的人工神经网络结构**。以下是关于前馈神经网络学习的一些要点： 1. **网络结构**：前馈神经网络中的神经元被分为不同的层，每一层由多个神经元组成。每个神经元仅与前一层的神经元相连接，并向前传递信息到下一层。 2. **信息传递**：信息从输入层开始，经过隐藏层（可以有多个），最终到达输出层。在这个过程中，信息始终是朝一个方向流动的，没有反向的信息传播（注意，这与误差的反向传播是不同的）。 3. **激活函数**：为了引入非线性特性，每个神经元会应用一个激活函数对其加权输入进行转换。常用的激活函数包括ReLU、sigmoid和tanh等。 4. **权重矩阵**：在网络中，每个神经元与其前一层的所有神经元通过权重相连接。这些权重构成了权重矩阵，并在学习过程中不断调整以最小化损失函数。 5. **反向传播算法**：在学习过程中，通过反向传播算法来更新网络中的权重。这是一种利用梯度下降方法来最小化损失函数的过程，它涉及到计算损失函数关于每个权重的偏导数。 6. **学习率和批量大小**：