18302010018-俞哲轩-lab1-part11

在给定的代码段中，我们看到了一个简单的神经网络实现，包括`Network`类和`Layer`类。这个网络主要用于处理sin函数的12周期数据，并应用了不同的激活函数，如Sigmoid、Tanh以及Leaky ReLU（LeRU）。让我们深入探讨这些知识点： 1. **网络结构**： `Network`类包含了网络的结构信息，通过`size`属性表示层数，`layers`列表存储各个层对象。构造函数`Network(int[] structure, boolean classification, double weightLR, double biasLR)`接收网络结构数组（每层神经元数量），分类任务标识，以及权重和偏置的学习率。 2. **前向传播**： `forward(double[] input)`方法实现了前向传播过程。输入层的神经元将输入数组赋值为输出。然后，从第二个层（隐藏层）开始逐层进行前向传播，直到最后一层（输出层）。 3. **反向传播**： `backward(double[] desired)`方法执行反向传播。计算输出层的误差（delta），然后从最后一个层开始回溯，对每个层的神经元进行误差反向传播，直到输入层。 4. **Softmax函数**： `softmax()`方法用于将输出层神经元的激活值转换为概率分布。它计算所有神经元输出的指数和，然后除以该和，确保所有输出之和为1，符合概率的要求。 5. **层的实现**： `Layer`类代表网络中的单个层，包含神经元数组`neurons`，前后相邻层的引用，以及学习率属性。构造函数`Layer(int quantity, Layer backLayer, boolean classification, double weightLR, double biasLR)`初始化层的大小、前一层、是否为分类层，以及权重和偏置的学习率。 6. **激活函数**： - **Sigmoid**：这是一个S-shaped函数，输出范围在0到1之间，常用于二分类问题，因为其输出可以解释为概率。 - **Tanh**：双曲正切函数，输出范围在-1到1之间，相比Sigmoid，通常能提供更好的梯度分布。 - **Leaky ReLU（LeRU）**：修正线性单元，解决了ReLU在负区的梯度消失问题，允许小量负值通过，以保持神经元的激活。 7. **学习率**： 权重和偏置的学习率（`weightLR`和`biasLR`）控制着参数更新的速度。较高的学习率可能导致训练更快，但可能不稳定；较低的学习率则可能使训练更稳定，但收敛速度较慢。 8. **随机性**： `Random`类的实例`rd`用于初始化权重和偏置，这是训练过程中引入随机性的常见方式，有助于跳出局部最优解。 这个简化的神经网络模型虽然基础，但它展示了深度学习模型的核心元素，如前向传播、反向传播和激活函数的选择。在实际应用中，还需要包括权重和偏置的更新规则（如梯度下降或其变体）、损失函数以及训练循环等更多细节。