关文聪 《机器学习》 作业三1

本文主要讨论的是在机器学习领域中，利用累积BP算法（Backpropagation）训练一个单隐层神经网络的过程，特别是在西瓜数据集2.0上进行训练和验证。这个任务要求从头实现算法，不依赖现成的库函数。 我们需要对数据进行预处理，将西瓜的各种属性如色泽、根蒂、敲声、纹理等进行数值化编码。例如，色泽的青绿对应1，乌黑对应2，浅白对应3，以此类推。这些数值化的属性将作为神经网络的输入。 接下来，作者使用Matlab编写代码来实现累积BP算法。首先初始化网络的权重和阈值，如输入层到隐藏层的权重矩阵v，隐藏层到输出层的权重矩阵w，以及隐藏层和输出层的阈值gamma和theta。这些参数都是随机初始化的，通常使用均匀分布或正态分布。 在训练过程中，使用前10个样本作为训练集，后7个样本作为测试集。通过循环迭代，计算每个样本的输出层输出。在隐藏层的计算中，应用了Sigmoid激活函数（1/(1+exp(-x)))，这使得神经元的输出介于0和1之间，增加了模型的非线性表达能力。 然后，计算输出层的输出，同样使用Sigmoid函数。接着，计算当前迭代的均方误差E，这是衡量模型预测结果与真实结果之间差异的指标。为了更新权重和阈值，还需要计算误差的梯度，即E对v、theta、w和gamma的偏导数，分别存储在e、g中。 在每次迭代时，根据学习率LearningRate和梯度下降法，更新权重和阈值。迭代过程会持续到满足某个停止条件，例如达到最大迭代次数或者连续多次的均方误差变化极小。此外，还引入了AccumulateTimes来记录相同误差值的累计次数，用于防止过早停止学习。 使用测试集计算均方误差，以评估模型在未见过的数据上的泛化能力。整个过程体现了神经网络训练的基本步骤，包括前向传播、误差计算、反向传播（误差反传）以及参数更新。 这个作业展示了如何在实际问题中应用神经网络模型，特别是在没有现成库函数的情况下手动实现BP算法。通过这样的实践，可以深入理解神经网络的工作原理，以及训练过程中的关键步骤，这对于机器学习的学习者来说是非常宝贵的经验。