2020lee_ml_HW1.zip

这篇文档将深入解析2020年春季台大李宏毅教授机器学习课程中的第一个作业——"2020lee_ml_HW1.zip"。这个压缩包包含了一系列与机器学习优化算法相关的笔记簿（Jupyter Notebook）文件，以及一个readme.txt说明文件。以下是关于这些知识点的详细讲解。 我们来看平方项.ipynb。在机器学习中，平方项通常指的是损失函数中的均方误差（Mean Squared Error, MSE）。这是一个常见的监督学习中衡量模型预测结果与实际值之间差异的指标。平方项的使用是因为它能够确保损失函数是连续可微的，并且对大的预测误差施加了更大的惩罚，从而推动模型更接近真实值。 接下来是Adam.ipynb。Adam（Adaptive Moment Estimation）是一种优化算法，常用于深度学习模型的训练。它是RMSprop和动量法的结合，能自动调整学习率并具有快速收敛的特点。Adam通过维护第一阶矩（平均梯度）和第二阶矩（平方梯度的平均）来适应每个参数的学习率，这使得它在各种问题和数据集上都能表现良好。 然后是adagrad.ipynb。AdaGrad（Adaptive Gradient Algorithm）是一种自适应学习率的优化算法。它为每个参数维护一个学习率历史的平方根，这使得频繁更新的参数学习率会逐渐减小，而较少更新的参数则可以保持较大的学习率，从而有助于解决稀疏梯度问题。然而，AdaGrad的一个缺点是，由于学习率的累积效应，可能导致学习率过早地减小到几乎为零。 readme.txt文件通常包含了对作业的简要说明、执行步骤或注意事项。在这个场景下，它可能详细描述了李宏毅教授给出的示例改动，以及这些改动如何提高了模型的性能。比如，可能涉及了超参数的调整、特征工程的改进，或者采用了不同的正则化策略来防止过拟合。 通过这些作业，学生不仅可以深入理解机器学习中的基本概念，如损失函数和优化算法，还能实践如何在实际问题中应用和改进这些方法。李宏毅教授的课程以其通俗易懂和实战性强而受到广泛赞誉，这些作业无疑是巩固理论知识和提升实践技能的重要途径。通过完成这样的作业，学生能够掌握如何评估和调整模型，从而提高预测精度。