机器学习前三次实验报告.docx

点的划分不能提高决策树的整体性能，则停止划分，形成叶子节点。实验分析： 决策树是一种监督学习算法，常用于分类和回归任务。在DOTA2比赛结果预测中，通过调整决策树的最大深度来平衡模型复杂度和泛化能力。最大深度决定了决策树的分支数量，过深可能导致过拟合，而过浅可能无法捕捉到数据的复杂性。通过绘制MAE曲线，我们可以观察到随着最大深度增加，模型在训练集上的表现逐渐改善，但测试集上的表现趋于稳定或略有下降，这表明在最大深度15时找到了一个较好的平衡点。 信息增益、信息增益率和基尼指数是决策树节点划分的三种常见准则。信息增益衡量了划分前后的信息熵变化，倾向于选择能最大程度减少数据集合不确定性的特征；信息增益率则对信息增益进行了平滑处理，避免了对具有大量取值特征的偏好；基尼指数是另一种衡量不纯度的指标，它直接度量了错误分类的可能性。在实验中，通过比较这些准则构建的决策树，可以找出在训练集和测试集上表现更优的模型。 预剪枝是防止决策树过拟合的一种策略，它在构建过程中就限制了树的生长。通过比较预剪枝和未剪枝决策树的性能指标，可以发现预剪枝通常会导致模型的泛化能力提高，因为它减少了模型对训练数据的过度依赖。 3. 神经网络实验内容和部分实验结果： 神经网络实验涉及了垃圾邮件分类和Dota2比赛结果预测。神经网络模型通常包括输入层、隐藏层和输出层，通过反向传播算法进行训练，优化权重以减小损失函数。实验中可能使用了不同结构的神经网络，如简单的前馈网络、卷积神经网络或循环神经网络，以及不同的激活函数，如sigmoid、ReLU等。通过对预测结果的精度、查准率、查全率和F1值的评估，可以了解模型在处理分类任务时的性能。神经网络的训练过程涉及到超参数的选择，例如学习率、批次大小和迭代次数，这些都会影响模型的收敛速度和预测效果。 总结： 机器学习实验涵盖了线性模型（如线性回归）、决策树和神经网络等基础方法。线性模型在房价预测中表现出一定的预测能力，而决策树在DOTA2比赛结果预测中通过调整最大深度找到了平衡点。神经网络在垃圾邮件分类和Dota2比赛预测中展示了强大的非线性拟合能力。这些实验不仅帮助学生理解各种模型的工作原理，还教会他们如何评估模型性能、防止过拟合以及调整模型参数。通过这些实践，学生能够更好地掌握机器学习的核心概念和技术，为后续的学习和研究打下坚实的基础。