机器学习期末复习.doc

【机器学习期末复习】 在机器学习领域，线性回归是一种基础且重要的模型，适用于预测连续数值型数据。其原理是通过找到一条最佳拟合直线（或多维超平面），以尽可能接近地描述数据点的分布。线性回归模型的数学表示为 f(x) = w * x + b，其中 w 是权重，x 是特征，b 是截距。线性回归的优势在于模型简单，易于实现，尤其适合小数据量和简单关系的场景，同时也是更复杂的非线性模型的基石。然而，它对于非线性数据和相关特征的处理能力有限。 决策树是一种基于特征划分的预测模型，通过一系列特征的二元分割形成树状结构。内部节点代表特征，叶节点代表分类结果。决策树的优点包括易于理解和实现、对数据的预处理要求较低、同时处理数值型和类别型数据、处理速度较快以及对缺失值不敏感。但其缺点在于难以处理连续性字段、对时间序列数据需额外预处理、类别过多可能导致错误增加，以及仅依据单个特征进行分类。 朴素贝叶斯是一种基于概率的分类方法，它假设各个特征之间相互独立。其优点在于分类效率稳定，对小规模数据表现良好，适合增量训练，对缺失数据不敏感，且常用于文本分类。然而，朴素贝叶斯模型的假设在现实中往往不成立，当特征间存在关联时，分类效果可能会下降。此外，它需要预先知道先验概率，有时会因假设的先验模型导致预测不准。 KNN（k值邻近法）是一种懒惰学习方法，它通过寻找训练集中最接近的新实例的 k 个邻居来分类。KNN 优点是简单、无需参数估计、训练时间几乎为零，且适合多分类问题和回归问题，对异常值不敏感。然而，KNN 的计算量大，特别是特征维度高时，同时缺乏清晰的决策规则，预测速度慢，对样本不平衡的情况表现不佳，并且对训练数据过度依赖。 这些模型各有优缺点，适用于不同的数据特性和应用场景。在实际应用中，需要根据问题的性质选择合适的模型，或者结合多种模型进行集成学习，以提高预测性能。