监督学习算法学习笔记.pdf

监督学习是一种重要的机器学习方法，它涉及到分类和归纳学习。在监督学习中，我们使用一个带标签的数据集，即已知输入属性值和对应输出类标的样本，来训练一个模型。目标是创建一个分类或预测函数，这个函数可以对新数据进行预测。模型可以有多种形式，如决策树、规则集、贝叶斯模型或超平面。 决策树是监督学习中常见的分类算法，它以树状结构展示决策路径，每个内部节点表示一个属性测试，每个叶子节点代表一个类别。构建决策树的过程是通过不断分割数据，使分割后的子集尽可能纯净，即所有数据实例属于同一类别。这个过程通常通过选择最优属性来完成，最优属性是通过计算诸如熵或信息增益等混杂度函数来确定的。决策树的学习算法使用递归分治策略，直到所有数据都属于同一类别或无法进一步分割为止。 评估分类器性能的主要指标是分类精度，即在测试集中正确分类的样本数占总样本数的比例。此外，对于不平衡数据集，查准率（Precision）、查全率（Recall）和F-score也是重要的评价指标。查准率是真正例（True Positive, TP）除以预测为正例的总数（TP+False Positive, FP），查全率是真正例除以实际正例总数（TP+False Negative, FN）。F-score是查准率和查全率的调和平均，能同时考虑两者的表现。 朴素贝叶斯分类是另一种监督学习方法，基于贝叶斯定理和特征条件独立假设。条件概率是其基础，通过计算每个特征在给定类别下的条件概率，并利用全概率公式和乘法规则来预测未知类别的概率。尽管“朴素”假设特征之间相互独立可能在实际中并不成立，但在许多情况下，朴素贝叶斯分类器仍然表现出色，尤其是在文本分类和垃圾邮件过滤等领域。 监督学习还包括其他算法，如支持向量机（SVM）、逻辑回归、K近邻（K-NN）等，每种都有其适用场景和优势。在实际应用中，选择合适的算法取决于问题的性质、数据的分布以及对预测性能的要求。同时，模型的泛化能力也很关键，避免过拟合和欠拟合是优化模型性能的重要任务。在模型训练过程中，通常会使用交叉验证来评估模型在未见过的数据上的表现，确保模型具有良好的泛化性能。