编程作业2-分类+PCA降维1

【编程作业2-分类+PCA降维1】的实验主要涉及了三个部分：垃圾邮件分类、最小二乘分类器（L2规范化项）和软间隔支持向量机（SVM）。此外，实验还强调了使用Python语言进行实现，并且包含了交叉验证来优化模型参数。 在垃圾邮件分类中，实验目标是利用监督学习方法建立一个二分类模型，以区分垃圾邮件（spam）和正常邮件（easy ham）。预处理步骤包括去除邮件头部，提取正文内容。接着，构建特征词库，通过词频统计形成词项-文档矩阵（TDM），这可以借助Python的文本处理包如nltk或scikit-learn完成。然后，利用这些特征训练朴素贝叶斯分类器。评估模型性能时，采用SP（垃圾邮件识别准确率）、SR（垃圾邮件识别查全率）和F值作为指标。 对于最小二乘分类器，实验要求推导包含L2规范化项的优化问题，并实现对应的Python函数lsClassifier。L2规范化项可以防止过拟合，使得权重向量各元素的平方和保持在一定范围内，其形式为罚项λ||w||^2。通过该函数，可以对训练数据进行拟合，并在测试数据上评估效果。 支持向量机（SVM）部分，需要实现的是软间隔SVM，其核心是解决非线性分类问题。函数softsvm中，C参数控制了允许违反边界的程度，而σ参数决定核函数（RBF核）的宽度。当σ=0时，SVM使用线性核，否则采用RBF核增加模型的灵活性。 实验要求使用交叉验证来选取最优参数。交叉验证是一种评估模型性能的方法，它将数据集分为k个子集，每次用k-1个子集训练模型，剩下的一个子集用于测试，重复k次，确保每个子集都作为测试集一次。通过多次训练和测试，可以更准确地估计模型的泛化能力，进而选择最佳参数组合。 总结来说，这个编程作业涵盖了机器学习中的重要概念和技术，包括监督学习中的朴素贝叶斯分类、L2正则化的最小二乘回归和基于核函数的支持向量机，以及模型参数的选择与优化。完成这个作业，学生将深入理解这些算法的工作原理及其在实际问题中的应用。