台大李宏毅机器学习课件

【机器学习概述】 机器学习是计算机科学的一个分支，它研究如何让计算机系统通过经验改进其性能，无需显式编程。李宏毅教授的课程涵盖了这一领域的核心概念和技术，旨在帮助学生深入理解机器学习的原理与应用。 【学习类型】 1. 监督学习：在监督学习中，算法通过已有的输入-输出对（即训练数据）来学习模型。常见的监督学习任务包括分类（如图像识别）和回归（如房价预测）。 2. 无监督学习：在无监督学习中，数据没有标签，目标是发现数据的内在结构或模式。聚类是无监督学习的一个典型例子，如K-means算法。 3. 半监督学习：介于监督和无监督之间，利用大量未标记数据和少量标记数据进行学习。 4. 强化学习：强化学习通过试错的方式学习，系统通过执行动作并收到环境反馈来优化其策略，例如AlphaGo。 【机器学习模型】 1. 线性回归：用于预测连续值输出，通过拟合最佳直线来描述输入和输出之间的关系。 2. 逻辑回归：虽然名字有“回归”，但实际是一种分类方法，常用于二分类问题，输出为概率值。 3. 决策树：通过一系列规则划分数据，形成一棵树状结构，用于分类和回归。 4. 随机森林：由多个决策树组成，每个树的结果汇总后得到最终预测，减少过拟合风险。 5. 支持向量机（SVM）：通过找到最优超平面将不同类别数据分离，能处理高维数据和非线性问题。 6. 神经网络与深度学习：模拟人脑神经元工作原理，通过多层非线性变换进行复杂模式识别，如卷积神经网络（CNN）用于图像识别，循环神经网络（RNN）用于序列数据处理。 【算法评估与优化】 1. 模型评估：使用交叉验证、ROC曲线、AUC值、准确率、召回率、F1分数等指标评估模型性能。 2. 模型选择：通过网格搜索、随机搜索等方法寻找最优超参数组合。 3. 正则化：L1和L2正则化防止过拟合，L1倾向于产生稀疏权重，L2则使所有权重尽量接近零。 4. 梯度下降与反向传播：优化神经网络权重的主要方法，通过计算损失函数梯度来更新参数。 【数据预处理】 1. 缺失值处理：填充、删除或使用插值方法。 2. 数据标准化与归一化：确保特征在同一尺度上，加速学习过程。 3. 特征工程：创建新特征，提取有用信息，如文本中的TF-IDF。 4. 过采样与欠采样：平衡类别不均的数据集，如SMOTE技术处理类别不平衡问题。 【实践应用】 机器学习广泛应用于推荐系统、自然语言处理、计算机视觉、医疗诊断、金融风控等领域。李宏毅老师的课程会引导学生从理论到实践，掌握这些关键技能，为未来的职业生涯打下坚实基础。