机器学习+大数据知识总结
需积分: 0 155 浏览量
2022-12-10
14:48:25
上传
评论 1
收藏 22.39MB DOCX 举报
机器学习部分
介绍一下常见的有监督以及无监督学习
有监督学习：线性判别分析、决策树、支持向量机、集成算法
无监督学习: 主成分分析、聚类、EM 算法
介绍一下逻辑回归
逻辑回归属于一种广义线性回归，但它是用来做分类的。传统回归模型输出变量的取
值为(-∞,+ ∞)，无法解释分类问题，逻辑回归引入激活函数，二分类时是 sigmoid，将输
出变量取值映射到(0,1)之间，看作是取正例的概率，一般设置阈值为 0.5，概率>0.5 认为是
正例，反之认为是负例。多分类时，激活函数为 softmax，将各分类得分做指数变换后进
行归一化处理，处理后的值为各分类概率，且其和为 1，预测结果为概率最大的类别。
介绍一下集成算法。
集成算法一共有三大类，分别为 bagging,boosting,stacking。
其中 bagging 是一种并联式的集成算法，它是将多个相同的弱学习器通过并联方式形
成强学习器，其中各个弱学习器是相互独立的，如果是分类问题，那么结果为各个弱分类
器的投票所得，如果是回归问题，其结果是各个弱学习器的平均所得，常见的 boosting 算
法有随机森林算法。
Boosting 是一种串联式的集成算法，它是将多个相同的弱学习器通过串联方式形成强
学习器，首先用第一个弱学习器对数据进行拟合，但单个弱学习器不能完整地解释信息，
会存在一定误差，故需要用第二个弱学习器对误差进行拟合，并以此类推，迭代下去，直
到误差收敛到设定的阈值，比如真实值为 1000，第一个弱学习器的预测值为 900，第二个
弱学习器的目标就是 1000-900 = 100，若第二个弱学习器的预测值为 90，第三个弱学习器
的目标就是 100-90 = 10，若第三个弱学习器的预测值为 9，且设定的阈值为 5，则误差为
10-9 = 1，已经达到了要求，故收敛。然后将前面三个弱学习器串联起来形成强学习器，
这就是 boosting 的全过程。常见的算法有 Adaboost、GBDT、XGBoost 与 lightGBM。
Stacking 就是将多个不同的弱学习器组合在一起，将他们的输出结果作为输入传入一
个新的学习器中去，输出结果作为最终结果。
介绍一下决策树与随机森林。
决策树：
决策树可以分为分类树和回归树，其中分类树有 ID3 树，ID4.5 树以及 CART 树，ID3
树中间节点的特征选择是根据信息增益，ID4.5 树中间节点的特征选择是根据信息增益率
剩余91页未读，继续阅读
评论0
最新资源