机器学习面精彩试题目.pdf
版权申诉
139 浏览量
2022-06-14
20:11:59
上传
评论
收藏 975KB PDF 举报
1、有监督学习和无监督学习的区别
有监督学习：对具有标记的训练样本进行学习，以尽可能对训练样本集外的数据进行分类预
测。（LR,SVM,BP,RF,GBDT）
无监督学习：对未标记的样本进行训练学习，比发现这些样本中的结构知识。(KMeans,DL)
2、正则化
正则化是针对过拟合而提出的，以为在求解模型最优的是一般优化最小的经验风险，现在在
该经验风险上加入模型复杂度这一项（正则化项是模型参数向量的数），并使用一个 rate 比
率来权衡模型复杂度与以往经验风险的权重，如果模型复杂度越高，结构化的经验风险会越
大，现在的目标就变为了结构经验风险的最优化，可以防止模型训练过度复杂，有效的降低
过拟合的风险。
奥卡姆剃刀原理，能够很好的解释已知数据并且十分简单才是最好的模型。
过拟合
如果一味的去提高训练数据的预测能力，所选模型的复杂度往往会很高，这种现象称为过拟
合。所表现的就是模型训练时候的误差很小，但在测试的时候误差很大。
产生的原因过拟合原因：
1. 样本数据的问题。
样本数量太少；
抽样方法错误，抽出的样本数据不能有效足够代表业务逻辑或业务场景。比如样本符合正态
分布，却按均分分布抽样，或者样本数据不能代表整体数据的分布；
样本里的噪音数据干扰过大
2. 模型问题
模型复杂度高 、参数太多
决策树模型没有剪枝
权值学习迭代次数足够多(Overtraining),拟合了训练数据中的噪声和训练样例中没有代表性
的特征.
解决方法
1. 样本数据方面。
增加样本数量，对样本进行降维，添加验证数据
抽样方法要符合业务场景
清洗噪声数据
2. 模型或训练问题
控制模型复杂度，优先选择简单的模型，或者用模型融合技术。
利用先验知识，添加正则项。L1 正则更加容易产生稀疏解、L2 正则倾向于让参数 w 趋向于
0.
4、交叉验证
剩余16页未读，继续阅读
评论0
最新资源