[] - 2023-07-18 机器学习中的最优化算法（全面总结）.pdf
需积分: 0 98 浏览量
2023-12-02
10:28:21
上传
评论
收藏 1.31MB PDF 举报
机器学习中的最优化算法（全面总结）
算法进阶
2023-07-18原文
↑↑↑关注后"星标"kaggle竞赛宝典
kaggle竞赛宝典
作者：算法进阶
机器学习中的最优化算法（全面总结）！
导言
对于几乎所有机器学习算法，无论是有监督学习、无监督学习，还是强化学习，最后
一般都归结为求解最优化问题。因此，最优化方法在机器学习算法的推导与实现中占
据中心地位。在这篇文章中，小编将对机器学习中所使用的优化算法做一个全面的总
结，并理清它们直接的脉络关系，帮你从全局的高度来理解这一部分知识。
机器学习要求解的数学模型
几乎所有的机器学习算法最后都归结为求一个目标函数的极值，即最优化问题，例如
对 于 有 监 督 学 习 ， 我 们 要 找 到 一 个 最 佳 的 映 射 函 数 f
(x)，使得对训练样本的损失函数最小化（最小化经验风险或结构风险）：
在这里，N为训练样本数，L是对单个样本的损失函数，w是要求解的模型参数，是映
射函数的参数，xi为样本的特征向量，yi为样本的标签值。
剩余21页未读，继续阅读
资源评论
