PCA与RF原理介绍1
需积分: 0 118 浏览量
2022-08-08
17:58:15
上传
评论
收藏 55KB DOCX 举报
PCA 主成分分析：
主成分分析是一种将样本进行降维的算法，形象的说，就是用一个超平面，对样本点集
合进行详细的表达，以求尽量在保持样本最大信息的情况下，将样本的维度降低，具体地，
可以用矩阵可以表达为：
𝑥
11
⋯
𝑥
1𝑝
⋮
⋱
⋮
𝑥
𝑛1
⋯
𝑥
𝑛𝑝
𝑛
×
𝑝
𝑦
11
⋯
𝑦
1𝑚
⋮
⋱
⋮
𝑦
𝑛1
⋯
𝑦
𝑛𝑚
𝑛
×
𝑚
（在这里，
每个样本通过矩阵变换由 p 维降为 m 维），找到了变换的矩阵，也就找到了主成分分析的解
在这个过程中，这个超平面具有如下的两条性质：
① 最近重构性:即样本点到这个超平面的距离应该足够近
② 最大可分性：即样本点在这个超平面上的投影能尽可能的分开
我们从最大可分性出发进行主成分分析的原理推导，其数学推导如下：
由最大可分性知，样本点经过投影后方差应达到最大，设
𝐖
=
(
𝐰
𝟏
,
𝐰
𝟐
,
…
,
𝒘
𝒎
)
,使得
𝐗𝐖
=
𝐘
,投影后样本点的方差可以表示为
𝑾
𝑻
𝑿
𝑻
𝑿𝑾
,等于
∑
𝑚
𝑖
=
1
𝒘
𝒊
𝑻
𝑿
𝑻
𝑿
𝒘
𝒊
,假设样本点是中心化的，
则样本点的协方差矩阵
𝐕
=
1
𝑛
𝑿
𝑻
𝑿
,要使方差最大，只需：
max
𝑚
𝑖
=
1
𝒘
𝒊
𝑻
𝑽
𝒘
𝒊
,𝑠.𝑡.
𝐰
𝟏
,
𝐰
𝟐
,
…
,
𝒘
𝒎
为正交的向量
用拉格朗日乘数法可得：
𝑽
𝒘𝒊
=
𝜆
𝒘𝒊
只需对协方差矩阵 V 进行特征值分解，将求得的特征值排序：
𝜆
1
≥
𝜆
2
≥
…
≥
𝜆
𝑛
,取前 m 个
特征值构成
𝑾
∗
=
(
𝐰
𝟏
,
𝐰
𝟐
,
…
,
𝒘
𝒎
),即为主成分分析的解。
总结来说，PCA 算法的过程为以下几步：
① 对所有样本进行中心化
② 计算样本的协方差矩阵
③ 对协方差矩阵进行特征值分解
④ 取最大的 m 个特征值所对应的特征向量组成投影矩阵，即为算法的解
随机森林回归：
随机森林回归是利用随机森林算法解决回归问题的一种方法，而随机森林是 Bagging
算法的一种变体，属于机器学习中的集成学习方法，对于该学习方法，因此在介绍随机森林
之前，首先来介绍一下集成学习方法和 Bagging 算法，从而引出随机森林算法
集成学习：通过构建并结合多个学习器来完成学习任务，它的基本思想是先产生一组“个
体学习器”，再用某种策略将它们结合起来，每个个体学习器用一种学习算法从训练数据中产
生。通过对多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能。
Bagging 算法：给定包含 m 个样本的数据集，先随机取出一个样本放入采样集中，再
把该样本放回初始数据集，使得下一次采样时该样本仍有可能被选中，这样经过 m 次随机
采样操作，就可以得到含 m 个样本的采样集，照这样可以采样出 T 个含 m 个训练样本的采
样集，基于每个采样集对这些基学习器进行结合，就是 Bagging 的基本流程。
而随机森林(RF)方法是 Bagging 算法的一个变体，以 CART 决策树为基学习器构建
艾苛尔
- 粉丝: 26
- 资源: 307
最新资源
- 基于matlab实现对表面肌电信号进行归一化处理，并对归一化后的图形显示 .rar
- 基于matlab实现单级倒立摆的 T-S 模型 包括 LMI 程序源码
- 图书管理系统(struts+hibernate+spring+ext).rar
- 基于matlab实现此压缩包包含语音信号处理中的语音变声代码加音频.rar
- STM32使用PWM驱动舵机并通过OLED显示
- 基于matlab实现车辆路径规划；遗传算法；matlab代码.rar
- 图书管理系统(struts+hibernate+spring)130225.rar
- 基于matlab实现采用标量衍射理论，实现菲涅尔衍射和夫琅禾费衍射，对光波的波前传播和数字全息的应用有帮助.rar
- JavaScript版去除链表重复元素
- 微信小程序项目-功德木鱼（带设置面板-自定义文字、可选字体颜色、可选木鱼样式）
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0