第十一章 特征选择与稀疏学习1
需积分: 0 87 浏览量
2022-08-08
19:31:34
上传
评论
收藏 421KB DOCX 举报
上篇主要介绍了经典的降维方法与度量学习，首先从“维数灾难”导致的样本稀
疏以及距离难计算两大难题出发，引出了降维的概念，即通过某种数学变换将
原始高维空间转变到一个低维的子空间，接着分别介绍了 kNN、MDS、PCA、
KPCA 以及两种经典的流形学习方法，k 近邻算法的核心在于 k 值的选取以及距
离的度量，MDS 要求原始空间样本之间的距离在降维后的低维空间中得以保
持，主成分分析试图找到一个低维超平面来表出原空间样本点，核化主成分分
析先将样本点映射到高维空间，再在高维空间中使用线性降维的方法，从而解
决了原空间样本非线性分布的情形，基于流形学习的降维则是一种“邻域保持”
的思想，最后度量学习试图去学习出一个距离度量来等效降维的效果。本篇将
讨论另一种常用方法--特征选择与稀疏学习。
#12、特征选择与稀疏学习
最近在看论文的过程中，发现对于数据集行和列的叫法颇有不同，故在介绍本
篇之前，决定先将最常用的术语罗列一二，以后再见到了不管它脚扑朔还是眼
迷离就能一眼识破真身了~对于数据集中的一个对象及组成对象的零件元素：
统计学家常称它们为观测（observation）和变量（variable）； 数据库分析
师则称其为记录（record）和字段（field）； 数据挖掘/机器学习学科的研究
者则习惯把它们叫做样本/示例（example/instance）和属性/特征
（attribute/feature）。
回归正题，在机器学习中特征选择是一个重要的“数据预处理”
（data preprocessing）过程，即试图从数据集的所有特征中挑选出与当前学
习任务相关的特征子集，接着再利用数据子集来训练学习器；稀疏学习则是围
绕着稀疏矩阵的优良性质，来完成相应的学习任务。
##12.1 子集搜索与评价
评论0