零起点Python机器学习快速入门

Andereas Muller的Introduction to Machine Learning with Python的中文版 前言..........................................................................................................................................................ix 第 1 章　引言.........................................................................................................................................1 1.1　为何选择机器学习.....................................................................................................................1 1.1.1　机器学习能够解决的问题 ............................................................................................2 1.1.2　熟悉任务和数据 ............................................................................................................4 1.2　为何选择 Python.........................................................................................................................4 1.3 scikit-learn..............................................................................................................................4 1.4　必要的库和工具.........................................................................................................................5 1.4.1 Jupyter Notebook............................................................................................................6 1.4.2 NumPy ............................................................................................................................6 1.4.3 SciPy ...............................................................................................................................6 1.4.4 matplotlib .....................................................................................................................7 1.4.5 pandas.............................................................................................................................8 1.4.6 mglearn...........................................................................................................................9 1.5 Python 2 与 Python 3 的对比 .....................................................................................................9 1.6　本书用到的版本.......................................................................................................................10 1.7　第一个应用：鸢尾花分类.......................................................................................................11 1.7.1　初识数据 ......................................................................................................................12 1.7.2　衡量模型是否成功：训练数据与测试数据 ..............................................................14 1.7.3　要事第一：观察数据 ..................................................................................................15 1.7.4　构建第一个模型： k 近邻算法 ...................................................................................16 1.7.5　做出预测 ......................................................................................................................17 1.7.6　评估模型 ......................................................................................................................18 1.8　小结与展望...............................................................................................................................19vi ｜ 目录 第 2 章　监督学习..............................................................................................................................21 2.1　分类与回归...............................................................................................................................21 2.2　泛化、过拟合与欠拟合...........................................................................................................22 2.3　监督学习算法...........................................................................................................................24 2.3.1　一些样本数据集 ..........................................................................................................25 2.3.2 k 近邻 ...........................................................................................................................28 2.3.3　线性模型 ......................................................................................................................35 2.3.4　朴素贝叶斯分类器 ......................................................................................................53 2.3.5　决策树 ..........................................................................................................................54 2.3.6　决策树集成 ..................................................................................................................64 2.3.7　核支持向量机 ..............................................................................................................71 2.3.8　神经网络（深度学习）................................................................................................80 2.4　分类器的不确定度估计...........................................................................................................91 2.4.1　决策函数 ......................................................................................................................91 2.4.2　预测概率 ......................................................................................................................94 2.4.3　多分类问题的不确定度 ..............................................................................................96 2.5　小结与展望...............................................................................................................................98 第 3 章　无监督学习与预处理......................................................................................................100 3.1　无监督学习的类型.................................................................................................................100 3.2　无监督学习的挑战.................................................................................................................101 3.3　预处理与缩放.........................................................................................................................101 3.3.1　不同类型的预处理 ....................................................................................................102 3.3.2　应用数据变换 ............................................................................................................102 3.3.3　对训练数据和测试数据进行相同的缩放 ................................................................104 3.3.4　预处理对监督学习的作用 ........................................................................................106 3.4　降维、特征提取与流形学习.................................................................................................107 3.4.1　主成分分析 ................................................................................................................107 3.4.2　非负矩阵分解 ............................................................................................................120 3.4.3　用 t-SNE 进行流形学习 ............................................................................................126 3.5　聚类.........................................................................................................................................130 3.5.1 k 均值聚类 .................................................................................................................130 3.5.2　凝聚聚类 ....................................................................................................................140 3.5.3 DBSCAN ....................................................................................................................143 3.5.4　聚类算法的对比与评估 ............................................................................................147 3.5.5　聚类方法小结 ............................................................................................................159 3.6　小结与展望.............................................................................................................................159目录 ｜ vii 第 4 章　数据表示与特征工程......................................................................................................161 4.1　分类变量.................................................................................................................................161 4.1.1 One-Hot 编码（虚拟变量）.......................................................................................162 4.1.2　数字可以编码分类变量 ............................................................................................166 4.2　分箱、离散化、线性模型与树.............................................................................................168 4.3　交互特征与多项式特征.........................................................................................................171 4.4　单变量非线性变换.................................................................................................................178 4.5　自动化特征选择.....................................................................................................................181 4.5.1　单变量统计 ................................................................................................................181 4.5.2　基于模型的特征选择 ................................................................................................183 4.5.3　迭代特征选择 ............................................................................................................184 4.6　利用专家知识.........................................................................................................................185 4.7　小结与展望.............................................................................................................................192 第 5 章　模型评估与改进 ..............................................................................................................193 5.1　交叉验证.................................................................................................................................194 5.1.1 scikit-learn 中的交叉验证 ....................................................................................194 5.1.2　交叉验证的优点 ........................................................................................................195 5.1.3　分层 k 折交叉验证和其他策略.................................................................................196 5.2　网格搜索.................................................................................................................................200 5.2.1　简单网格搜索 ............................................................................................................201 5.2.2　参数过拟合的风险与验证集 ....................................................................................202 5.2.3　带交叉验证的网格搜索 ............................................................................................203 5.3　评估指标与评分.....................................................................................................................213 5.3.1　牢记最终目标 ............................................................................................................213 5.3.2　二分类指标 ................................................................................................................214 5.3.3　多分类指标 ................................................................................................................230 5.3.4　回归指标 ....................................................................................................................232 5.3.5　在模型选择中使用评估指标 ....................................................................................232 5.4　小结与展望.............................................................................................................................234 第 6 章　算法链与管道...................................................................................................................236 6.1　用预处理进行参数选择.........................................................................................................237 6.2　构建管道.................................................................................................................................238 6.3　在网格搜索中使用管道.........................................................................................................239 6.4　通用的管道接口.....................................................................................................................242 6.4.1　用 make_pipeline 方便地创建管道 .........................................................................243 6.4.2　访问步骤属性 ............................................................................................................244 6.4.3　访问网格搜索管道中的属性 ....................................................................................244viii ｜ 目录 6.5　网格搜索预处理步骤与模型参数.........................................................................................246 6.6　网格搜索选择使用哪个模型.................................................................................................248 6.7　小结与展望.............................................................................................................................249 第 7 章　处理文本数据...................................................................................................................250 7.1　用字符串表示的数据类型.....................................................................................................250 7.2　示例应用：电影评论的情感分析.........................................................................................252 7.3　将文本数据表示为词袋.........................................................................................................254 7.3.1　将词袋应用于玩具数据集 ........................................................................................255 7.3.2　将词袋应用于电影评论 ............................................................................................256 7.4　停用词.....................................................................................................................................259 7.5　用 tf-idf 缩放数据..................................................................................................................260 7.6　研究模型系数.........................................................................................................................263 7.7　多个单词的词袋（n 元分词）................................................................................................263 7.8　高级分词、词干提取与词形还原.........................................................................................267 7.9　主题建模与文档聚类.............................................................................................................270 7.10　小结与展望...........................................................................................................................277 第 8 章　全书总结............................................................................................................................278 8.1　处理机器学习问题.................................................................................................................278 8.2　从原型到生产.........................................................................................................................279 8.3　测试生产系统.........................................................................................................................280 8.4　构建你自己的估计器.............................................................................................................280 8.5　下一步怎么走.........................................................................................................................281 8.5.1　理论 ............................................................................................................................281 8.5.2　其他机器学习框架和包 ............................................................................................281 8.5.3　排序、推荐系统与其他学习类型 ............................................................................282 8.5.4　概率建模、推断与概率编程 ....................................................................................282 8.5.5　神经网络 ....................................................................................................................283 8.5.6　推广到更大的数据集 ................................................................................................283 8.5.7　磨练你的技术 ............................................................................................................284 8.6　总结.........................................................................................................................................284 关于作者..............................................................................................................................................285 关于封面..............................................................................................................................................285