机器学习实战：基于ScikitLearn和TensorFlow

第一部分分类 第1 章机器学习基础................. 2 1 . 1 何谓机器学习............................................3 1 .1 .1传感器和海量数据…..................... 4 1 .1 .2机器学习非常重要........................ 5 1 . 2 关键术语....................................................5 1 . 3 机器学习的主要任务................................ 7 1 . 4 如何选择合适的算法................................ 8 1 . 5 开发机器学习应用程序的步骤................ 9 1.6 ?>^0打语言的优势..................................10 1.6.1 可执行伪代码.............................. 10 1.6.2 Python比较流行......................... 10 1 . 6 . 3 卩丫出0打语言的特色.......................... 11 . 1 . 6 . 4 卩丫也0卩语言的缺点...................... 11 1.7 >^«^乂函数库基础................................ 12 1.8 本章小结..................................................13 第2 章k-近邻算法.......................................15 2.1 1 近邻算法概述.......................................15 2.1.1 准备:_使用？丫* 0 打导入数据……17 2 .1 . 2 从文本文件中解析数据.............. 19 2.1.3 如何测试分类器.......................... 20 2 . 2 示例：使用1 近邻算法改进约会网站 的配对效果..............................................20 2 . 2 . 1 准备数椐：从文本文件中解析 数据..............................................21 2.2.2 分析数据：使用Matplotlib创 建散点图............... ......................23 2.2.3 准备数据：归一化数值….…•….…25 2 . 2 . 4 测试算法：作为完整程序验证 分类器.......................................v:26 2 .2 . 5 使用算法：构建完整可用 系统........ ..................................... 27 2 . 3 示例：手写识别系统..............................28 , 2 .3 . 1 准备数椐：将图像转换为測 试向量..........................................29 2 .3 . 2 测试算法：使用女-近邻算法 识别手写数字..............................30 2.4 本章小结..................................................31 第3章决策树.... ..................................... 32 3 . 1 决策树的构造..........................................33 3.1.1 信息增益......................................35 3 .1 .2 划分数据集..................................37 3 .1 .3递归构建决策树...........................39 3 . 2 在Python中使用Matplotlib注解绘制 树形图.....................................................42 3.2.1 Matplotlib 注解............................43 3.2.2 构造注解树......................... ;•……44 3 . 3 测试和存储分类器..................................48 3 .3 . 1 测试算法：使用决策树执行 分类..............................................49 3 .3 . 2 使用算法：决策树的存储.......... 50 3 . 4 示例：使用决策树预测隐形眼镜类型____50 3.5 本章小结..................................................52 第4 章基于概率论的分类方法：朴素 贝叶斯...............................................53 4 . 1 基于贝叶斯决策理论的分类方法.......... 53 4 . 2 条件概率.................................................. 55 4 . 3 使用条件概率来分类..............................56 4 . 4 使用朴素贝叶斯进行文档分类.............. 57 4 . 5 使用？7也如进行文本分类.................... 58 XIV 录 4 . 5 . 1 准备数据：从文本中构建词 向量..............................................58 4 .5 . 2 训练算法：从词向量计算 概率..............................................60 4 . 5 . 3 测试算法：根据现实情况修 改分类器......................................62 4.5.4 准备数据：文档词袋模型.......... 64 4 . 6 示例：使用朴素贝叶斯过滤垃圾 邮件......................................................... 64 4 . 6 . 1 准备数据：切分文本.................. 65 4 . 6 . 2 测试算法：使用朴素贝叶斯 进行交叉验证..............................66 4 . 7 示例：使用朴素贝叶斯分类器从个人 广告中获取区域倾向...............................68 4.7.1 收集数据：^A R S S M ............. 68 4.7.2 .分析数据：显示地域相关的 用词..............................................71 4.8 本章小结................................................. 72 第5章^^丨呂士匕回归....................... ...........73 5 . 1 基于Logistic回归和Sigmoid函数的 分类......................................................... 74 5 . 2 基于最优化方法的最佳回归系数 确定......................................................... 75 5.2.1 梯度上升法..................................75 5 .2 .2训练算法：使用梯度上升找 到最佳参数..................................77 5.2.3 分析数据：画出决策边界.......... 79 5 .2 . 4 训练算法：随机梯度上升.......... 80 5 . 3 示例：从疝气病症预测病马的死亡 * ............................................................. 85 5 .3 . 1 准备数据：处理数据中的缺 失值.............................................. 85 5 .3 . 2 测试算法：用10呂丨81丨<;回归 进行分类......................................86 5 . 4 本章小结................................................. 88 第6 章支持向量机.......................................89 6 . 1 基于最大间隔分隔数据...........................89 6 . 2 寻找最大间隔..........................................91 6.2.1 分类器求解的优化问题.............. 92 6.2.2 8乂况[应用的一般框架................ 93 6.3 8^«)高效优化算法.................................94 6.3.1 Platt ¢^} S M O # i i ...................... 94 6 .3 . 2 应用简化版8^«)算法处理小 规模数据集..................................94 6 . 4 利用完整？如1 8 ^« )算法加速优化........99 6 . 5 在复杂数据上应用核函数.................... 105 6 .5 . 1 利用核函数将数据映射到高维 空间...........................................106 6 .5 . 2 径向基核函数................... ..106 6.5.3 在测试中使用核函数................ 108 6 . 6 示例：手写识别问题回顾.................... 111 6.7 本章小结...............................................113 第7 章利用AdaBoost元算法提高分类 赌....................... 7 . 1 基于数据集多重抽样的分类器............ 7.1.1 bagging：墓于数掘随机重抽 样的分类器构建方法................ 7.1.2 boosting...................................... 7 . 2 训练算法：基于错误提升分类器的 , 隨................................................................. 7 . 3 基于单层决策树构建弱分类器............ 7 . 4 完整AdaBoost算法的实现.................. 122 7 . 5 测试算法：基于八加8 0呢1的分类……124 7 . 6 示例：在一个难数据集上应用 AdaBoost...............................................125 7 . 7 非均衡分类问题....................................127 7.7.1其他分类性能度量指标：正确率、 召回率及尺0 (：曲线................. 128 7 .7 . 2 基于代价函数的分类器决策 控制...........................................131 7 .7 . 3 处理非均衡问题的数据抽样 方法...........................................132 7.8 本章小结...............................................132 第二部分利用回归预测数值型数据 第8 章预测数值型数据：回归.............. 136 8 . 1 用线性回归找到最佳拟合直线............ 136 录 XV 8 . 2 局部加权线性回归............................... 141 8 . 3 示例：预测鲍鱼的年龄........................ 145 8 . 4 缩减系数来“理解”数据.................... 146 8.4.1 岭回归........................................146 8.4.2 lasso............................................148 8.4.3 前向逐步回归............................ 149 8 . 5 权衡偏差与方差....................................152 8 . 6 示例：预测乐髙玩具套装的价格......... 153 8 . 6 . 1 收集数据：使用000816购物 的 A P I........................................153 8 .6 . 2 训练算法：建立模型................ 155 8.7 本章小结................................................158 第9章树回归..............................................159 9 . 1 复杂数据的局部性建模........................ 159 9 . 2 连续和离散型特征的树的构建............ 160 9 . 3 将匚八尺丁算法用于回归....................... 163 9.3.1 构建树........................................163 9.3.2 运行代码....................................165 9 . 4 树剪枝....................................................167 9.4.1 预剪枝........................................167 9.4.2 后努枝........................................168 9 . 5 模型树....................................................1 9 . 6 示例：树回归与标准回归的比较......... 1 9.7 使用 Python 的 Tkinter 库创建 GUI.....1 9.7.1 用丁^ 泔61创建0 ^ .................. 1 9.7.2 集成 Matplotlib 和 Tkinter........1 9.8 本章小结................................................182 第三部分无监督学习 第10章利用K-均值聚类算法对未标注 数据分组.......................................184 10.1 K-均值聚类算法..................................185 1 0 . 2 使用后处理来提高聚类性能.............. 189 10.3 二分艮-均值算法............................... 190 1 0 . 4 示例：对地图上的点进行聚类.......... 193 10.4.1 Yahoo! PlaceFinder API........194 1 0 .4 .2对地理坐标进行聚类............ 196 10.5 本章小结..............................................198 第1 1章使用Apriori算法进行关联 分析...................... 200 1 1 . 1 关联分析..............................................201 1 1 .2 人卩^0^原理.........................................202 1 1 . 3 使用Apriori算法来发现频繁集........204 11.3.1 生成候选项集................... --2 0 4 11.3.2 组织完整的人口^0 :丨算法.……207 1 1 .4 从频繁项集中挖掘关联规则.............. 209 1 1 .5 示例：发现国会投票中的模式.......... 212 1 1 .5 .1收集数据：构建美国国会 投票记录的事务数据集........213 1 1 .5 .2测试算法：基于美国国会 投票记录挖掘关联规则........219 1 1 .6 示例：发现毒蘑菇的相似特征.......... 220 11.7 本章小结..............................................221 第1 2章使用FP-growth算法来高效 发现频繁项集..............................223 12.1 ? ?树：用于编码数据集的有效 方式.....................................................224 12.2 构建？卩树...........................................225 1 2 .2 .1创建？？树的数据结构............ 226 12.2.2 构建卩卩树................................227 1 2 . 3 从一棵？？树中挖掘频繁项集............ 231 12.3.1 抽取条件模式基...................... 231 12.3.2 创建条件？卩树........................232 1 2 . 4 示例：在Twitter源中发现一些 共现词.................................................. 235 1 2 .5 示例：从新闻网站点击流中挖掘……238 12.6 本章小结..............................................239 第四部分其他工具 第1 3章利用卩〇八来简化数据............... 242 1 3 . 1 降维技术..............................................242 13.2 PCA.....................................................243 13.2.1 移动坐标轴............................243 13.2.2 在> ^ 0 ^ ^中实现？0八......... 246 1 3 .3 示例：利用？0六对半导体制造数据 降维.....................;........ ......................248 13.4 本章小结..............................................251 XVI 目 录 第14章利用5乂0 简化数据................... 252 14.1 8乂0 的应用.........................................252 14.1.1 隐性语义索引....................... 253 14.1.2 推荐系统................................253 1 4 .2 矩阵分解..............................................254 14.3 利用 Python 实现 SVD....................... 255 1 4 . 4 基于协同过滤的推荐引擎.................. 257 1 4 .4 .1相似度计算............................257 1 4 .4 .2基于物品的相似度还是基于 用户的相似度？ .................... 260 1 4 .4 .3推荐引擎的评价.................... 260 1 4 .5 示例：餐馆菜肴推荐引擎.................. 260 1 4 .5 .1推荐未尝过的菜肴................ 261 1 4 .5 .2利用8 ¥ 0提高推荐的效果〜_263 1 4 .5 .3构建推荐引擎面临的挑战••…265 1 4 . 6 基于8乂0 的图像压缩.........................266 14.7 本章小结..............................................268 第15章大数据与MapReduce.............. 270 15.1 MapReduce:分布式计算的框架....... 271 15.2 HadoopM............................................273 1 5 .2 .1分布式计算均值和方差 的 mapper...............................273 1 5 .2 .2分布式计算均值和方差 的 reducer...............................274 1 5 . 3 在Amazon网络服务上运行Hadoop 程序.....................................................275 1 5 .3 .1八评呂上的可用服务......... _'""276 1 5 .3 .2开启Amazon网络服务之旅〜276 15.3.3 在丑1^«1上运行113£100? 作业........................................278 15.4 MapReduce 上的机器学习....... ..........282 1 5 .5 在？> ^ 1 ^中使用啤01)来自动 化 MapReduce.....................................283 15.5.1 mrjob与EMR的无缝集成……283 15.5.2 mrjob 的一个 MapReduce 脚 本剖析....................................284 1 5 .6 示例：分布式SVM的Pegasos 算法.....................................................286 15.6.1 ?6吕8808算法......................... 287 1 5 .6 .2训练算法：用爪加1)实现 MapReduce 版本的 SVM.……288 1 5 .7 你真的需要^ ^? « ^如。6吗？ ............ 292 1 5 .8 本章小结................ .............................292 附录八 P y t h o n A n ....................................294 附录日线性代数..........................................303 附录〇概率论复习............... ._....................309 附录0 资源..................................................312 胃弓1................................................................... 313 版权声明........................................................... 316