Python金融大数据挖掘与分析全流程详解

本书是数据挖掘实战领域颇具特色的一部作品，作者在数据挖掘领域浸淫近10年，本书是他在为10余个行业的数十家大型企业提供数据挖掘服务后的经验总结之作。全书以实践和实用为宗旨，深度与广度兼顾、实践与理论并举。首先，从理论角度讲解了数据挖掘的核心技术、数据挖掘的应用分类、数据挖掘建模的方法等知识，尚未完全掌握数据挖掘基本理论知识的读者可以通过这部分内容弥补和学习；其次，通过来自金融、电信、电力、互联网、生产制造、公共服务等多个领域的近20个完整案例的分析，全面展示了数据挖掘的实际操作与方法，这些案例中的数据完全来自于实际生产环境，实用性非常强；最后，本书还讲解了基于第三方接口的数据挖掘二次开发，以及基于Hadoop框架的海量数据挖掘方法，能满足读者更高层次的需求。 在实践性方面，本书专门提供了一个国内顶尖的数据挖掘平台TipDM，读者可以很好地在这个平台上练习。此外，本书还精心设计了6个动手实验，能进一步增强读者的动手能力。随书光盘中提供了本书的相关资料和案例资源，以及6个动手实验所使用的完整数据，方便读者动手实践书中所讲解的案例。 随着企业的泛互联网化和企业信息化程度的不断提高，大数据的概念被提了出来。在大数据时代，数据自身的价值日益突显，企业对数据也越来越重视。很多企业已经积累了大量的数据，而且数据量每天都在迅速地增加，此时，企业都不同程度地面临着同一个问题：数据过度重复且高度不一致。这个问题导致的直接结果是：企业无法有效管理数据，不知道如何通过这些数据做出正确的决策。为了解决这一问题，企业必须对这些数据进行挖掘。所以，在未来，数据挖掘的需求会越来越大，应用的领域也会越来越广。只有充分挖掘并利用现有数据的企业，才能更好地适应越来越激烈和残酷的市场竞争。 从技术角度来讲，数据挖掘已经是一个非常成熟的传统学科，市面上关于数据挖掘理论和方法论的书非常多，而且不乏经典。但由于这个学科本身比较复杂，且具体的操作与实际的行业环境有很大关系，从业者并不是在掌握了相关的理论之后就能迅速胜任各项实际工作。为了解决这个问题，本书以实践为宗旨，通过分析金融、电信、电力、互联网、生产制造、公共服务等领域近20个完整案例，全面展示了数据挖掘的实际操作与方法。同时，本书系统讲解了数据挖掘的核心技术、应用分类和建模方法，以及基于第三方接口的数据挖掘二次开发和基于Hadoop框架的海量数据挖掘方法。本书非常好地弥补了传统数据挖掘图书重理论而轻实践的不足，能让读者迅速掌握各行业的数据挖掘的方法和技巧。 本书另一个重要特色是，为了便于读者轻松地获取一个真实的实验环境，作者提供了一个顶尖数据挖掘平台TipDM，这个平台在国内已经被广泛使用，读者可以利用光盘中的数据按照书中介绍的方法，一边学习，一边在这个平台上动手实践。此外，本书还设计了6个动手实验，目的是让读者能真正具备实际动手能力。 大数据时代，数据的挖掘与分析已经成为最关键的环节之一。要想在海量数据中获取有价值的信息，必须先对这些数据进行挖掘，然后加以分析。从技术的角度来讲，虽然数据挖掘是一个相对成熟的学科，但是需要处理的数据量、数据格式和企业对数据的要求在不断发展变化，所以数据挖掘的方式和方法也在不断地变化。本书结合当下多个热门行业的需求和实际情况，通过大量案例以及精心设计的几个动手实验，讲解了数据挖掘的具体方法和技巧，非常好地突出了本书的实践性和实用性。此外，本书的理论性也比较完备，并且能够与最新的技术巧妙结合，如Hadoop与数据挖掘相关的内容。如果你是一位数据挖掘工程师或者数据分析师，强烈推荐这本书！ —— EasyHadoop开源技术社区（www.easyhadoop.com）致力于Hadoop的易用和普及。 第一部分　基　础　篇 第1章　初识数据挖掘 2 　 1.1　什么是数据挖掘 2 　 1.2　数据挖掘在企业商务智能应用中的定位 2 　　　 1.2.1　数据挖掘给企业带来最大的投资收益 3 　　　 1.2.2　数据挖掘从本质上提升商务智能平台的价值 3 　　　 1.2.3　数据挖掘让商务智能流程真正形成闭环 4 　 1.3　信息类BI应用与知识类BI应用 5 　 1.4　数据挖掘现状及应用前景 5 　 1.5　本章小结 7 第2章　数据挖掘的应用分类 8 　 2.1　分类与回归 8 　　　 2.1.1　分类与回归建模原理 9 　　　 2.1.2　分类与回归算法 10 　 2.2　聚类 11 　　　 2.2.1　聚类分析建模原理 11 　　　 2.2.2　聚类算法 12 　 2.3　关联规则 13 　　　 2.3.1　什么是关联规则 13 　　　 2.3.2　关联规则算法 14 　 2.4　时序模式 14 　　　 2.4.1　什么是时序模式 14 　　　 2.4.2　时间序列的组合成分 15 　　　 2.4.3　时间序列的组合模型 15 　　　 2.4.4　时序算法 16 　 2.5　偏差检测 16 　 2.6　本章小结 17 第3章　数据挖掘建模 18 　 3.1　数据挖掘的过程 18 　 3.2　数据挖掘建模过程 18 　　　 3.2.1　定义挖掘目标 18 　　　 3.2.2　数据取样 19 　　　 3.2.3　数据探索 20 　　　 3.2.4　预处理 21 　　　 3.2.5　模式发现 23 　　　 3.2.6　模型构建 23 　　　 3.2.7　模型评价 24 　 3.3　常用的建模工具 27 　 3.4　本章小结 29 第4章　顶尖数据挖掘平台TipDM 31 　 4.1　TipDM产品功能 31 　　　 4.1.1　TipDM平台提供的数据探索及预处理算法 31 　　　 4.1.2　TipDM平台提供的分类与回归算法 32 　　　 4.1.3　TipDM平台提供的时序模式算法 34 　　　 4.1.4　TipDM平台提供的聚类分析算法 35 　　　 4.1.5　TipDM平台提供的关联规则算法 35 　 4.2　TipDM使用说明 37 　 4.3　TipDM产品特点 39 　　　 4.3.1　支持CRISP-DM数据挖掘标准流程 39 　　　 4.3.2　提供丰富的数据挖掘模型和灵活算法 40 　　　 4.3.3　具有多模型的整合能力 40 　　　 4.3.4　提供灵活多样的应用开发接口 40 　　　 4.3.5　海量数据的处理能力 40 　　　 4.3.6　适应不同类型层次人员需求 41 　 4.4　本章小结 42 第二部分　实　战　篇 第5章　数据挖掘在金融电信行业的应用 44 　 5.1　案例一：基于公司价值评价的证券策略投资 44 　　　 5.1.1　挖掘目标的提出 44 　　　 5.1.2　分析方法与过程 44 　　　 5.1.3　建模仿真 51 　　　 5.1.4　核心知识点 52 　　　 5.1.5　拓展思考 53 　 5.2　案例二：电信3G客户识别系统 54 　　　 5.2.1　挖掘目标的提出 54 　　　 5.2.2　分析方法与过程 54 　　　 5.2.3　建模仿真 58 　　　 5.2.4　核心知识点 61 　　　 5.2.5　拓展思考 63 　 5.3　案例三：基于客户分群的精准智能营销 64 　　　 5.3.1　挖掘目标的提出 64 　　　 5.3.2　分析方法与过程 65 　　　 5.3.3　建模仿真 75 　　　 5.3.4　核心知识点 81 　　　 5.3.5　拓展思考 82 　 5.4　本章小结 83 第6章　数据挖掘在电力行业的应用 84 　 6.1　案例一：电力负荷预测 84 　　　 6.1.1　挖掘目标的提出 84 　　　 6.1.2　分析方法与过程 85 　　　 6.1.3　建模仿真 90 　　　 6.1.4　核心知识点 94 　　　 6.1.5　拓展思考 95 　 6.2　案例二：自适应防窃漏电实时诊断 96 　　　 6.2.1　挖掘目标的提出 96 　　　 6.2.2　分析方法与过程 96 　　　 6.2.3　建模仿真 107 　　　 6.2.4　核心知识点 110 　　　 6.2.5　扩展思考 111 　 6.3　本章小结 112 第7章　数据挖掘在互联网行业的应用 113 　 7.1　案例一：商业零售行业中的购物篮分析 113 　　　 7.1.1　挖掘目标的提出 113 　　　 7.1.2　分析方法与过程 113 　　　 7.1.3　建模仿真 118 　　　 7.1.4　核心知识点 120 　　　 7.1.5　拓展思考 121 　 7.2　案例二：电子商务网站用户行为分析 124 　　　 7.2.1　挖掘目标的提出 124 　　　 7.2.2　分析方法与过程 124 　　　 7.2.3　建模仿真 129 　　　 7.2.4　核心知识点 132 　　　 7.2.5　拓展思考 132 　 7.3　案例三：网络入侵智能检测 134 　　　 7.3.1　挖掘目标的提出 134 　　　 7.3.2　分析方法与过程 136 　　　 7.3.3　建模仿真 137 　　　 7.3.4　核心知识点 141 　　　 7.3.5　拓展思考 141 　 7.4　案例四：基于用户行为分析的定向网络广告投放 142 　　　 7.4.1　挖掘目标的提出 142 　　　 7.4.2　分析方法与过程 143 　　　 7.4.3　建模仿真 146 　　　 7.4.4　结果及分析 158 　　　 7.4.5　核心知识点 159 　　　 7.4.6　拓展思考 160 　 7.5　案例五：企业信息系统用户服务感知评价 161 　　　 7.5.1　挖掘目标的提出 161 　　　 7.5.2　分析方法与过程 161 　　　 7.5.3　建模仿真 186 　　　 7.5.4　核心知识点 192 　　　 7.5.5　拓展思考 193 　 7.6　本章小结 194 第8章　数据挖掘在生产制造行业中的应用 195 　 8.1　案例一：基于小波变换的桩基完整性检测 195 　　　 8.1.1　挖掘目标的提出 195 　　　 8.1.2　分析方法与过程 196 　　　 8.1.3　仿真过程 202 　　　 8.1.4　核心知识点 204 　　　 8.1.5　拓展思考 204 　 8.2　案例二：基于水色图像的水质评价 205 　　　 8.2.1　挖掘目标的提出 205 　　　 8.2.2　分析方法与过程 206 　　　 8.2.3　建模仿真 210 　　　 8.2.4　核心知识点 213 　　　 8.2.5　拓展思考 214 　 8.3　案例三：生物质废物混合厌氧消化优势组分互补机制 216 　　　 8.3.1　挖掘目标的提出 216 　　　 8.3.2　分析方法与过程 217 　　　 8.3.3　建模仿真 221 　　　 8.3.4　核心知识点 223 　　　 8.3.5　拓展思考 224 　 8.4　案例四：基于RFM的企业客户关系分析 224 　　　 8.4.1　挖掘目标的提出 224 　　　 8.4.2　分析过程与方法 226 　　　 8.4.3　建模仿真 229 　　　 8.4.4　核心知识点 236 　　　 8.4.5　拓展思考 236 　 8.5　案例五：水产养殖投入产出多目标优化仿真 239 　　　 8.5.1　挖掘目标的提出 239 　　　 8.5.2　分析方法与过程 240 　　　 8.5.3　建模仿真 244 　　　 8.5.4　核心知识点 249 　　　 8.5.5　拓展思考 250 　 8.6　本章小结 252 第9章　数据挖掘在公共服务行业的应用 253 　 9.1　案例一：乳腺癌证素变化规律及截断疗法 253 　　　 9.1.1　挖掘目标的提出 253 　　　 9.1.2　分析方法与过程 255 　　　 9.1.3　建模仿真 265 　　　 9.1.4　核心知识点 274 　　　 9.1.5　拓展思考 274 　 9.2　案例二：卷烟消费者购买行为分析 277 　　　 9.2.1　挖掘目标的提出 277 　　　 9.2.2　分析过程与方法 278 　　　 9.2.3　挖掘建模 281 　　　 9.2.4　核心知识点 287 　　　 9.2.5　拓展思考 288 　 9.3　案例三：纳税人偷漏税评估 288 　　　 9.3.1　挖掘目标的提出 288 　　　 9.3.2　分析方法与过程 290 　　　 9.3.3　建模仿真 294 　　　 9.3.4　核心知识点 300 　　　 9.3.5　拓展思考 301 　 9.4　案例四：道路缺陷自动识别 302 　　　 9.4.1　挖掘目标的提出 302 　　　 9.4.2　分析方法与过程 304 　　　 9.4.3　建模仿真 319 　　　 9.4.4　核心知识点 322 　　　 9.4.5　拓展思考 322 　 9.5　案例五：航空公司客运信息挖掘 322 　　　 9.5.1　挖掘目标的提出 322 　　　 9.5.2　分析方法与过程 323 　　　 9.5.3　建模仿真 327 　　　 9.5.4　核心知识点 348 　　　 9.5.5　拓展思考 352 　 9.6　本章小结 353 第10章　动手实践 354 　 10.1　实验一：数据探索及数据预处理 354 　 10.2　实验二：神经网络模型的构建与使用 356 　 10.3　实验三：决策树模型的构建与使用 358 　 10.4　实验四：聚类算法的构建与使用 360 　 10.5　实验五：关联规则模型的构建与使用 361 　 10.6　实验六：时间序列模型的构建与使用 363 　 10.7　本章小结 364 第三部分　高　级　篇 第11章　基于第三方接口的数据挖掘二次开发 366 　 11.1　WEKA数据挖掘接口 366 　　　 11.1.1　WEKA功能及其算法 366 　　　 11.1.2　WEKA包结构 367 　　　 11.1.3　WEKA算法入口 370 　　　 11.1.4　二次开发相关输出 370 　 11.2　MATLAB数据挖掘接口 370 　 11.3　案例：基于MATLAB接口的数据挖掘二次开发 372 　　　 11.3.1　接口算法编程 372 　　　 11.3.2　用Java Builder创建Java组件 385 　　　 11.3.3　安装MATLAB运行时环境 386 　　　 11.3.4　JDK环境及设置 386 　 11.4　本章小结 389 第12章　基于Hadoop框架的海量数据挖掘开发 390 　 12.1　基于云计算的海量数据挖掘技术特点 390 　 12.2　基于Hadoop的并行数据挖掘算法工具箱TipCDM 392 　 12.3　案例：基于海量计量数据的电力客户在线分群方法 392 　　　 12.3.1　挖掘目标的提出 392 　　　 12.3.2　分析方法与过程 393 　　　 12.3.3　建模仿真 399 　　　 12.3.4　核心知识点 400 　 12.4　本章小结 401 参考文献 402