用Python开始机器学习1

用 Python 开始机器学习（1：配置 windows 平台）

分类： 机器学习 2014-11-13 19:07 1408 人阅读 评论(1) 收藏 举报

使用机器学习的开发工具很多，如 Matlab，R 语言，Python 等等。

本系列文章不会涉及深入的机器学习原理，旨在让你迅速上手，入门 Python 进行机器学

习。

本文提供一系列资源，教你打造一个 Python 机器学习的平台。

1、下载资源

Python

本文以 Python 3.4 为例。当然你可以使用老版本。

scipy：数学库。

scikit-learn：机器学习库。

matplotlib：可视化数据神器。文档和示例地址：http://matplotlib.org/gallery.html

上面的安装文件如果是 exe，会自动帮你拷贝到 python 目录。否则你需要自己拷贝到

python3.4.2\Lib\site-packages 下。

2、测试库

在 python 中使用类似“import matplotlib”的方式来查看库的安装是否正确。提示缺少什么

库，就去上面的神地址里搜索，下载安装。

这几个库装完后，可能会有部分依赖库需要单独安装：

six、nose、pyparsing、dateutil。

sci-learn 教程：http://scikit-learn.org/stable/

windows 下 Python 的 IDE 选择：http://blog.csdn.net/cserchen/article/details/7036435

经典 Python 机器学习入门书籍《机器学习系统设计》的源码和数据：

https://github.com/luispedro/BuildingMachineLearningSystemsWithPython/tree/master/ch

02

用 Python 开始机器学习（2：决策树分类算法）

分类： 机器学习 2014-11-18 01:05 3001 人阅读 评论(2) 收藏 举报

目录(?)[+]

从这一章开始进入正式的算法学习。

首先我们学习经典而有效的分类算法：决策树分类算法。

J. Ross Quinlan 在 1975 提出将信息熵的概念引入决策树的构建，这就是鼎鼎大名的 ID3

算法。后续的 C4.5, C5.0, CART 等都是该方法的改进。

熵就是“无序，混乱”的程度。刚接触这个概念可能会有些迷惑。想快速了解如何用信息熵

增益划分属性，可以参考这位兄弟的文章：

http://blog.csdn.net/alvine008/article/details/37760639

如果还不理解，请看下面这个例子。

假设要构建这么一个自动选好苹果的决策树，简单起见，我只让他学习下面这 4 个样本：

[plain] view plaincopy

本例仅 2 个属性。那么很自然一共就只可能有 2 棵决策树，如下图所示：

显然左边先使用 A0（红色）做划分依据的决策树要优于右边用 A1（大小）做划分依据的

决策树。

当然这是直觉的认知。定量的考察，则需要计算每种划分情况的信息熵增益。

先选 A0 作划分，各子节点信息熵计算如下：

0，1 叶子节点有 2 个正例，0 个负例。信息熵为：e1 = -(2/2 * log(2/2) + 0/2 * log(0/2)) =

0。

2，3 叶子节点有 0 个正例，2 个负例。信息熵为：e2 = -(0/2 * log(0/2) + 2/2 * log(2/2)) =

0。

因此选择 A0 划分后的信息熵为每个子节点的信息熵所占比重的加权和：E = e1*2/4 +

1，3 子节点有 1 个正例，1 个负例。信息熵为：e2 = -(1/2 * log(1/2) + 1/2 * log(1/2)) =

1。

因此选择 A1 划分后的信息熵为每个子节点的信息熵所占比重的加权和：E = e1*2/4 +

e2*2/4 = 1。也就是说分了跟没分一样！

选择 A1 做划分的信息熵增益 G（S, A1）=S - E = 1 - 1 = 0.

因此，每次划分之前，我们只需要计算出信息熵增益最大的那种划分即可。

2、数据集

为方便讲解与理解，我们使用如下一个极其简单的测试数据集：

[plain] view plaincopy

这个数据一共有 10 个样本，每个样本有 2 个属性，分别为身高和体重，第三列为类别标签，

表示“胖”或“瘦”。该数据保存在 1.txt 中。

我们的任务就是训练一个决策树分类器，输入身高和体重，分类器能给出这个人是胖子还

是瘦子。

（数据是作者主观臆断，具有一定逻辑性，但请无视其合理性）

决策树对于“是非”的二值逻辑的分枝相当自然。而在本数据集中，身高与体重是连续值怎

么办呢？

虽然麻烦一点，不过这也不是问题，只需要找到将这些连续值划分为不同区间的中间点，

就转换成了二值逻辑问题。