4-from-linear-regression-to-logistic-regression.zip

从线性回归到逻辑回归

在第2章，线性回归里面，我们介绍了一元线性回归，多元线性回归和多项式回归。这些模型都是广

义线性回归模型的具体形式，广义线性回归是一种灵活的框架，比普通线性回归要求更少的假设。这

一章，我们讨论广义线性回归模型的具体形式的另一种形式，逻辑回归（logistic regression）。

和前面讨论的模型不同，逻辑回归是用来做分类任务的。分类任务的目标是找一个函数，把观测值匹

配到相关的类和标签上。学习算法必须用成对的特征向量和对应的标签来估计匹配函数的参数，从而

实现更好的分类效果。在二元分类（binary classification）中，分类算法必须把一个实例配置两个类

别。二元分类案例包括，预测患者是否患有某种疾病，音频中是否含有人声，杜克大学男子篮球队在

都服从正态分布。比如，人类的身高就服从正态分布，姚明那样的高度极少，在99%之外了。

在某些问题里，响应变量不是正态分布的。比如，掷一个硬币获取正反两面的概率分布是伯努力分布

（Bernoulli distribution），又称两点分布或者0-1分布。表示一个事件发生的概率是 ，不发生的概

率是 ，概率在{0,1}之间。线性回归假设解释变量值的变化会引起响应变量值的变化，如果响

应变量的值是概率的，这条假设就不满足了。广义线性回归去掉了这条假设，用一个联连函数(link

function)来描述解释变量与响应变量的关系。实际上，在第2章，线性回归里面，我们已经用了联连

函数。普通线性回归作为广义线性回归的特例使用的是恒等联连函数(identity link function)，将解释

变量的通过线性组合的方式来联接服从正态分布的响应变量。如果响应变量不服从正态分布，就要用

另外一种联连函数了。

在逻辑回归里，响应变量描述了类似于掷一个硬币结果为正面的概率。如果响应变量等于或超过了指

我们可以用UCI Machine Learning Repository

(http://archive.ics.uci.edu/ml/datasets/SMS+Spam+Collection)的短信垃圾分类数据集（SMS Spam

Classification Data Set）。首先，我们还是用Pandas做一些描述性统计：

用0标记，spam短信用1标记。观察数据会看到更多建模时需要的信息。下面的几条信息体现两种类

型的特征：

Spam: Free entry in 2 a wkly comp to win FA Cup final tkts 21st May

Text FA to 87121 to receive entry question(std txt rate)T&C's apply 08452810075over18's

Spam: WINNER!! As a valued network customer you have been selected to receivea £900

prize reward! To claim call 09061701461. Claim code KL341. Valid 12 hours only.

Ham: Sorry my roommates took forever, it ok if I come by now?

Ham: Finished class where are you.

让我们用LogisticRegression类来预测：

（25%）：

然后，我们建一个TfidfVectorizer实例来计算TF-IDF权重：

最后，我们建一个LogisticRegression实例来训练模型。和LinearRegression类

似，LogisticRegression同样实现了fit()和predict()方法。最后把结果打印出来看看：

分类模型的运行效果如何？有线性回归的度量方法在这里不太适用了。我们感兴趣的是分类是否正确

（如第一章介绍的肿瘤预测问题），并不在乎它的决策范围。下面，我们来介绍二元分类的效果评估

方法。

二元分类效果评估方法

二元分类的效果评估方法有很多，常见的包括第一章里介绍的肿瘤预测使用的准确率（accuracy），

精确率（precision）和召回率（recall）三项指标，以及综合评价指标（F1 measure）， ROC AUC

值（Receiver Operating Characteristic ROC，Area Under Curve，AUC）。这些指标评价的样本分

类是真阳性（true positives），真阴性（true negatives），假阳性（false positives），假阴性

（false negatives）。阳性和阴性指分类，真和假指预测的正确与否。