数据分析--分析方法.docx

数据分析--分析方法 各种分析方法 逻辑回归分析 什么是逻辑回归？ Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalized linear model）。 这一家族中的模型形式基本上都差不多，不同的就是因变量不同。 如果是连续的，就是多重线性回归； 如果是二项分布，就是Logistic回归； 如果是Poisson分布，就是Poisson回归； 如果是负二项分布，就是负二项回归。 Logistic回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释。所以实际中最常用的就是二分类的Logistic回归。 Logistic回归的主要用途： 寻找危险因素：寻找某一疾病的危险因素等； 预测：根据模型，预测在不同的自变量情况下，发生某病或某种情况的概率有多大； 判别：实际上跟预测有些类似，也是根据模型，判断某人属于某病或属于某种情况的概率有多大，也就是看一下这个人有多大的可能性是属于某病。 数据分析--分析方法全文共17页，当前为第1页。Logistic回归主要在流行病学中应用较多，比较常用的情形是探索某疾病的危险因素，根据危险因素预测某疾病发生的概率，等等。例如，想探讨胃癌发生的危险因素，可以选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群肯定有不同的体征和生活方式等。这里的因变量就是是否胃癌，即"是"或"否"，自变量就可以包括很多了，例如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量既可以是连续的，也可以是分类的。 数据分析--分析方法全文共17页，当前为第1页。 Logistic Regression的具体过程，包括：选取预测函数，求解Cost函数和J(θ)，梯度下降法求J(θ)的最小值，以及递归下降过程的向量化（vectorization）。 基本原理 Logistic Regression和Linear Regression的原理是相似的，按照我自己的理解，可以简单的描述为这样的过程： （1）找一个合适的预测函数（Andrew Ng的公开课中称为hypothesis（假设）），一般表示为h函数，该函数就是我们需要找的分类函数，它用来预测输入数据的判断结果。这个过程时非常关键的，需要对数据有一定的了解或分析，知道或者猜测预测函数的"大概"形式，比如是线性函数还是非线性函数。 （2）构造一个Cost函数（损失函数），该函数表示预测的输出（h）与训练数据类别（y）之间的偏差，可以是二者之间的差（h-y）或者是其他的形式。综合考虑所有训练数据的"损失"，将Cost求和或者求平均，记为J(θ)函数，表示所有训练数据预测值与实际类别的偏差。 （3）显然，J(θ)函数的值越小表示预测函数越准确（即h函数越准确），所以这一步需要做的是找到J(θ)函数的最小值。找函数的最小值有不同的方法，Logistic Regression实现时有的是梯度下降法（Gradient Descent）。 具体过程 （1）构造预测函数 Logistic回归虽然名字里带"回归"，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别），所以利用了Logistic函数（或称为Sigmoid函数），函数形式为： Sigmoid 函数是一个取值在0和1之间的S型曲线，如下图所示： 数据分析--分析方法全文共17页，当前为第2页。下面左图是一个线性的决策边界，右图是非线性的决策边界。 数据分析--分析方法全文共17页，当前为第2页。 对于线性边界的情况，边界形式如下： 构造预测函数为： 函数的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为： （2）构造Cost函数 Cost函数和J函数如下，它们是基于最大似然估计推导得到的。 （3）梯度下降法求J(θ)的最小值 求J(θ)的最小值可以使用梯度下降法，根据梯度下降法可得θ的更新过程： 事实上，采用梯度上升法和梯度下降法是完全一样的，这也是《机器学习实战》中采用梯度上升法的原因。 数据分析--分析方法全文共17页，当前为第3页。（4）梯度下降过程向量化 数据分析--分析方法全文共17页，当前为第3页。 《机器学习实战》中给出的实现代码确是实现了vectorization的，图所示代码的32行中weights（也就是θ）的更新只用了一行代码，直接通过矩阵或者向量计算更新，没有用for循环，说明确实实现了vectorization。 约定训练数据的矩阵形式如下，x的每一行为一条训练样本，而每一列为不同的特称取值： 约定待求的参数θ的矩阵形式为： θ更新过程可以改为： 综上所述，Vectorizati