python代码实现逻辑回归logistic原理
121 浏览量
2020-09-18
21:50:21
上传
评论 1
收藏 175KB PDF 举报
python代码实现逻辑回归代码实现逻辑回归logistic原理原理
主要介绍了python代码实现逻辑回归logistic原理，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要
的朋友们下面随着小编来一起学习学习吧
Logistic Regression Classifier逻辑回归主要思想就是用最大似然概率方法构建出方程，为最大化方程，利用牛顿梯度上升求解方程参数。
优点：计算代价不高，易于理解和实现。
缺点：容易欠拟合，分类精度可能不高。
使用数据类型：数值型和标称型数据。
介绍逻辑回归之前，我们先看一问题，有个黑箱，里面有白球和黑球，如何判断它们的比例。
我们从里面抓3个球，2个黑球，1个白球。这时候，有人就直接得出了黑球67%，白球占比33%。这个时候，其实这个人使用了最大似然概率最大似然概率的思想，通俗来
讲，当黑球是67%的占比的时候，我们抓3个球，出现2黑1白的概率最大。我们直接用公式来说明。
假设黑球占比为P，白球为1-P。于是我们要求解MAX(PP(1-P))，显而易见P=67%（求解方法：对方程求导，使导数为0的P值即为最优解）
我们看逻辑回归，解决的是二分类问题，是不是和上面黑球白球问题很像，是的，逻辑回归也是最大似然概率来求解。
假设我们有n个独立的训练样本{(x1, y1) ,(x2, y2),…, (xn, yn)}，y={0, 1}。那每一个观察到的样本(xi, yi)出现的概率是：
上面为什么是这样呢？当y=1的时候，后面那一项是不是没有了，那就只剩下x属于1类的概率，当y=0的时候，第一项是不是没有了，那就只剩下后面那个x属于
0的概率（1减去x属于1的概率）。所以不管y是0还是1，上面得到的数，都是(x, y)出现的概率。那我们的整个样本集，也就是n个独立的样本出现的似然函数为
（因为每个样本都是独立的，所以n个样本出现的概率就是他们各自出现的概率相乘）：
这里我们稍微变换下L(θ)：取自然对数，然后化简（不要看到一堆公式就害怕哦，很简单的哦，只需要耐心一点点，自己动手推推就知道了。注：有xi的时候，
表示它是第i个样本，下面没有做区分了，相信你的眼睛是雪亮的），得到：
其中第三步到第四步使用了下面替换。
这时候为求最大值，对L(θ)对θ求导，得到：
然后我们令该导数为0，即可求出最优解。但是这个方程是无法解析求解（这里就不证明了）。
最后问题变成了，求解参数使方程L最大化，求解参数的方法梯度上升法（原理这里不解释了，看详细的代码的计算方式应该更容易理解些）。
根据这个转换公式
我们代入参数和特征，求P，也就是发生1的概率。
资源评论
