机器学习算法Python实现
=========
[![MIT license](https://img.shields.io/dub/l/vibe-d.svg)](https://github.com/lawlite19/MachineLearning_Python/blob/master/LICENSE)
## 目录
* [机器学习算法Python实现](#机器学习算法python实现)
* [一、线性回归](#一-线性回归)
* [1、代价函数](#1-代价函数)
* [2、梯度下降算法](#2-梯度下降算法)
* [3、均值归一化](#3-均值归一化)
* [4、最终运行结果](#4-最终运行结果)
* [5、使用scikit-learn库中的线性模型实现](#5-使用scikit-learn库中的线性模型实现)
* [二、逻辑回归](#二-逻辑回归)
* [1、代价函数](#1-代价函数)
* [2、梯度](#2-梯度)
* [3、正则化](#3-正则化)
* [4、S型函数(即)](#4-s型函数即)
* [5、映射为多项式](#5-映射为多项式)
* [6、使用的优化方法](#6-使用的优化方法)
* [7、运行结果](#7-运行结果)
* [8、使用scikit-learn库中的逻辑回归模型实现](#8-使用scikit-learn库中的逻辑回归模型实现)
* [逻辑回归_手写数字识别_OneVsAll](#逻辑回归_手写数字识别_onevsall)
* [1、随机显示100个数字](#1-随机显示100个数字)
* [2、OneVsAll](#2-onevsall)
* [3、手写数字识别](#3-手写数字识别)
* [4、预测](#4-预测)
* [5、运行结果](#5-运行结果)
* [6、使用scikit-learn库中的逻辑回归模型实现](#6-使用scikit-learn库中的逻辑回归模型实现)
* [三、BP神经网络](#三-bp神经网络)
* [1、神经网络model](#1-神经网络model)
* [2、代价函数](#2-代价函数)
* [3、正则化](#3-正则化)
* [4、反向传播BP](#4-反向传播bp)
* [5、BP可以求梯度的原因](#5-bp可以求梯度的原因)
* [6、梯度检查](#6-梯度检查)
* [7、权重的随机初始化](#7-权重的随机初始化)
* [8、预测](#8-预测)
* [9、输出结果](#9-输出结果)
* [四、SVM支持向量机](#四-svm支持向量机)
* [1、代价函数](#1-代价函数)
* [2、Large Margin](#2-large-margin)
* [3、SVM Kernel(核函数)](#3-svm-kernel核函数)
* [4、使用中的模型代码](#4-使用中的模型代码)
* [5、运行结果](#5-运行结果)
* [五、K-Means聚类算法](#五-k-means聚类算法)
* [1、聚类过程](#1-聚类过程)
* [2、目标函数](#2-目标函数)
* [3、聚类中心的选择](#3-聚类中心的选择)
* [4、聚类个数K的选择](#4-聚类个数k的选择)
* [5、应用——图片压缩](#5-应用图片压缩)
* [6、使用scikit-learn库中的线性模型实现聚类](#6-使用scikit-learn库中的线性模型实现聚类)
* [7、运行结果](#7-运行结果)
* [六、PCA主成分分析(降维)](#六-pca主成分分析降维)
* [1、用处](#1-用处)
* [2、2D-->1D,nD-->kD](#2-2d-1dnd-kd)
* [3、主成分分析PCA与线性回归的区别](#3-主成分分析pca与线性回归的区别)
* [4、PCA降维过程](#4-pca降维过程)
* [5、数据恢复](#5-数据恢复)
* [6、主成分个数的选择(即要降的维度)](#6-主成分个数的选择即要降的维度)
* [7、使用建议](#7-使用建议)
* [8、运行结果](#8-运行结果)
* [9、使用scikit-learn库中的PCA实现降维](#9-使用scikit-learn库中的pca实现降维)
* [七、异常检测 Anomaly Detection](#七-异常检测-anomaly-detection)
* [1、高斯分布(正态分布)](#1-高斯分布正态分布)
* [2、异常检测算法](#2-异常检测算法)
* [3、评价的好坏,以及的选取](#3-评价的好坏以及的选取)
* [4、选择使用什么样的feature(单元高斯分布)](#4-选择使用什么样的feature单元高斯分布)
* [5、多元高斯分布](#5-多元高斯分布)
* [6、单元和多元高斯分布特点](#6-单元和多元高斯分布特点)
* [7、程序运行结果](#7-程序运行结果)
[注]:吴恩达(Andrew Ng)在coursera的机器学习课程习题的python实现, 目前包括ex1, ex2, ex3, ex4, ex5,ex6.python代码是完全根据matlib代码修改而来,几乎一一对应。
## 一、[线性回归](/LinearRegression)
- [全部代码](/LinearRegression/LinearRegression.py)
### 1、代价函数
- ![J(\theta ) = \frac{1}{{2{\text{m}}}}\sum\limits_{i = 1}^m {{{({h_\theta }({x^{(i)}}) - {y^{(i)}})}^2}} ](http://chart.apis.google.com/chart?cht=tx&chs=1x0&chf=bg,s,FFFFFF00&chco=000000&chl=J%28%5Ctheta%20%29%20%3D%20%5Cfrac%7B1%7D%7B%7B2%7B%5Ctext%7Bm%7D%7D%7D%7D%5Csum%5Climits_%7Bi%20%3D%201%7D%5Em%20%7B%7B%7B%28%7Bh_%5Ctheta%20%7D%28%7Bx%5E%7B%28i%29%7D%7D%29%20-%20%7By%5E%7B%28i%29%7D%7D%29%7D%5E2%7D%7D%20)
- 其中:
![{h_\theta }(x) = {\theta _0} + {\theta _1}{x_1} + {\theta _2}{x_2} + ...](http://chart.apis.google.com/chart?cht=tx&chs=1x0&chf=bg,s,FFFFFF00&chco=000000&chl=%7Bh_%5Ctheta%20%7D%28x%29%20%3D%20%7B%5Ctheta%20_0%7D%20%2B%20%7B%5Ctheta%20_1%7D%7Bx_1%7D%20%2B%20%7B%5Ctheta%20_2%7D%7Bx_2%7D%20%2B%20...)
- 下面就是要求出theta,使代价最小,即代表我们拟合出来的方程距离真实值最近
- 共有m条数据,其中![{{{({h_\theta }({x^{(i)}}) - {y^{(i)}})}^2}}](http://chart.apis.google.com/chart?cht=tx&chs=1x0&chf=bg,s,FFFFFF00&chco=000000&chl=%7B%7B%7B%28%7Bh_%5Ctheta%20%7D%28%7Bx%5E%7B%28i%29%7D%7D%29%20-%20%7By%5E%7B%28i%29%7D%7D%29%7D%5E2%7D%7D)代表我们要拟合出来的方程到真实值距离的平方,平方的原因是因为可能有负值,正负可能会抵消
- 前面有系数`2`的原因是下面求梯度是对每个变量求偏导,`2`可以消去
- 实现代码:
```
# 计算代价函数
def computerCost(X,y,theta):
m = len(y)
J = 0
J = (np.transpose(X*theta-y))*(X*theta-y)/(2*m) #计算代价J
return J
```
- 注意这里的X是真实数据前加了一列1,因为有theta(0)
### 2、梯度下降算法
- 代价函数对![{{\theta _j}}](http://chart.apis.google.com/chart?cht=tx&chs=1x0&chf=bg,s,FFFFFF00&chco=000000&chl=%7B%7B%5Ctheta%20_j%7D%7D)求偏导得到:
![\frac{{\partial J(\theta )}}{{\partial {\theta _j}}} = \frac{1}{m}\sum\limits_{i = 1}^m {[({h_\theta }({x^{(i)}}) - {y^{(i)}})x_j^{(i)}]} ](http://chart.apis.google.com/chart?cht=tx&chs=1x0&chf=bg,s,FFFFFF00&chco=000000&chl=%5Cfrac%7B%7B%5Cpartial%20J%28%5Ctheta%20%29%7D%7D%7B%7B%5Cpartial%20%7B%5Ctheta%20_j%7D%7D%7D%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%5Csum%5Climits_%7Bi%20%3D%201%7D%5Em%20%7B%5B%28%7Bh_%5Ctheta%20%7D%28%7Bx%5E%7B%28i%29%7D%7D%29%20-%20%7By%5E%7B%28i%29%7D%7D%29x_j%5E%7B%28i%29%7D%5D%7D%20)
- 所以对theta的更新可以写为:
![{\theta _j} = {\theta _j} - \alpha \frac{1}{m}\sum\limits_{i = 1}^m {[({h_\theta }({x^{(i)}}) - {y^{(i)}})x_j^{(i)}]} ](http://chart.apis.google.com/chart?cht=tx&chs=1x0&chf=bg,s,FFFFFF00&chco=000000&chl=%7B%5Ctheta%20_j%7D%20%3D%20%7B%5Ctheta%20_j%7D%20-%20%5Calpha%20%5Cfrac%7B1%7D%7Bm%7D%5Csum%5Climits_%7Bi%20%3D%201%7D%5Em%20%7B%5B%28%7Bh_%5Ctheta%20%7D%28%7Bx%5E%7B%28i%29%7D%7D%29%20-%20%7By%5E%7B%28i%29%7D%7D%29x_j%5E%7B%28i%29%7D%5D%7D%20)
- 其中![\alpha ](http://chart.apis.google.com/chart?cht=tx&chs=1x0&chf=bg,s,FFFFFF00&chco=000000&chl=%5Calpha%20)为学习速率,控制梯度下降的速度,一般取**0.01,0.03,0.1,0.3.....**
- 为什么梯度下降可以逐步减小代价函数
- 假设函数`f(x)`
- 泰勒展开:`f(x+△x)=f(x)+f'(x)*△x+o(△x)`
- 令:`△x=-α*f'(x)` ,即负梯度方向乘以一个很小的步长`α`
- 将`△x`代入泰勒展开式中:`f(x+△x)=f(x)-α*[f'(x)]²+o(△x)`
- 可以看出,`α`是取得很小的正数,`[f'(x)]²`也是正数,所以可以得出:`f(x+△x)<=f(x)`
- 所以沿着**负梯度**放下,函数在减小,多维情况一样。
- 实现代码
```
# 梯度下降算法
def gradientDescent(X,y,theta,alpha,num_iters):
m = len(y)
n = len(theta)
temp = np.matrix(np.zeros((n,num_iters))) # 暂存每次迭代计算的theta,转化为矩阵形式
J_history = np.zeros((num_iters,1)) #记录每次�
没有合适的资源?快使用搜索试试~ 我知道了~
吴恩达(Andrew Ng)在coursera的机器学习课程习题的python实现.zip
共95个文件
png:59个
py:9个
wmf:7个
需积分: 5 0 下载量 118 浏览量
2024-02-22
09:25:57
上传
评论
收藏 32.64MB ZIP 举报
温馨提示
吴恩达(Andrew Ng)在coursera的机器学习课程习题的python实现
资源推荐
资源详情
资源评论
收起资源包目录
吴恩达(Andrew Ng)在coursera的机器学习课程习题的python实现.zip (95个子文件)
kwan1117
multi_class_logistic
class_y.csv 161KB
multi_class.py 4KB
running_process.html 68KB
111.html 74KB
ex3data1.mat 7.16MB
linear
linear_scikit 1KB
ex1data1.txt 1KB
ex1data2.txt 657B
linear_multi.py 2KB
linear.py 2KB
LICENSE 1KB
bias_variance
test1.py 4KB
ex5data1.mat 1KB
bias_variance.py 6KB
neural_network
nn.py 2KB
ex4weights.mat 78KB
ex4data1.mat 7.16MB
ex3data1.mat 7.16MB
ex3weights.mat 78KB
nn_ex4.py 12KB
logistic
ex2data2.txt 2KB
logistic.py 3KB
output_0_1.png 6KB
ex2data1.txt 4KB
logistic_scikit.py 516B
output_0_2.png 6KB
README.md 4KB
output_0_3.png 10KB
images
AnomalyDetection_01.png 7KB
LogisticRegression_02.png 16KB
PCA_03.png 16KB
LinearRegression_01.png 21KB
IMG_2759.JPG 1.66MB
SVM_06.png 7KB
NeuralNetwork_05.png 43KB
LogisticRegression_06.png 45KB
K-Means_01.png 21KB
K-Means_07.png 2KB
NeuralNetwork_01.png 24KB
AnomalyDetection_08.png 23KB
AnomalyDetection_10.png 23KB
LogisticRegression_10.png 18KB
PCA_08.png 266KB
LogisticRegression_12.png 32KB
LogisticRegression_04.png 39KB
NeuralNetwork_03.jpg 4.59MB
SVM_02.png 12KB
NeuralNetwork_09.png 7KB
SVM_08.png 21KB
PCA_07.png 121KB
AnomalyDetection_04.png 9KB
SVM_03.png 14KB
PCA_06.png 164KB
PCA_02.png 7KB
LogisticRegression_07.png 11KB
LogisticRegression_08.png 153KB
SVM_07.png 19KB
LogisticRegression_13.png 5KB
SVM_10.png 101KB
PCA_04.png 16KB
K-Means_04.png 16KB
AnomalyDetection_07.png 6KB
K-Means_03.png 27KB
SVM_05.png 15KB
LogisticRegression_09.png 85KB
K-Means_05.png 30KB
NeuralNetwork_02.png 6KB
AnomalyDetection_06.png 4KB
NeuralNetwork_06.png 83KB
AnomalyDetection_03.png 18KB
LogisticRegression_05.png 7KB
LogisticRegression_11.png 10KB
PCA_01.png 21KB
LogisticRegression_01.png 18KB
SVM_09.png 28KB
K-Means_02.png 23KB
K-Means_06.png 157KB
AnomalyDetection_02.png 18KB
SVM_01.png 11KB
NeuralNetwork_04.png 36KB
AnomalyDetection_09.png 60KB
AnomalyDetection_05.png 4KB
LogisticRegression_03.jpg 2.61MB
PCA_05.png 30KB
SVM_04.png 6KB
NeuralNetwork_07.png 110KB
NeuralNetwork_08.png 15KB
README.md 84KB
formula
LogisticRegression_01.wmf 21KB
LinearRegression_01.wmf 10KB
PCA.wmf 28KB
K-Means.wmf 7KB
SVM.wmf 42KB
NeuralNetwork.wmf 34KB
AnomalyDetection.wmf 20KB
共 95 条
- 1
资源评论
Kwan的解忧杂货铺
- 粉丝: 1w+
- 资源: 3625
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功