# Machine-Learning (Zhou Zhihua)（周志华《机器学习》课后练习）
-----
My answers (i.e. ideas, code) for the book "Machine Learning (机器学习)" written by Prof. Zhou Zhihua.
ps. all the code exercises are implemented by **Python** in **eclipse-pydev** env.
for more info: welcome to my blog: [PnYuan - 周志华《机器学习》习题解答](https://pnyuan.github.io/blog/categories/%E5%91%A8%E5%BF%97%E5%8D%8E%E3%80%8A%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E3%80%8B%E4%B9%A0%E9%A2%98%E8%A7%A3%E7%AD%94/) and [CSDN - 周志华《机器学习》课后习题解答系列](http://blog.csdn.net/snoopy_yuan/article/details/62045353)
(更新中...2017-7-25)
----
### [Ch6.Support Vector Machine (支持向量机)](./ch6_support_vector_machine/) ###
练习包括(exercises include)：
- 支持向量分析实验([code here](./ch6_support_vector_machine/6.2_SVM_test/))；
- 支持向量机与BP网络/C4.5决策树对比实验（experiment of SVM/BP/C4.5）([code here](./ch6_support_vector_machine/6.3_SVM_compare/))；
- 线性核SVM与LDA的关系（comparison of linear kernel SVM and LDA）；
- 高斯核SVM与RBF网络的关系（comparison of RBF kernel SVM and RBF net）；
- SVM对噪声敏感的原因（reason of noise-sensitive）；
- SVR实验（experiment of SVR）([code here](./ch6_support_vector_machine/6.8_SVR_test/))；
- 核对率回归设计（about kernel logistic regression - KLR）；
### [Ch5.Neural Networks (神经网络)](./ch5_neural_networks/) ###
练习包括(exercises include)：
- 激活函数选择考虑（selection of activation function）；
- Sigmoid激活函数与对率回归的联系（the relationships between Sigmoid() and Logistic Regression）；
- BP算法推导（conduction of BP algorithm）；
- 学习率分析（analysis of learning rate in NN training）；
- 标准BP算法和累积BP算法对比实验（comparative experiment of BP）([code here](./ch5_neural_networks/5.5_BP/))；
- BP算法改进（improvement of BP algorithm）([code here](./ch5_neural_networks/5.6_BP_improve/))；
- RBF神经网络实现（implementation of RBF network）([code here](./ch5_neural_networks/5.7_RBF_BP/))；
- SOM神经网络实验（experiment of SOM network）([code here](./ch5_neural_networks/5.8_SOM/))；
- 卷积神经网络实验 - 字符识别（experiment of CNN on MNIST）([code here](./ch5_neural_networks/5.10_CNN/))；
### [Ch4.Decision Tree (决策树)](./ch4_decision_tree/) ###
练习包括(exercises include)：
- 决策树划分选择准则；
- 编程实现ID3算法（implementation of ID3）([code here](./ch4_decision_tree/4.3_ID3/))；
- 编程实现CART算法与剪枝操作（implementation of CART and pruning）([code here](./ch4_decision_tree/4.4_CART/))；
- 多变量决策树生成方式（multivariate decision tree）；
- 非递归决策树生成方法（generation of decision - non-recursive approach using DFS/BFS）
### [Ch3.Linear Model (线性模型)](./ch3_linear_model/) ###
练习包括(exercises include)：
- 分析偏置项b（bias terms）；
- 证明对数似然是凸函数（convex functions）；
- 编程实现对率回归（implementation of logistic regression）([code here](./ch3_linear_model/3.3_logistic_regression_watermelon/))；
- 实验比较k-fold_CV和LOOCV（analysis of cross-validation）([code here](./ch3_linear_model/3.4_cross_validation/))；
- 编程实现线性判别分析（implementation of LDA）（[code here](./ch3_linear_model/3.5_LDA/)）；
- 线性判别分析的非线性拓展（nonlinear stretching of LDA）；
- 最优ECOC编码方式；
- 多分类到二分类分解时类别不平衡的考虑（class-imbalance）。
### [Ch2.Model Evaluation and Selection (模型评估与选择)](./ch2_model_evaluation_and_selection/) ###
练习包括(exercises include)：
- 分层抽样(stratified sampling)划分训练集与测试集；
- 留一法(leave-one-out)与k-折交叉验证法(k-fold cross validation)比较;
- F1值与BEP的关联;
- TPR、FPR、P、R之间的关联;
- AUC推导;
- 错误率与ROC的关系
- ROC曲线与代价曲线(cost-curve)的对应关系;
### [Ch1.Introduction (绪论)](./ch1_introduction/) ###
练习包括(exercises include)：
- 求版本空间(version space)；
- 析合范式(disjunctive normal form)提升假设空间(hypothesis space)；
- 噪声环境(noise)下归纳偏好(inductive bias)考虑；
机器学习西瓜书习题代码部分实现 （224个子文件） 
watermelon_4_2.csv 1KB watermelon_3.csv 856B watermelon_3.csv 856B watermelon_3.csv 856B watermelon_2.csv 643B watermelon_3a.csv 278B watermelon_3a.csv 278B watermelon_3a.csv 278B datatypes.csv 149B transfusion.data 12KB
周志华《机器学习》课后习题解答系列（六）：Ch5.10 - 卷积神经网络实验.html 19KB 周志华《机器学习》课后习题解答系列（五）：Ch4.3 - 编程实现ID3算法.html 17KB 周志华《机器学习》课后习题解答系列（四）：Ch3.3 - 编程实现对率回归.html 16KB 周志华《机器学习》课后习题解答系列（五）：Ch4 - 决策树.html 16KB 周志华《机器学习》课后习题解答系列（六）：Ch5 - 神经网络.html 14KB 周志华《机器学习》课后习题解答系列（六）：Ch5.8 - SOM网络实验.html 14KB 周志华《机器学习》课后习题解答系列（六）：Ch5.5 - 编程实现BP算法.html 13KB 周志华《机器学习》课后习题解答系列（六）：Ch5.6 - BP算法改进.html 13KB 周志华《机器学习》课后习题解答系列（六）：Ch5.7 - RBF网络实验.html 13KB 周志华《机器学习》课后习题解答系列（五）：Ch4.4 - 编程实现CART算法与剪枝操作.html 12KB 周志华《机器学习》课后习题解答系列（七）：Ch6 - 支持向量机.html 12KB 周志华《机器学习》课后习题解答系列（四）：Ch3.5 - 编程实现线性判别分析.html 12KB 周志华《机器学习》课后习题解答系列（四）：Ch3 - 线性模型.html 12KB 周志华《机器学习》课后习题解答系列（三）：Ch2 - 模型评估与选择.html 11KB 周志华《机器学习》课后习题解答系列（七）：Ch6.3 - SVM对比实验.html 11KB 周志华《机器学习》课后习题解答系列（四）：Ch3.4 - 交叉验证法练习.html 10KB 周志华《机器学习》课后习题解答系列（二）：Ch1 - 绪论.html 8KB 周志华《机器学习》课后习题解答系列（七）：Ch6.2 - 支持向量分析实验.html 8KB Machine-Learning_ZhouZhihua-master.iml 408B
6.9.ans.jpg 293KB IMG_20170316_201041.jpg 288KB 6.1.1.jpg 255KB 1.2.1.jpg 251KB 2.5.1.jpg 158KB 5.8.weights_position.jpg 119KB 5.8.weight.jpg 34KB 5.8.sample_hits.jpg 21KB SOM_net.m 727B 周志华《机器学习》课后习题解答系列（六）：Ch5.10 - 卷积神经网络实验.md 11KB 周志华《机器学习》课后习题解答系列（五）：Ch4.3 - 编程实现ID3算法.md 10KB 周志华《机器学习》课后习题解答系列（四）：Ch3.3 - 编程实现对率回归.md 10KB 周志华《机器学习》课后习题解答系列（五）：Ch4 - 决策树.md 9KB 周志华《机器学习》课后习题解答系列（六）：Ch5.5 - 编程实现BP算法.md 7KB 周志华《机器学习》课后习题解答系列（六）：Ch5.8 - SOM网络实验.md 7KB 周志华《机器学习》课后习题解答系列（六）：Ch5 - 神经网络.md 7KB 周志华《机器学习》课后习题解答系列（六）：Ch5.7 - RBF网络实验.md 6KB 周志华《机器学习》课后习题解答系列（六）：Ch5.6 - BP算法改进.md 6KB 周志华《机器学习》课后习题解答系列（五）：Ch4.4 - 编程实现CART算法与剪枝操作.md 6KB 周志华《机器学习》课后习题解答系列（七）：Ch6 - 支持向量机.md 6KB 周志华《机器学习》课后习题解答系列（四）：Ch3.5 - 编程实现线性判别分析.md 5KB 周志华《机器学习》课后习题解答系列（四）：Ch3 - 线性模型.md 5KB 周志华《机器学习》课后习题解答系列（七）：Ch6.3 - SVM对比实验.md 5KB Readme.md 4KB 周志华《机器学习》课后习题解答系列（三）：Ch2 - 模型评估与选择.md 4KB 周志华《机器学习》课后习题解答系列（四）：Ch3.4 - 交叉验证法练习.md 4KB 周志华《机器学习》课后习题解答系列（二）：Ch1 - 绪论.md 2KB 周志华《机器学习》课后习题解答系列（七）：Ch6.2 - 支持向量分析实验.md 2KB transfusion.names 3KB
Error-Correcting Output Codes.pdf 191KB
3.2.1.png 620KB 4.4_decision_tree_CART.png 227KB 4.4_decision_tree_full.png 170KB decision_tree_full.png 169KB 3.4.1.png 127KB 5.8.lateral_inhibition.png 116KB 5.10.CNN_sketch.png 112KB 4.4.1.png 106KB 1.2.png 105KB 5.3.1.png 103KB 5.5.1.png 101KB 4.3.1.png 101KB 5.7.rbf_bp_1.png 97KB 5.7.rbf_fig1.png 75KB 4.3.4.png 73KB 5.7.rbf_bp_2.png 65KB 3.7.1.png 62KB 5.8.som_alg.png 62KB 4.3_decision_tree_ID3.png 56KB 5.8.data.png 54KB 6.2.data.png 54KB 3.3.1.png 54KB 5.6.pairplot.png 52KB 5.6.1.png 51KB 2.8.png 45KB 1.4.png 45KB 3.5.3.2.png 45KB 6.3.scatter.png 42KB 6.2.rbf.png 41KB 5.6.2.png 39KB 5.6.err_curve.png 39KB 4.3.3.png 37KB 4.4_decision_tree_post.png 36KB decision_tree_post.png 36KB 3.5.3.1.png 34KB 5.6.lr_curve_1.png 33KB 5.10.err_curve.png 32KB 5.7.net_fig1.png 31KB 6.3.bp_cog.png 31KB 3.3.4.png 30KB 4.8.png 29KB共 224 条
- 1
- 2
- 3
- 1
- 2
- 3
前往页