# 深度学习（DL/ML）学习路径
最近几年，尤其是自从2016年Alpha Go打败李世石事件后，人工智能技术受到了各行业极大关注。其中以机器学习技术中深度学习最受瞩目。主要原因是这些技术在科研领域和工业界的应用效果非常好，大幅提升了算法效率、降低了成本。因而市场对相关技术有了如此大的需求。
我在思考传统行业与这些新兴技术结合并转型的过程中，亦系统的回顾了深度学习及其相关技术。本文正是我在学习过程中所作的总结。我将按照我所理解的学习路径来呈现各部分内容，希望对你亦有帮助。欢迎一起交流。
主要分为如下几个部分：
* **数学基础**：包括微积分、线性代数、概率论等对理解机器学习算法有帮助的基本数学。
* **Python**：`Python`提供了非常丰富的工具包，非常适合学习者实现算法，也可以作为工业环境完成项目。主流的深度学习框架，例如当前最流行的两个AI框架`TensorFlow`、`PyTorch`都以Python作为首选语言。此外，主流的在线课程（比如Andrew Ng在Coursera的深度学习系列课程）用Python作为练习项目的语言。在这部分，我将介绍包括Python语言基础和机器学习常用的几个Library，包括`Numpy`、`Pandas`、`matplotlib`、`Scikit-Learn`等。
* **机器学习**：介绍主流的机器学习算法，比如线性回归、逻辑回归、神经网络、SVM、PCA、聚类算法等等。
* **深度学习**：介绍原理和常见的模型（比如`CNN`、`RNN`、`LSTM`、`GAN`等）和深度学习的框架（`TensorFlow`、`Keras`、`PyTorch`）。
* **强化学习**：介绍强化学习的简单原理和实例。
* **实践项目**：这里将结合几个实际的项目来做比较完整的讲解。此外结合`Kaggle`、`阿里云天池`比赛来做讲解。
* **阅读论文**：如果你追求更高和更深入的研究时，看深度学习各细分领域的论文是非常必要的。
> 内容持续更新中，未完成的部分标识有TBD (To be done)。
> 文中涉及的公式部分是用[CodeCogs](https://codecogs.com/latex/eqneditor.php)的在线LaTeX渲染，如果公式未正确加载，可以尝试多刷新几次。
## 绪论
[机器学习绪论](machine-learning/machine-learning-intro.md)一文中总结了机器学习领域和其解决的问题介绍，建议先读此文，以便有一个系统认知。
## 数学基础
微积分和线性代数的基础是必须要掌握的，不然对于理解学习算法的原理会有困难。如果已经有一定的数学基础，可以先跳过这一部分，需要的时候再回来补。这里的Notes是基于Coursera中Mathematics for Machine Learning专题做的总结。
* [Calculus 微积分](math/calculus.md)
* [Linear Algebra 线性代数](math/linear-algebra.md)
* 概率论 (TBD)
* [PCA 主成分分析](math/pca.md)
## Python
如果有比较好的Python和机器学习相关Library的知识，对于学习算法过程中的代码可以快速理解和调试，一方面节省时间，另一方面也可以更聚焦在算法和模型本身上。
* [Python](python/python-basic)
* [Pandas](python/pandas)
* [NumPy](python/numpy)
* [Matplotlib](python/Matplotlib)
* [Scikit-Learn](python/Sklearn)
## 机器学习算法
主要基于Machine Learning (Coursera, Andrew Ng) 的课程内容。
* [机器学习算法系列](machine-learning/README.md)
* 内容参考包括：吴恩达Coursera系列、周志华《机器学习》、密西根大学Applied Machine Learning in Python
* 每章节配套的[<img src="img/github32.png" width="18" target="_blank" />Jupyter Notebook练习](https://github.com/loveunk/ml-ipynb) 参考网络内容修订
* 目录结构：
1. [绪论](machine-learning/machine-learning-intro.md)
1. [线性回归](machine-learning/linear-regression.md)
1. [逻辑回归](machine-learning/logistic-regression.md)
1. [神经网络](machine-learning/neural-networks.md)
1. [打造实用的机器学习系统](machine-learning/advice-for-appying-and-system-design.md)
1. [支持向量机 SVM](machine-learning/svm.md)
1. [聚类算法](machine-learning/clustering.md)
1. [数据降维](machine-learning/dimension-reduction.md)
1. [异常检测](machine-learning/anomaly-detection.md)
1. [推荐系统](machine-learning/recommender-system.md)
1. [大规模机器学习](machine-learning/large-scale-machine-learning.md)
1. [应用案例照片文字识别](machine-learning/photo-ocr.md)
1. [总结](machine-learning/ssummary.md)
## 深度学习
### Deep Learning 专题课程
主要基于Deep Learning (Coursera, Andrew Ng) 的专题课程 ，介绍深度学习的各种模型的原理。
* [深度学习](deep-learning/README.md)
1. 深度学习基础
- [深度学习基础](deep-learning/1.deep-learning-basic.md)
2. 深度神经网络调参和优化
- [深度学习的实践层面](deep-learning/2.improving-deep-neural-networks-1.practical-aspects.md)
- [深度学习优化算法](deep-learning/2.improving-deep-neural-networks-2.optimization-algorithms.md)
- [超参数调试、批量正则化和程序框架](deep-learning/2.improving-deep-neural-networks-3.pyperparameter-tuning.md)
3. 深度学习的工程实践
- [机器学习策略（1）](deep-learning/3.structuring-machine-learning-1.ml-strategy.md)
- [机器学习策略（2）](deep-learning/3.structuring-machine-learning-2.ml-strategy.md)
4. 卷积神经网络（CNN）
- [卷积神经网络](deep-learning/4.convolutional-neural-network-1.foundations-of-cnn.md)
- [深度卷积网络：实例探究](deep-learning/4.convolutional-neural-network-2.deep-convolutional-models.md)
- [目标检测](deep-learning/4.convolutional-neural-network-3.object-detection.md)
- [特殊应用：人脸识别和神经风格转换](deep-learning/4.convolutional-neural-network-4.face-recognition-and-neural-style-transfer.md)
5. 序列模型（RNN、LSTM）
- [循环序列模型（RNN）](deep-learning/5.sequence-model-1.recurrent-neural-netoworks.md)
- [自然语言处理与词嵌入](deep-learning/5.sequence-model-2.nlp-and-word-embeddings.md)
- [序列模型和注意力机制](deep-learning/5.sequence-model-3.sequence-models-and-attention-machanism.md)
6. 更多讨论（待补充）
1. [元学习（Meta learning）](deep-learning/6.meta-learning.md)
2. [Few-shot / Zero-shot learning](deep-learning/6.few-shot-learning.md)
3. 网络压缩
4. <img src="img/bilibili32.png" width="18" /> [GAN网络](https://www.bilibili.com/video/BV1rb4y187vD)
5. <img src="img/bilibili32.png" width="18" /> [Transformer](https://www.bilibili.com/video/BV1pu411o7BE)
6. <img src="img/bilibili32.png" width="18" /> [对比学习](https://www.bilibili.com/video/BV19S4y1M7hm)
### 深度学习框架：PyTorch
修订这段文字的时候已经是2023年，PyTorch无论是在工业界还是学术界，都已经碾压了其他的框架，例如TensorFlow、Keras。如果是入坑不久的朋友，我建议你直接学PyTorch就好了。其他框架基本上可以仅follow up即可。
* [<img src="img/bilibili32.png" width="18" /> PyTorch视频集合（32集）](https://www.bilibili.com/video/BV197411Z7CE/)
* [<img src="img/zhihu32.png" width="18" /> PyTorch的安装与Tutorial](https://zhuanlan.zhihu.com/p/60526007)
* [<img src="img/github32.png" width="18" /> PyTorch 中文手册](https://github.com/zergtant/pytorch-handbook)
* [PyTorch 官网的Tutorial](https://pytorch.org/tutorials/)
### 分布式训练
* [<img src="img/zhihu32.png" width="18" />《分布式训练》](https://zhuanlan.zhihu.com/p/129912419)
## 大模型
综述：[<img src="img/zhihu32.png" width="18" /> 2022 年中回顾 ｜ 大模型技术最新进展](https://zhuanlan.zhihu.com/p/545709881?theme=dark)
### LLM 语言大模型
语言大模型（LLM）可以通
机器学习、深度学习的学习路径及知识总结 （130个子文件） 
.gitignore 342B
github_formula_conversion.html 9KB Exercise_7_Question.ipynb 190KB Exercise_8_Question.ipynb 51KB Exercise_6_Question.ipynb 33KB Week_4_Horse_or_Human_WithValidation.ipynb 25KB Week_4_Horse_or_Human_NoValidation.ipynb 22KB 6.data_loading_tutorial.ipynb 17KB Exercise_5_Question.ipynb 15KB 4.cifar10_tutorial.ipynb 14KB 5.data_parallel_tutorial.ipynb 12KB 3.neural_networks_tutorial.ipynb 11KB FashionMNIST_FusionMatrix_TensorBoard.ipynb 11KB 2.autograd_tutorial.ipynb 10KB 1.tensor_tutorial.ipynb 9KB Exercise_4_Question.ipynb 5KB Exercise_2_Question.ipynb 4KB Exercise_3_Question.ipynb 4KB Exercise_1_Question.ipynb 2KB
bias.vs.variance.jpg 77KB manu-2013.jpg 44KB 1.deep-learning-basic.md 116KB 3.structuring-machine-learning-2.ml-strategy.md 97KB 5.sequence-model-1.recurrent-neural-netoworks.md 91KB 2.improving-deep-neural-networks-3.pyperparameter-tuning.md 86KB 4.convolutional-neural-network-1.foundations-of-cnn.md 86KB 5.sequence-model-2.nlp-and-word-embeddings.md 86KB 5.sequence-model-3.sequence-models-and-attention-machanism.md 83KB 2.improving-deep-neural-networks-1.practical-aspects.md 83KB 4.convolutional-neural-network-2.deep-convolutional-models.md 78KB 3.structuring-machine-learning-1.ml-strategy.md 72KB 4.convolutional-neural-network-4.face-recognition-and-neural-style-transfer.md 70KB 4.convolutional-neural-network-3.object-detection.md 70KB 2.improving-deep-neural-networks-2.optimization-algorithms.md 57KB neural-networks.md 38KB logistic-regression.md 33KB svm.md 30KB linear-regression.md 26KB advice-for-appying-and-system-design.md 26KB anomaly-detection.md 18KB calculus.md 18KB pca.md 17KB README.md 17KB recommender-system.md 17KB linear-algebra.md 14KB clustering.md 13KB README.md 13KB dimension-reduction.md 11KB large-scale-machine-learning.md 11KB README.md 11KB machine-learning-intro.md 9KB README.md 7KB photo-ocr.md 6KB README.md 5KB README.md 4KB summary.md 3KB README.md 2KB README.md 2KB kaggle.md 2KB README.md 1KB README.md 463B 6.meta-learning.md 373B 6.few-shot-learning.md 267B pytorch_basic.md 0B
Scikit_Learn_Cheat_Sheet_Python.pdf 146KB
Hessian-1.png 560KB multivariate-taylor.png 542KB Jacobians-intuition-2.png 309KB neural-network-backpropagation-alg.png 224KB dl-basic-summary-of-gradient-descent.png 223KB Jacobians-intuition.png 201KB matrix-transformation.png 186KB Jacobians-demo-2.png 177KB eigenvector-eigenvalues-example.png 171KB matrix-determinant.png 162KB transformation-in-a-changed-basis.png 148KB Jacobians-intuition-3.png 145KB matrix-reflecting-in-a-plane.png 124KB Eigenbasis-example.png 119KB vector-change-basis.png 93KB derivative-chain-rule-explanation.png 77KB gradient-descent-learning-rate-alpha-effect.png 67KB derivative-product-rule-explanation.png 47KB DBSCAN-Illustration.png 39KB Jacobians-demo-1.png 32KB projection-onto-1d-subspace.png 26KB cnn-backprop-1.png 20KB vector-projection-r-s.png 16KB projection-onto-2d-subspace.png 13KB bilibili128.png 12KB DBSCAN-density-data.png 12KB properties-of-word-embeddings-example-2.png 9KB colab128.png 9KB weibo120.png 9KB properties-of-word-embeddings-example-1.png 8KB svm-f1.png 8KB zhihu128.png 8KB reddit128.png 7KB cnn-backprop-pooling-layer.png 6KB weixin128.png 5KB共 130 条
- 1
- 2
资源评论
