自然语言处理学习笔记：机器学习及深度学习原理和示例，基于Tensorflow和PyTorch框架，Transformer

共256个文件

ipynb：110个

png：59个

py：54个

版权申诉

46 浏览量 2024-09-21 19:40:52 上传评论收藏 25.58MB ZIP 举报

、BERT、ALBERT等最新预训练模型及源代码详解，及基于预训练模型进行各种自然语言处理任务。模型部署.zip深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。

资源推荐

资源详情

资源评论

收起资源包目录

自然语言处理学习笔记：机器学习及深度学习原理和示例，基于 Tensorflow 和 PyTorch 框架，Transformer （256个子文件）

tree.dot 2KB

gpt-2-autoregression-2.gif 1.26MB

ELECTRA任务.gif 26KB

08-CNN及迁移学习图像分类.ipynb 6.55MB

02-基于搜索的决策系统.ipynb 3.95MB

13-style_transfer.ipynb 2.68MB

12-决策树.ipynb 2.3MB

16-KMeans聚类.ipynb 2.17MB

15-时间序列预测.ipynb 1.01MB

30-集成决策树.ipynb 998KB

03-机器学习思维模式.ipynb 780KB

51-XLNet模型.ipynb 766KB

13-各种分类器比较.ipynb 735KB

14-卷积神经网络的可视化.ipynb 725KB

17-Gaussian Mixture Models.ipynb 539KB

11-SVM.ipynb 518KB

03-notMNIST图像分类.ipynb 481KB

41-BERT创建训练数据(Tensorflow).ipynb 428KB

15-基于词向量和LSTM对豆瓣影评分类(TensorFlow).ipynb 327KB

05-基于词向量和LSTM对豆瓣影评分类.ipynb 306KB

45-基于BERT的文本分类.ipynb 289KB

11-autoencoders.ipynb 264KB

02-TensorFlow数据管道及特征列.ipynb 260KB

10-分类与逻辑回归.ipynb 253KB

40-BERT基本原理及运用.ipynb 243KB

13-基于BiLSTM和CRF算法的命名实体识别(PyTorch).ipynb 236KB

10-RNN语言模型.ipynb 231KB

30-Transformer模型及源代码(PyTorch).ipynb 221KB

13-朴素贝叶斯.ipynb 194KB

14-基于BiLSTM和CRF算法的命名实体识别(TensorFlow).ipynb 185KB

31-基于Transformer的中译英(TensorFlow).ipynb 174KB

09-LDA主题模型.ipynb 166KB

001.使用Pandas.ipynb 165KB

15-降维.ipynb 164KB

01-PyTorch入门.ipynb 161KB

007-Pandas合并数据集.ipynb 150KB

01-Keras神经网络入门.ipynb 142KB

03-TensorFlow高阶API.ipynb 138KB

42-BERT模型详解及代码实现(Tensorflow).ipynb 119KB

04-CNN图像分类.ipynb 112KB

01-TensorFlow张量与自动微分.ipynb 110KB

07-恶意评论分类.ipynb 106KB

10-经典CNN架构实现(TensorFlow).ipynb 106KB

3-Python实现与学习相关的技巧.ipynb 106KB

06-RNN原理及使用(PyTorch) .ipynb 104KB

1-Python实现神经网络.ipynb 97KB

05-tf.function与AutoGraph.ipynb 95KB

6-rnn_from_scrach.ipynb 95KB

01-基于规则与基于概率的模型.ipynb 84KB

14-机器学习对新闻来源分类.ipynb 84KB

11-基于HMM和Viterbi算法的序列标注.ipynb 83KB

52-ALBERT.ipynb 82KB

12-GANs.ipynb 79KB

48-基于BERT的命名实体识别.ipynb 70KB

tensorflow-serving.ipynb 69KB

006-Pandas层级索引.ipynb 66KB

26-Attention使用示例.ipynb 60KB

44-BERT预训练及代码实现(Tensorflow).ipynb 60KB

003-Pandas数据索引与选择.ipynb 52KB

03-训练词向量.ipynb 51KB

31-特征工程.ipynb 51KB

25-Attention机制.ipynb 50KB

66-miniGPT(TensorFlow).ipynb 50KB

46-基于BERT的问答任务.ipynb 46KB

002-Pandas对象.ipynb 46KB

07-回归及梯度下降.ipynb 44KB

67-ERNIE.ipynb 41KB

12-BiLSTM和CRF算法的序列标注原理.ipynb 41KB

18-异常点检测.ipynb 41KB

32-基于Transformer的seq2seq模型(PyTorch).ipynb 38KB

01-分词.ipynb 34KB

36-生成模型的解码方法.ipynb 32KB

09-基于RNN的影评情感分类(PyTorch).ipynb 32KB

005-Pandas处理缺失值.ipynb 31KB

02-词表征与词向量.ipynb 27KB

004-Pandas数值运算.ipynb 27KB

5-Python实现CNN.ipynb 26KB

4-Python实现基于图的神经网络.ipynb 25KB

28-基于Attention的图片标注(TensorFlow).ipynb 23KB

38-填充与遮盖.ipynb 23KB

27-基于Attention的中译英(TensorFlow).ipynb 22KB

16-基于RNN的字符级自然语言生成.ipynb 21KB

34-Transformer优化.ipynb 20KB

49-以BERT为底层结构的分类模型.ipynb 16KB

12-python实现KNN和决策树.ipynb 16KB

04-TensorFlow常用函数.ipynb 16KB

20-ELMo模型.ipynb 15KB

08-Python实现梯度下降算法.ipynb 12KB

04-文档向量.ipynb 12KB

部署PyTorch模型.ipynb 12KB

20-naive_bayes.ipynb 10KB

2-Python实现误差反向传播.ipynb 10KB

01-编辑距离.ipynb 9KB

8-softmax函数.ipynb 8KB

评价指标与损失函数.ipynb 7KB

35-NLP数据增强.ipynb 7KB

07-机器学习入门.ipynb 6KB

65-GPT.ipynb 6KB

80-ELECTR预训练模型.ipynb 6KB

未命名.ipynb 5KB

共 256 条

# 自然语言处理学习笔记机器学习及深度学习原理和示例，基于 Tensorflow 和 PyTorch 框架，Transformer、BERT、ALBERT等最新预训练模型及源代码详解，及基于预训练模型进行各种自然语言处理任务。以及模型部署 ## [01-传统模型](./01-传统模型) 两种传统的模型： - [01-基于规则与基于概率的模型](./01-传统模型/01-基于规则与基于概率的模型.ipynb) - 基于规则或模板生成对话系统 - 基于概率的语言模型 - 利用语料数据，实现了简略的 2-gram 模型，并利用该模型判断句子的合理性 - [02-基于搜索的决策系统.ipynb](./01-传统模型/02-基于搜索的决策系统.ipynb ) - 根据中国城市的位置信息，实现简单的路径规划系统 - 根据武汉地铁的各站点的位置信息，实现简单的路径规划系统 - 图的广度优先搜索及深度优先搜索 - 搜索问题的抽象模式 - Travelling Sales man Problem - 启发式 - A* 搜索 - 动态规划 ## [02-机器学习](./02-机器学习) - 机器学习算法，及其应用 ## [03-神经网络Python实现](./03-神经网络Python实现) - python 实现基本的神经网络：激活函数，损失函数，前向传播，反向传播 - python 实现各种梯度下降算法，初始化，Batch Normalization，正则化 - python 实行 CNN ## [04-深度学习框架](./04-深度学习框架) - [TensorFlow](./04-深度学习框架/TensorFlow) ： - [01-TensorFlow张量与自动微分](./04-深度学习框架/TensorFlow/01-TensorFlow张量与自动微分.ipynb) - Tensor Flow 基本概念，张量，张量运算，自动微分，及 tf.function 和 AutoGraph 使用原理 - [02-TensorFlow数据管道及特征列](./04-深度学习框架/TensorFlow/02-TensorFlow数据管道及特征列.ipynb) - TensorFlow 的数据管道，利用 tf.data.Dataset 预处理数据，提升性能 - TensorFlow 内置的特征函数，用于特征工程 - [03-TensorFlow高阶API](./04-深度学习框架/TensorFlow/03-TensorFlow高阶API.ipynb) - 三种创建模型方法：Sequential、函数式、tf.keras.Model子类化 - 三种模型训练方法：模型的 fit 方法，train_on_batch 方法，利用 tf.GradientTape自定义训练循环 - [04-TensorFlow常用函数](./04-深度学习框架/TensorFlow/04-TensorFlow常用函数.ipynb) - [05-tf.function与AutoGraph](./04-深度学习框架/TensorFlow/05-tf.function与AutoGraph.ipynb) - tf.function 使用详解 - [Torch](./04-深度学习框架/Torch) ： - [01-PyTorch入门](./04-深度学习框架/Torch/01-PyTorch入门.ipynb) - Torch 基本概念，张量，CUDA张量，自动求导 - 创建模型：Sequential 模型，nn.Module指模型 - Torch 数据管道 - Torch 实现线性回归，逻辑回归，CNN，RNN，残差网络，及语言模型 ## [05-深度学习](./05-深度学习) - 创建神经网络，实现图像分类与情感分类，涉及到词向量，CNN，RNN 等模型 - CNN架构，自编码器，对抗生成网络，风格迁移基本原理　等 ## [06-自然语言处理](./06-自然语言处理) ### 基本的文本处理： #### 涉及到分词、词表征、文档表征，原理及代码实现 [00-文本处理的基本流程](./06-自然语言处理/00-文本处理的基本流程.ipynb) [00-文本预处理常用函数](./06-自然语言处理/00-文本预处理常用函数.ipynb) [01-分词](./06-自然语言处理/01-分词.ipynb) [01-编辑距离](./06-自然语言处理/01-编辑距离.ipynb) [02-词表征与词向量](./06-自然语言处理/02-词表征与词向量.ipynb) [03-训练词向量](./06-自然语言处理/03-训练词向量.ipynb) [04-文档向量](./06-自然语言处理/04-文档向量.ipynb) [04-文档向量](./06-自然语言处理/04-文档向量.py) [05-doc2vec](./06-自然语言处理/05-doc2vec.md) ### PageRank和TextRank [06-PageRank及TextRank](./06-自然语言处理/06-PageRank及TextRank.md) ### 主题模型 [09-LDA主题模型](./06-自然语言处理/09-LDA主题模型.ipynb) ### 利用神经网络实现文本分类、语言模型、语言生成 [07-keras-imdb-classification](./06-自然语言处理/07-keras-imdb-classification.py) [08-keras-imdb-rnn](./06-自然语言处理/08-keras-imdb-rnn.py) [10-RNN语言模型](./06-自然语言处理/10-RNN语言模型.ipynb) [15-基于词向量和LSTM对豆瓣影评分类(TensorFlow)](./06-自然语言处理/15-基于词向量和LSTM对豆瓣影评分类(TensorFlow).ipynb) [16-基于RNN的字符级自然语言生成](./06-自然语言处理/16-基于RNN的字符级自然语言生成.ipynb) [39-自然语言生成](./06-自然语言处理/39-自然语言生成.ipynb) ## 序列标注任务： ### HMM算法、CRF算法，原理及代码实现 [11-基于HMM和Viterbi算法的序列标注](./06-自然语言处理/11-基于HMM和Viterbi算法的序列标注.ipynb) [12-BiLSTM和CRF算法的序列标注原理](./06-自然语言处理/12-BiLSTM和CRF算法的序列标注原理.ipynb) [13-基于BiLSTM和CRF算法的命名实体识别(PyTorch)](./06-自然语言处理/13-基于BiLSTM和CRF算法的命名实体识别(PyTorch).ipynb) [14-基于BiLSTM和CRF算法的命名实体识别(TensorFlow)](./06-自然语言处理/14-基于BiLSTM和CRF算法的命名实体识别(TensorFlow).ipynb) ## Attention机制及Transformer模型 [25-Attention机制](./06-自然语言处理/25-Attention机制.ipynb) [26-Attention使用示例](./06-自然语言处理/26-Attention使用示例.ipynb) [27-基于Attention的中译英(TensorFlow)](./06-自然语言处理/27-基于Attention的中译英(TensorFlow).ipynb) [28-基于Attention的图片标注(TensorFlow)](./06-自然语言处理/28-基于Attention的图片标注(TensorFlow).ipynb) [30-Transformer模型及源代码(PyTorch)](./06-自然语言处理/30-Transformer模型及源代码(PyTorch).ipynb) [31-基于Transformer的中译英(TensorFlow)](./06-自然语言处理/31-基于Transformer的中译英(TensorFlow).ipynb) [32-基于Transformer的seq2seq模型(PyTorch)](./06-自然语言处理/32-基于Transformer的seq2seq模型(PyTorch).ipynb) [33-Transformer-XL](./06-自然语言处理/33-Transformer-XL.ipynb) [34-Transformer优化](./06-自然语言处理/34-Transformer优化.ipynb) ## BERT及后续预训练模型 ### BERT 模型原理及代码实现，基于 PyTorch 和 TensorFlow [20-ELMo模型](./06-自然语言处理/20-ELMo模型.ipynb) [40-BERT基本原理及运用](./06-自然语言处理/40-BERT基本原理及运用.ipynb) [41-BERT创建训练数据(Tensorflow)](./06-自然语言处理/41-BERT创建训练数据(Tensorflow).ipynb) [42-BERT模型详解及代码实现(Tensorflow)](./06-自然语言处理/42-BERT模型详解及代码实现(Tensorflow).ipynb) [42-BERT模型详解及代码实现(Tensorflow)](./06-自然语言处理/42-BERT模型详解及代码实现(Tensorflow).py) [43-BERT模型详解及代码实现(Tensorflow)](./06-自然语言处理/43-BERT模型详解及代码实现(Tensorflow).py) [44-BERT预训练及代码实现(Tensorflow)](./06-自然语言处理/44-BERT预训练及代码实现(Tensorflow).ipynb) #### BERT官方源码 [40-bert-modeling(TensorFlow)](./06-自然语言处理/40-bert-modeling(TensorFlow)) ### 基于BERT的自然语言处理任务 [45-基于BERT的文本分类](./06-自然语言处理/45-基于BERT的文本分类.ipynb) [46-基于BERT的问答任务](./06-自然语言处理/46-基于BERT的问答任务.ipynb) [47-基于BERT的文本摘要](./06-自然语言处理/47-基于BERT的文本摘要.ipynb) [48-基于BERT的命名实体识别](./06-自然语言处理/48-基于BERT的命名实体识别.ipynb) [49-以BERT为底层结构的分类模型](./06-自然语言处理/49-以BERT为底层结构的分类模型.ipynb)

评论收藏

内容反馈

版权申诉