用RNN训练语言模型生成文本
156 浏览量
2021-01-27
14:48:23
上传
评论
收藏 244KB PDF 举报
用用RNN训练语言模型生成文本训练语言模型生成文本
什么是 Language Model？
Language Model 是 NLP 的基础，是语音识别, 机器翻译等很多NLP任务的核心。
参考：
实际上是一个概率分布模型 P ，对于语言里的每一个字符串 S 给出一个概率 P(S) 。
怎么实现？怎么应用？
我们先训练一个语言模型，然后用它来生成句子。感兴趣的话可以去这里看完整代码。
1.问题识别：
我们要做的是，用 RNN 通过隐藏层的反馈信息来给历史数据 xt,xt?1,...,x1 建模。
例如，输入一个起始文本：'in palo alto'，生成后面的100个单词。
其中 Palo Alto 是 California 的一个城市。
2.模型：
语言模型：给了 x1, . . . , xt， 通过计算下面的概率，预测 xt+1：
模型如下：
其中参数：
h^t 是t时刻的隐藏层，e^t 是输入层，就是 one-hot 向量 x^t 与 L 作用后得到的词向量，H 是隐藏层转换矩阵，I 是输入层词表
示矩阵，U 是输出层词表示矩阵，b1，b2 是 biases，这几个是我们需要训练的参数。
我们用 cross-entropy loss 来衡量误差，使之达到最小：
我们通过评价 perplexity 也就是下面这个式子，来评价模型的表现：
weixin_38670297
- 粉丝: 7
- 资源: 927
最新资源
- HTML+CSS+JS网页设计：从入门到精通.zip
- 数据库课程设计：从理论到实践的全面指南.zip
- Python闭包：深入理解与应用场景解析.zip
- Win64OpenSSL-3-3-0.exe
- 课高分程设计-基于C++实现的民航飞行与地图简易管理系统-南京航空航天大学
- 航天器遥测数据故障检测系统python源码+文档说明+数据库(课程设计)
- 北京航空航天大学操作系统课设+ppt+实验报告
- 基于Vue+Echarts实现风力发电机中传感器的数据展示监控可视化系统+源代码+文档说明(高分课程设计)
- 基于单片机的风力发电机转速控制源码
- 基于C++实现的风力发电气动平衡监测系统+源代码+测量数据(高分课程设计)
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0