大语言模型发展历程！！！
136 浏览量
2023-08-17
11:40:38
上传
评论
收藏 23KB DOCX 举报
大语言模型发展历程
大语言模型（Large Language Model, LLM）是一种人工智能模型，
可以预测词汇、生成文本、回答问题、翻译和语音识别等任务。下面
是大语言模型（LLM）的发展历程：
1. N-gram 模型（50 年代）
N-gram 是一种基于概率的语言模型，可以预测下一个词语的概
率。这种模型使用 n 个词语的排列作为输入，在统计出现频率的基础
上计算概率。由于计算量相对较小，可以处理相对简洁的语言结构。
2. 统计语言模型（60 年代）
统计语言模型（Statistical Language Model）使用自然语言处
理技术以及统计学方法对语料库中的文字或语言信息进行分析、处理、
建模，从而使计算机系统可以根据其模型来“理解”语言，并进行相
应的处理。
3. n-gram 语言模型的增强（80 年代至 90 年代）
早期的统计语言模型主要基于 n-gram，但存在问题是 n 相对小，
历史文本不能够被很好地建模。因此，研究人员通过引入神经网络、
深度学习、语义表示和注意力机制等技术，来提升模型的性能。
资源评论
