Meta最新语言模型LLaMA论文研读：小参数+大数据的开放、高效基础语言模型阅读笔记 - Redian新闻.pdf
需积分: 1 136 浏览量
2023-09-15
14:03:53
上传
评论
收藏 5.41MB PDF 举报
4/23/23, 2:05 PM
Meta最新语言模型LLaMA论文研读：小参数+大数据的开放、高效基础语言模型阅读笔记 | Redian新闻
https://redian.news/wxnews/287351
1/32
Redian新闻
> 公众号
>
Meta最新语言模型LLaMA论文研读：小参数+大数据的开放、高效基础语言模型阅读笔记
Meta最新语言模型LLaMA论文研读：小参数+大数据的开放、高效基础语言模型阅读
笔记
公众号新闻
2 个月前
来自：老刘说NLP
进NLP群—>加入NLP交流群
Meta最近提出了LLaMA(开放和高效的基础语言模型)模型参数包括从7B到65B等多个版本。最
值得注意的是，LLaMA-13B的性能优于GPT-3，而体积却小了10倍以上，LLaMA-65B与
Chinchilla-70B和PaLM-540B具有竞争性。
Meta表示，该模型在数以万亿计的token上进行训练，并表明有可能完全使用公开的数据集来
训练最先进的模型，而不需要求助于专有的和不可获取的数据集。
特别的，LLaMA-13B在大多数基准上超过了GPT-3（175B），LLaMA-65B与最好的模型
Chinchilla-70B和PaLM-540B具有明显竞争力。
为了了解该工作，本文主要通过研读该论文，供大家一起参考。
剩余31页未读，继续阅读
资源评论
