AI大模型 盘古大模型介绍

大模型的由来可以追溯到2017年，随着Transformer结构的提出，深度学习模型参数突破了1亿。从Lenet、Alexnet、ResNet等模型开始，深度学习的神经网络模型参数一个比一个大。后来，随着BERT网络模型的提出，参数量首次超过3亿规模。接着，GPT-3模型超过百亿，鹏程盘古实现千亿稠密的规模，Switch Transformer的问世还一举突破万亿规模。