常识在人工智能领域,一个基础常识是,算法训练是一件没有办法弯道超车的事情。
自 2018 年推出第一代生成式预训练模型 GPT-1 起,OpenAI 用了近 6 年的时间沉淀出
了当前的大语言模型。
以 ChatGPT 为代表的人工智能内容生成技术能为人们做些什么?文案宣传、智能营
销、智能风控、代码编写……近期,国内如雨后春笋般冒出的众多团队与公司,都试图
用自己的途径回答问题。但 ChatGPT 真的这么简单吗?
“踢足球都是盘带、射门,但是要做到梅西那么好也不容易。”3 月 5 日,中国科技部
部长王志刚用踢足球比喻 ChatGPT,直言“从这一点看,ChatGPT 在技术进步上,特别
是保证算法的实时性与算法质量的有效性上,非常难”。
复旦 MOSS 团队:路还很长
前不久,复旦大学计算机科学技术学院邱锡鹏团队发布类 ChatGPT 模型 MOSS。一
经发布,MOSS 就“火”了。2 月 20 日发布当日,MOSS 就收到大量内测申请、采访、投
资、合作邀约——因为 ChatGPT 的火热,公众对于这项原本局限于 NLP(自然语言处
理)学术圈的新技术热情高涨。
据了解,早在 2021 年,邱锡鹏团队就已经在探索中文生成式预训练领域,还做了相
关模型,并开源供他人下载,平均每月都有上万次下载。随着研究的深入,团队提出了“语
言模型即服务”概念,将基础语言模型视作语言服务的基石。2022 年,邱锡鹏团队开始
在训练大型语言模型上下功夫。此后,又用了半年时间,研究如何使大型语言模型理解
人类指令以及具备对话能力。
令邱锡鹏团队最兴奋的一天,是今年春节前的腊月二十八。项目主开发者、计算机科
学技术学院博士研究生孙天祥,在常规的测试过程中输入了一个中文问题,MOSS 却以
英文正确回答,“就像一个不会说但听得懂中文的人”。值得注意的是,当时那个版本的
MOSS 还很初级,中文语料占所有训练数据不到 0.1%。
“很神奇,我们没有教过它机器翻译。”MOSS 显示出的潜能让邱锡鹏当晚激动到失眠。
他把 MOSS 比作一个“聪明的小孩”,即便现在还不擅长写诗、解题或很多具体的事,但
已展示出成为通用人工智能(AGI)大框架的潜能,“很多遥不可及的事情,它一点就通
了”。