一朝成名天下知。ChatGPT/GPT-4 相关的新闻接二连三刷屏朋友圈,
如今,这些模型背后的公司 OpenAI 的知名度不亚于任何科技巨头。
不过,就在 ChatGPT 问世前,OpenAI 在 GPT-3 发布后的两年多时间
里陷入沉寂,甚至开始被人唱衰。实际上,OpenAI 在这期间正在潜心
打磨 GPT-3.5。
在 OneFlow 去年 3 月发布的《深度学习崛起十年:“开挂”的 OpenAI
革新者》一文中,OpenAI 联合创始人、首席科学家就介绍了那些现在
业内人尽皆知的人类反馈的强化学习(RLHF)、AI 对齐以及多模态等
关键名词和基本思路。
只不过,那时业内似乎都在忙着比拼更大的模型参数,无暇顾及抑或并
不在意 OpenAI 正在研究的工作,看过这个对话的人很少。
当然,即使看了他们的技术思路,相信他们能走通的人就更少了,能去
真正实践的也只有他们自己。直到 ChatGPT 大获成功,同行也只好羡
慕嫉妒拍自己大腿,并说上一句:不就是已有技术的组合。然后眼睁睁
看着 OpenAI 一脚油门,甩出同行几条街。
作为 GPT 系列模型背后“组装者”和推动者,毫不夸张地说,没有 Ilya
Sutskever,就没有现在的 ChatGPT 以及 GPT-4。他正在改变世界。