没有合适的资源?快使用搜索试试~ 我知道了~
关于ChatGPT的五个最重要问题.pdf
需积分: 0 2 下载量 97 浏览量
2023-06-07
17:59:12
上传
评论 1
收藏 4.34MB PDF 举报
温馨提示
试读
46页
关于ChatGPT的五个最重要问题.pdf 关于ChatGPT的五个最重要问题.pdf 关于ChatGPT的五个最重要问题.pdf 关于ChatGPT的五个最重要问题.pdf 关于ChatGPT的五个最重要问题.pdf 关于ChatGPT的五个最重要问题.pdf 关于ChatGPT的五个最重要问题.pdf 关于ChatGPT的五个最重要问题.pdf
资源推荐
资源详情
资源评论
关于 ChatGPT 的五个最重要问题
by 课代表立正,观点持续迭代,欢迎收藏
我们判断,如果 ChatGPT 不犯大错,两年内,整个科技行业甚至人类社会都会被颠覆一遍。
倒计时已经开始了。我拍一个两年后 ChatGPT 能做到的事情以及可能性。
1. 专家级回答事实性的问题(99%)
2. 专家级回答判断性的问题(80%)
3. 每个人的数字学徒(75%)
4. 把编程提效十倍(70%) -- 小团队半年时间就能开发 3A 级别的游戏
5. 替我打工(50%)
6. 写出一篇这样充满原创知识的文章(5%)
这里再打几个比方。这几个比方是尽量准确,而不带误导的。
iPhone 是人体传感器和功能器官的延伸,ChatGPT 是人脑的延伸。只有互联网、浏览器、
iPhone 等少数发明能和 ChatGPT 的颠覆性比肩
过去的计算机只能“模拟”,ChatGPT 可以“理解”。傻大个突然有了脑子
ChatGPT 之于过往机器学习,是后膛枪之于弓箭手。意义不在于两者的性能对比,而在于
热兵器的时代已经开启,并且发展是加速度的
ChatGPT 是“自然语言计算机”,是人类调用数据与算力的近乎完美的形态
ChatGPT 会让“智力分发”的边际成本趋近于零,人力资本的杠杆变得无限大
所有系统与数据库都值得被 ChatGPT 重做一遍
如果不关注理解能力的构建,ChatGPT 的竞品将如东施效颦(until Google proves
otherwise)。文心一言不值得 pay attention
但是上述的结论和比方,在看完全文之前,都没什么用,因为我们不知道是真是假。如果对
ChatGPT 到底是什么不了解,那就只能比谁说话更语出惊人 ,更金句,而不是谁判断更准
确,更有洞见。所以我们要花巨大的功夫,写出这篇文章。让大家知道我们知道什么,不知道
什么。
GPT-4 在 3.15 震撼发布了。但是文中观点、推演、结论不需要任何修改。因为对技术的理解
是准确的,对能力范围的理解与推演也是准确的。其实文章并不是对 GPT-4 和能达到的事情
有任何“预测”,而只是“简单推演”。所以就不重新修改了,对比现实,正好能让大家看清
楚什么是天天变化的,什么是不变的。
哪五个问题?
在 ChatGPT 纪元中,提问题的能力和判断力也许是人类最重要的两个能力。我们这里提出五
个关键问题,并且试图抛开网络上的二手观点,做出基于原理的判断。围绕这五个问题,我们
会把所需要知道的相关技术背景,尽量简洁,但是尽量无损地总结清楚,不说废话。
1. 是什么:ChatGPT 是范式突破,还是过往 AI 的延伸?
2. 会怎样:ChatGPT 两年内会达到什么水准?
3. 行业格局:ChatGPT 以及 GPT 有壁垒吗?
4. 如何参与:我们未来应该如何使用 ChatGPT?
5. 人文:人类和 ChatGPT 的本质区别是什么?对人类社会的冲击?
还有一个不需要讨论的重要问题:ChatGPT 不会开源的,因为 AGI 是一个危险品。其他公司很
可能出于商业利益开源 LLM,我希望 OpenAI 不要。
我们搞清楚这五个问题,就能判断市面上大多数解读 ChatGPT 的观点,无论从技术、商业、
投资,等等角度,是否靠谱了。其实就两个关键
1. 对 ChatGPT 新能力的认知:这新能力到底是什么,有多大“不一样”?那个“不一样”能
带来多少新的可能性?
2. 对“能力获取难度”的认知:ChatGPT 如何获得的?别人获取类似能力,难度有多大?
文章结尾我们会做一下总结。让你下次见到某大模型,可以判断这是 ChatGPT 的 80%还是
0%。也可以判断自己的工作会被 ChatGPT 取代多少。
为什么这样问?
最近到处都在讨论 ChatGPT,宛如 6000 点时候的 A 股,但是对于 ChatGPT 这样一个人类高科
技结晶的新物种,不先搞清楚它“是什么”和“如何牛逼的”,那就没有办法形成自己的判
断。没有自己基于原理的判断,看 ChatGPT 就像看元宇宙、Web3、自动驾驶一样,觉得好像
牛逼,也有一套看似自洽的逻辑,以及振聋发聩的“洞见”,其实只能被别人牵着走。
搞清楚 ChatGPT“是什么”和“如何牛逼的”是一件困难的事情,因为最顶尖的人工智能大佬
们也没有达成共识。比如 Meta 的 AI 负责人,深度学习三大佬之一的 LeCun 就不看好,认为
这就是个基于 auto-regressive(自回归)的 LLM(large language model,大语言模型),从方
法上来讲没有啥范式突破。只是因为 OpenAI 是个创业公司,大家宽容度比较高,ChatGPT 在
乱说话,大家也能容忍。
另一面,ChatGPT 的火热就不说了,比如特斯拉的首席 AI 科学家就选择回到 OpenAI,共建
AGI(artificial general intelligence,通用人工智能,也是 OpenAI 的追求目标);Meta 的 VR 创
始人卡马克选择离开 Meta,自己开一家 AGI 公司。另外一篇文章截取了大佬们的赞誉
神奇的点就在于,双方也许都是对的。ChatGPT 的确不是一个“新的模型”,而是即有模型的
发展与组合;但 ChatGPT 又足够不一样,让包括我在内的很多 AI 相关的从业者,有第一次见
到光的感觉。我们第一章会花大篇幅去讲一下为什么 ChatGPT 的原理是填词,但它的新能力
却远远不是“填词”而已。
技术插播:“自回归”“大语言模型”是两个关键词
自回归的意思是,我先用模型预测下一个词是什么,然后把预测出来的词带入模型,去预
测再下一个词是什么,不断迭代。这是过往语言模型的通用范式。也能让各类语言类任务
统一成“生成式”任务
大语言模型的大是指海量参数,从而能吸取海量数据中的信息。这是在 transformer 模型之
后成为可能的。大语言模型本身也值得技术科普一下,我们在第一个问题中展开
开头:ChatGPT 的最基本版历史
开始问问题之前,有一些必要的技术科普。我们着重参考两篇综述,尽量抓重点:
1. 大语言模型技术精要(链接)
2. ChatGPT 的各项超能力从哪里来(链接)
第一份综述主要讲了大语言模型发展中的关键技术突破,第二份综述主要讲了 ChatGPT 发展
过程中的几个重要模型“做到了什么”和“有什么与众不同的做法”。我们把两篇文章的重点
挑出来,标注一下里程碑事件,和其意义。
事件
意义
Transformer 问世
让深度学习模型可以“自由
吸收”数据中的知识
大语言模型突破了参数和算力限制,从此语言模型也进入
参数越多,数据越大,模型效果越好的时代。
LLM 内战,逐渐吊打老 NLP
Google 的 Bert 路线和
OpenAI 的 GPT 路线各有所长
GPT 通过“自然语言生成任务”,兼容了几乎所有 NLP 问
题;但是 Bert 比 GPT2 表现好。此时大语言模型已经开始
吊打传统 NLP 模型了
GPT3 问世
展示 in-context learning 能
力,简单调教下就能吊打精
调过的很多模型
一方面让 GPT 模式初现一统江湖的潜质,一方面 GPT3 的
in-context learning 能力,展示了和过往 ML 的 fine-
tuning 模式的本质区别,我们在下面单独详细展开
- InstructGPT
ChatGPT 的交互模式,让
GPT 的能力,更加贴近人类
真实交互方式
在 in-context learning 基础之上,进一步降低了
prompting 的门槛;一定程度解决了 GPT-3 生成结果与用
户期望不一致的非预期输出,大幅降低了有害的、错误或
偏差的输出结果,让 GPT 更符合人类胃口
- GPT 读代码
代码训练能力的提升是 GPT3
到 GPT3.5 的重要迭代之一,
模型可从而可以生成代码和
理解代码
Codex 模型读了大量代码,之后的 GPT3.5 模型涌现出了
“乌鸦”的能力(第一问详解)。不光能读懂和生成代
码,对语言本身的理解和推理能力也解锁了
- RLHF
ChatGPT 背后的核心技术之
一,让模型学习人类的偏好
全称是 reinforcement learning from human feedback,通
过构建人类反馈数据集,训练一个 reward 模型,模仿人
类偏好对结果打分,是 GPT-3 后时代 LLM 越来越像人类
对话的核心技术
ChatGPT
InstructGPT 的亲戚,但一些
优化方式也带来了 ChatGPT
的更泛化和准确能力,再次
引爆了 AIGC
ChatGPT 总体来说和 InstructGPT 一样是使用 RLHF 进行训
练,但模型是基于 GPT3.5,而且数据设置上也不同。
ChatGPT 是一个输入,模型给出多个输出,然后人给结果
排序,让模型可以学习人类的排序策略,即使是一本正经
的胡说八道看起来也很合理的样子。
这里面再强调一个关键点。GPT-3 之后,很多能力是“涌现”的。即不是线性发展,可预测
的,而是突然就有了。至于这对于 OpenAI 的人是早晚会发生,还是完全未预料,我们就不知
道了。这几个“涌现”出的能力,尤其是“乌鸦”的能力,是 ChatGPT 和过往 AI 的范式不
同,也会是我们这次讨论关注的重点。“涌现”也是大语言模型很神奇的一点,这些能力我们
发现模型随着数据量和模型大小的提升,就突然具备了,但是我们对这些能力怎么出现的,只
有猜想,没有共识。这篇文章有一个比较全面的总结和比较。
下图是 GPT-3 到 ChatGPT 的演变历史
如何分辨真假 ChatGPT
结合上面的图和表格,我们简单梳理一下:
1. GPT-3 是一个非常令人惊艳的 LLM,这个两年半前的播客有当时 early-adopter 的视角,但
剩余45页未读,继续阅读
资源评论
心悦蛋糕
- 粉丝: 168
- 资源: 883
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功