ChatGPT会取代搜索引擎吗 - 知乎.pdf
需积分: 2 110 浏览量
2023-06-05
11:37:20
上传
评论
收藏 2.8MB PDF 举报
4/23/23, 1:49 PM
ChatGPT会取代搜索引擎吗 - 知乎
https://zhuanlan.zhihu.com/p/589533490
1/10
ChatGPT会取代搜索引擎吗
已关注
编辑推荐
等 2 项收录
等 868 人赞同了该文章
自然语言处理等 2 个话题下的优秀答主
张俊林
凯恩博
作为智能对话系统，ChatGPT最近两天爆火，都火出技术圈了，网上到处都在转ChatGPT相关的
内容和测试例子，效果确实很震撼。我记得上一次能引起如此轰动的AI技术，NLP领域是GPT 3发
布，那都是两年半前的事了，当时人工智能如日中天如火如荼的红火日子，今天看来恍如隔世；多
模态领域则是以DaLL E2、Stable Diffusion为代表的Diffusion Model，这是最近大半年火起来的
AIGC模型；而今天，AI的星火传递到了ChatGPT手上，它毫无疑问也属于AIGC范畴。所以说，在
AI泡沫破裂后处于低谷期的今天，AIGC确实是给AI续命的良药，当然我们更期待估计很快会发布
的GPT 4，愿OpenAI能继续撑起局面，给行业带来一丝暖意。
说回ChatGPT，例子就不举了，在网上漫山遍野都是，我们主要从技术角度来聊聊。那么，
ChatGPT到底是采用了怎样的技术，才能做到如此超凡脱俗的效果？既然chatGPT功能如此强大，
那么它可以取代Google、百度等现有搜索引擎吗？如果能，那是为什么，如果不能，又是为什
么？
本文试图从我个人理解的角度，来尝试回答上述问题，很多个人观点，偏颇难免，还请谨慎参考。
我们首先来看看ChatGPT到底做了什么才获得如此好的效果。
ChatGPT的技术原理
整体技术路线上，ChatGPT在效果强大的GPT 3.5大规模语言模型（LLM，Large Language
Model）基础上，引入“人工标注数据+强化学习”（RLHF，Reinforcement Learning from
Human Feedback ，这里的人工反馈其实就是人工标注数据）来不断Fine-tune预训练语言模
型，主要目的是让LLM模型学会理解人类的命令指令的含义（比如给我写一段小作文生成类问题、
知识回答类问题、头脑风暴类问题等不同类型的命令），以及让LLM学会判断对于给定的prompt
输入指令（用户的问题），什么样的答案是优质的（富含信息、内容丰富、对用户有帮助、无害、
不包含歧视信息等多种标准）。
在“人工标注数据+强化学习”框架下，具体而言，ChatGPT的训练过程分为以下三个阶段：
首发于
深度学习前沿笔记
资源评论
