ChatGPT背后的经济账资源-CSDN文库

需积分: 5 157 浏览量 2023-05-07 21:49:27 上传评论收藏 845KB PDF 举报

资源推荐

资源详情

资源评论

ChatGPT背后的经济账

ChatGPT能否取代Google、百度这样的传统搜索引擎？为什么中国不能很快做出ChatGPT？当

前，对这些问题的探讨大多囿于大型语言模型（LLM）的技术可行性，忽略或者非常粗糙地估计

了实现这些目标背后的经济成本，从而造成对LLM的开发和应用偏离实际的误判。

本文作者从经济学切入，详细推导了类ChatGPT模型搜索的成本、训练GPT-3以及绘制LLM成本

轨迹的通用框架，为探讨LLM成本结构和其未来发展提供了可贵的参考视角。

原文地址

https://sunyan.substack.com/p/the-economics-of-large-language-models

动机

LLM的惊人表现引发了人们的广泛猜想，这些猜想主要包括LLM可能引发的新兴商业模式和对

现有模式的影响。

搜索是一个有趣的机会，2021年，仅谷歌就从搜索相关的广告中获得了超1000亿美元的收入

[1]。ChatGPT（一个使用LLM的聊天机器人，它可以生成高质量的答案，以回答类似于搜索的

查询）的“病毒性”传播已经引发了许多关于搜索领域潜在影响的思考，其中一个就是LLM如今的

经济可行性：

一位声称是谷歌员工的人在HackerNews上表示，要想实施由LLM驱动的搜索，需要先将其

成本降低10倍。

与此同时，微软预计将在3月份推出LLM版本的Bing[3]，而搜索初创公司如You.com已经将

该技术嵌入到了他们的产品之中[4]。

最近，《纽约时报》报道，谷歌将在今年推出带有聊天机器人功能的搜索引擎[5]。

更广泛的问题是：将LLM纳入当前产品和新产品的经济可行性如何？在本文中，我们梳理了当今

LLM的成本结构，并分析其未来可能的发展趋势。

2

重温LLM工作原理

尽管后续章节的技术性更强，但这篇文章对机器学习熟悉程度不做要求，即使不熟悉这方面内容

的人也可以放心阅读。为了说明LLM的特殊之处，现做一个简要复习。

语言模型在给定上下文的情况下，对可能输出的token作出预测：

自回归语言模型（

Autoregressive Language Model

）输入上下文和输出内容的图示（在实践

中，

token

通常是子词：即

“happy”

可能被分解为两个

token

，例如

“hap”

、

“-py”

）

为了生成文本，语言模型根据输出token的概率重复采样新token。例如，在像ChatGPT这样的服

务中，模型从一个初始prompt开始，该prompt将用户的查询作为上下文，并生成token来构建响

应（response）。新token生成后，会被附加到上下文窗口以提示下一次迭代。

语言模型已经存在了几十年。当下LLM性能的背后是数十亿参数的高效深度神经网络（DNN）驱

动。参数是用于训练和预测的矩阵权重，浮点运算（FLOPS）的数值通常与参数数量

（parameter count）成比例。这些运算是在针对矩阵运算优化的处理器上计算的，例如GPU、

TPU和其他专用芯片。

随着LLM参数量呈指数增长，这些操作需要更多的计算资源，这是导致LLM成本增加的潜在原

因。

3

LLM驱动搜索的成本

本节，我们将估算运行LLM驱动搜索引擎的成本。应该如何实施这样的搜索引擎仍是一个活跃的

研究领域，我们这里主要考虑两种方法来评估提供此类服务的成本范围：

ChatGPT Equivalent：一个在庞大训练数据集上训练的LLM，它会将训练期间的知识存储

到模型参数中。在推理过程中（使用模型生成输出），LLM无法访问外部知识[6]。

这种方法有如下两大缺点：

容易“幻想”事实。

模型知识滞后，仅包含最后训练日期之前的可用信息。

2-Stage Search Summarizer：一种架构上类似的LLM，可以在推理时访问Google或Bing

等传统搜索引擎。在这种方法的第一阶段，我们通过搜索引擎运行查询以检索前K个结

果。在第二阶段，通过LLM运行每个结果以生成K个响应，该模型再将得分最高的响应返回

给用户[7]。

相比ChatGPT Equivalent，这种方法的优点是：

能够从检索到的搜索结果中引用其来源。

能获取最新信息。

剩余14页未读，继续阅读

内容反馈

yuetian11

粉丝: 1
资源: 18

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip