没有合适的资源?快使用搜索试试~ 我知道了~
2023中国开源开发者报告(LLM篇).pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 28 浏览量
2024-01-11
16:07:20
上传
评论
收藏 31.75MB PDF 举报
温馨提示
试读
85页
2023中国开源开发者报告(LLM篇).pdf
资源推荐
资源详情
资源评论
1 1
/*使用电脑阅读,获得最佳体验
更多详情,关注公众号:Data200
1 1
序
毫无疑问,开源开发者圈子来看,
2023 年是大模型 LLM
年、生成式 AI GenAI 年
。
一、
这自然要从 OpenAI 说起,前一年年底,ChatGPT 的横
空出世,标志着
对话式 LLM
开始进入公众视野,为人们
提供了全新的人机交互方式。而 2023 年 3 月,同系
GPT-4.0 的发布则将 LLM 的规模和能力提升到一个新
的台阶,为 LLM 的广泛应用奠定了基础。再之后的 11
月份,OpenAI 再发力,GPTs 的到来,“用户自定义
ChatGPT”的能力,更是让世人领略了 OpenAI 作为
LLM 一哥的宏大叙事能力与强劲技术实力。
二、
New Bing(Bing AI)代表了微软在 LLM 领域的野心和
决心,它首次把当时世人能想到最有价值又可行的 LLM
应用场景——
“智能对话+联网搜索”
——无缝整合了起来,
大有干掉搜索行业和问答社区的趋势,而后事实证明,全
球 最 强 IT 问 答 社 区 Stack OverFlow 深 受 其 害 。
Google 紧随其后推出 Bard,作为其首次亮相的对话
LLM 产品,无疑具有其里程碑意义,尽管它的首秀并不尽
如人意,车翻了又翻。
三、
Claude 2、PaLM 2、Llama 等模型与产品也展现了 LLM
在语言理解和多模态处理能力方面的探索,甚至 Claude 2
还一度被誉为实力可以硬刚 ChatGPT。而 Meta 开源的
Llama 2 更成为了
LLM 领域开源势力的典型代表
,它的
出现,犹如一颗投入平静湖面的石子,激荡起层层水波,
“Llama 2 一开源,全球范围内进入了
百模混战
阶段”,
这个说法一点也不为过。
年底的“虚假宣传” Gemini 与“磁力链开源” Mistral
8x7B 两大神作,也凭借不输 GPT-4 的实力,将 LLM 狂
潮卷到天际。
四、
Stable Diffusion 和 Midjourney 这两大图像生成系统
的出现,极大地拓展和加速了 LLM 在计算机视觉领域的应
用,它们突破了传统图像生成方式的局限,仅需要用户提供
文字描述,就可以生成高质量的数字艺术作品。它们的图像
生成质量、样式多样性和用户便捷性都是极大的突破。这为
广大的个人用户和创意行业提供了强有力的工具,彻底改变
了数字艺术内容的创作方式。同时,它们也引发了人工智能
在创作领域的伦理和法律讨论。LLM 杀进多媒体领域。往
后 DALL-E 3 模型升级、Adobe 产品整合 LLM 能力、
语音模型 whisper-3 更新、AI 虚拟主播创造等,都是在
这条路上的进一步发展。
五、
AI 编程方面,Copilot 可以根据开发者的代码提示自动补
全代码,大大提高了开发效率。这也引发了代码原创性的讨
论,但它已经实实在在将 LLM 拉进了编程应用领域。
六、
LangChain 的出现,实现了 LLM 之间的链式交互,使多
个 LLM 模型串联工作,发挥各自的优势,并且可以将
LLM 模型与外部数据源进行连接,产生更强大的语言理解
和生成效果。这开启了 LLM 集成应用的新方向,并诞生了
一个新的细分领域“LLMOps”。
七、
“提示词工程”,这是 LLM 直接催生出来的新“学科”,
它的核心在于研究人类如何与 LLM 更好地进行“沟通”,
找到让 LLM 能够准确理解人类意图的方法。提示词工程探
索如何以 LLM 可以解析的方式来表达需要它完成的任务,
寻找 LLM 的“最佳输入形式”。通过注入提示词,提示词
工程建立了一套“人机交互语法”,来更精准地向 LLM 传
达想要它生成何种输出的指令。这为人们与 LLM 之间建立
高效、准确的“沟通桥梁”提供了可能性。什么“链式思考
1 1
(CoT)”、“自动推理并使用工具(ART)”、“思维
树(ToT)”……甚至运用心理学对 LLM 进行“情绪提
示(EmotionPrompt)”,提示词工程俨然在将 LLM 一
点一点解剖,试图让人类成为可以将其掌控的“咒术师”。
八、
AutoGPT 的出现,带着 LLM Agent 的概念进入 LLM
发展的新阶段。LLM Agent 是一种基于 LLM 的智能代
理,它能够自主学习和执行任务,具有一定的“认知能力
和决策能力”。LLM Agent 的出现,标志着 LLM 从传
统的模型训练和应用模式,转向以 Agent 为中心的智能
化模式。LLM Agent 打破了传统 LLM 的被动性,使
LLM 能够主动学习和执行任务,从而提高了 LLM 的应用
范围和价值;它为 LLM 的智能化发展提供了新的方向,
使 LLM 能够更加接近于人类智能。
九、
AI 原生,目前还没有明确的定义,大致是说,不同于当前
各种应用在原本的基础上增加 AI 能力,使其智能化,但
它的智能只充当了“辅助”角色;在 AI 原生的语境下,
LLM 从一开始就是应用的中枢,应用本身的架构、功能、
交互层是围绕 LLM 中枢来构建的。也许 ChatGPT 是最
经典的“AI 原生”应用。此概念目前还处在萌芽期,明确
的概念、应用场景、架构、技术栈细节等尚未完成自洽。
换一种视角来看,这个概念的提出其实都没技术什么事,
有人称之为“造商业概念”,这里按下不表。
十、
镜头给到国内。相比国际上当前逢 AI 必 GenAI,国内更
多地还是在 LLM 这一层面,Robin Li 的“卷大模型没意
义,卷应用机会更大”,其实很深刻地指出了内中区别。
本报告以开发者视角为主,从 LLM 切入,但实际上或多
或少与 GenAI 脱不开关系。
2023 年国内 LLM 发展活跃,从最初的百度文心一言“硬
刚”ChatGPT,到后来各式各样的大模型与产品出现,覆
盖了不同的领域和场景,构建了多元化的大模型生态。
大模型方面,百花齐放:百度的文心一言、抖音的云雀大模
型、智谱 AI 的 GLM 大模型、中科院的紫东太初大模型、
百川智能的百川大模型、商汤的日日新大模型、MiniMax 的
ABAB 大模型、上海人工智能实验室的书生通用大模型、腾
讯的混元大模型、蚂蚁的百灵大模型等。
另一方面,除了大模型本身,中国在 LLM 相关技术领域也
快速迭代发展,诸如 Dify.AI 的 LLMOps、Milvus 的向量
数据库、CodeGeeX 与 Comate 的 AI 编程、对 LLM
Prompt 的研究、OneFlow 的深度学习框架。
值得一提的还有华为的盘古大模型,其中盘古气象大模型是
首个精度超过传统数值预报方法的 AI 模型,速度相比传统
数值预报提速 10000 倍以上,能够提供全球气象秒级预
报。盘古大模型的研究成果在国际顶级学术期刊《自然》正
刊发表,获得国际学术界的认可。
年底,零一万物推出的 Yi 模型,200K 上下文窗口,可处
理约 40 万字的文本,成为当时全球大模型中最长的上下文
窗口。其中 Yi-34B 在 Hugging Face 英文测试榜单中位
列第一,在 C-Eval 中文能力排行榜中超越所有开源模型。
十一、
这一小节,通过一些数据来简要概述 2023 年的 LLM、
GenAI。根据金融数据和软件公司 PitchBook 的数据,从
截至 3 月 29 日追踪的 9 笔交易来看,生成式 AI 公司
的投前估值中位数已经飙升至 9000 万美元,高于 2022
年的 4250 万美元。PitchBook 的分析师预测,以 32%
的复合年增长率计算,到 2026 年,生成式 AI 市场规模
将达到 981 亿美元。
更多详情,关注公众号:Data200
1 1
由 英 国 知 名 风 投 公 司 Air Street Capital 的 合 伙 人
Nathan Benaich 等 作 者 联 合 撰 写 的 “ State of AI
Report 2023”报告,从研究进展 (Research)、行业局
势 (Industry)、政策影响 (Politics)、安全问题 (Safety)、
未来预测 (Predictions) 五个维度出发,对人工智能发展
现状和未来预期进行了深度分析。从中我们看到:
英伟达凭借各国、初创公司、大型科技公司和研究人员
对其 GPU 的巨大需求,跻身市值万亿美元俱乐部;
主要芯片供应商开发了不受出口管制影响的替代产品;
在 ChatGPT 的带领下,生成式 AI 的应用在图像、
视频、编码、语音等领域取得了突破性的进展,带动了
180 亿美元的风险投资和企业投资。
O'Reilly 发 布 的 “ 2023 Generative AI in the
Enterprise”报告显示:
54% 的 AI 用户预计 AI 的最大好处是提高生产力。
77% 的受访者使用 AI 来辅助编程。其中提到的具体
应用包括欺诈检测、教学和客户关系管理。
AI 用户表示,AI 编程(66%)和数据分析(59%)
是最需要的技能。
许多 AI 采用者仍处于早期阶段:26% 的人使用 AI
不到一年,而 18% 的人已经在生产中进行了应用。
16% 从事 AI 工作的受访者表示正在使用开源模型。
意外结果、安全性、公平性、偏见和隐私是采用者测试
的最大风险。
工业和信息化部赛迪研究院数据显示,目前,我国已有超
过 19 个大语言模型研发厂商。其中,15 家厂商的模型
产品已经通过备案,预计今年我国大语言模型市场规模将
达到 132.3 亿元,增长率将达到 110%。到 2027 年,
我国大语言模型市场规模有望达到 600 亿元。
十二、
如果要指出当前 LLM 种种“不成熟”中我最关切的,我会
说“LLM 解决方案”。
当前 LLM 行业面临的一个大方向上的问题是:还没有很好
地从“解决方案”的角度去做技术或者应用。
所谓“解决方案”,是指在设计和开发 LLM 技术和应用时,
首先明确用户的目标,然后围绕目标进行技术研发和应用设
计,并且它带有“整体解决”、“解决的不只是某个单点问题”
的含义。只有这样,才能确保 LLM 能够真正解决实际问题,
而不是成为“应付式”的工具。
“应付式”问题主要表现在以下几个方面:
LLM 往往是“一刀切”的,无法根据用户的具体需求进
行个性化定制。
LLM 往往是“碎片化”的,无法提供完整的解决方案。
LLM 往往是“被动式”的,需要用户不断完善输入。
什么意思呢?就是我找 AI 是要解决实际问题的,但它往往都
是给我“应付”一下,直接交货了事了,而不善于去追问本质,
去了解细节,去思考你最终想要的是一个什么样的东西。它需
要你不断完善自己的输入,甚至有时候可能要求在你自身都不
知道“可以想要一个什么东西”的情况下去输入。
这样的话其实就是你在输入与输出:整个事情我都想通了,方
案我其实也就都出来了,机器给到我的都只是一个个独立性
的、小而窄的、解决掉一点一点问题的东西。
举个例子,我说我肚子疼,它会直接告诉我肚子疼可能是因为
什么,怎样做可以缓解或者解决,但它不会一点一点进行“望
闻问切”全套去引导,了解具体情况,最终再给出切实可行的
解决方案。
但回过头来想想,这个话题可深可浅,往浅了说,当前 LLM
产品可以帮助人类翻译、润色一段文字、提炼论文核心内容,
这本身 也 是 较 为 完 整 的 解 决 方 案 ;当前 LLM Agent、
LLMOps,甚至只是说开发者的各种“工程化组合骚操作”,
实际上已经可以把不同模型、不同模态、不同工具和知识源整
合,正是在往“提供更完整的解决方案”这一方向上的发展。
1 1
往深了说,或许这本质上就是在要求 AGI,而它是一个更
长远的路途了。
而如 何将 更完 备的 解决 方案给 到 用户, 如 何将更 平 台化、
体系 化的 生成 解决 方案 的技术 给 到解决 方 案生产 者 ,是后
续 LLM 应用与技术演进的重要路标。你看 GPTs,直接
革掉了多少拿 OpenAI API 去套壳的“创新应用”的命?
十三、报告介绍
作为《2023 中 国开源开 发者报告 》的引 导,这里 还是把
话题拉回来,简介一下整个报告。
前边讲到的 LLM 领 域大放异彩, 自然是会作 为报告中的
一个重要部分,我们策划了一个《2023 LLM 技术报告》
篇章,整体围绕 LLM Tech Map 梳理逻辑来展开。
从基础设施、大模型、Agent、AI 编程、工具和平台,以
及算力几个 方面,为开 发者整理了 当前 LLM 中 最为热门
和硬核的技术领域以及相关的软件产品和开源项目。
是的,先整 理了一个 LLM 技术图 谱,欲知详 情,请查看
后续正文。
【开源治理】开源健康发展必不可少的一环。
【硬核发版】最硬核、最极客的年度发版汇总!
【热门话题】回顾 2023 年度热门开发者事件!
【重磅官宣】2023 年度开源官宣。
【R.I.P.】谨以此篇纪念今年离我们而去的行业巨擘。
https://talk.gitee.com/report/china
-open-source-2023-llm-report.pdf
最后一个篇章《<Gitee × OSS Compass> Insight:中国
开发者开源新动向》是关于开源开发者数据的,采用 Gitee
与 OSS Compass 作 为 数 据 来 源 , 试 图 通 过 数 据 来 反 映
2023 年开源开发者圈子的相关情况。
这里提取几个亮点数据:
TypeScript 是 增 长 最 快 的 编 程 语 言 , 增 长 率 达 到
49.04%
MulanPSL-2.0 在 “2023 年 使用增 长率 最快的 开源许
可证”中排行第二,增长率为 18.34%
较为活跃的社区代表: OpenHarmony、openEuler 与
MindSpore
欢迎查阅、分享。
除了 LLM, 开 源开 发者 圈当 然 还有 更 多高 亮事 件, 我们 在 此
次年度报告中整理成了另一个篇章《开源开发者事件回顾》,
这一篇章梳理成了 9 个大块:
【AIGC】回顾 2023 大语言模型 LLM 元年的重磅事件。
【1024 黄金眼 】关注 IT 相关民 生事件,以 老百姓 的眼
睛看 IT 圈,和开发者零距离接触
。
【项目停更】到了该说“再见”的时候了,江湖有缘再见。
【生产事故】冥场面!速来围观 2023 十大生产事故“名
场面”。
更多详情,关注公众号:Data200
剩余84页未读,继续阅读
资源评论
如此醉123
- 粉丝: 231
- 资源: 9万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 前端-html+css+js实现爱心特效
- c40539bc-071a-486c-9d52-9d0c18d62dac 4.html
- 基于物理的非视域成像(NLOS)算法,利用了nerf+python源码+文档说明
- yuluer知更鸟.7z(1).001
- 基于Qt实现医院信息管理系统c++源码+文档说明+数据库(期末大作业)
- 基于python实现的医院信息管理系统完整源码+sql数据库+详细注释(高分课程设计)
- 基于python的眼底图像视杯视盘分割项目源码+文档说明+截图演示+详细注释(高分课程设计)
- ImageBasedModellingEdu-贰壹贰叁零
- DFFmeasurement-数据预处理
- ImageBasedModellingEdu-回文素数c语言
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功