2023年Chat-GPT，深度拆解AI算力模型.pdf

ChatGPT，深度拆解AI算力模型 1. ChatGPT算法的核心壁垒 ChatGPT算法的成功主要归功于以下几个关键因素： (1) 大规模数据训练：ChatGPT模型的精准度与其所用的大量训练数据密切相关。数据量越大，意味着模型能捕捉到更多维度的特征，这导致模型参数复杂度增加，同时对算力的需求呈指数级增长，从而带来高昂的算力成本。 (2) Transformer基础算法：与传统的神经网络相比，Transformer在特征提取、长距离依赖关系捕获和语义理解等方面表现出显著优势，逐渐取代了RNN（循环神经网络）。Transformer的自我注意机制使得它在处理序列数据时更为高效，能够更好地理解和生成复杂的语言结构。 (3) 预训练大模型：AI预训练模型，如ChatGPT，是大算力和强大算法的结合体。这些模型显著提升了对自然语言的理解能力。谷歌的BERT模型就是一个里程碑式的例子，它是AIGC（人工智能生成内容）的先驱算法。 (4) 多模态数据协同：AIGC的发展促进了不同类型数据的融合，不仅限于文本和图像，还包括音频、视频等多种形式。这种多模态协同增强了内容的多样性和通用性，使得AIGC能在多个应用场景中发挥作用。 2. 不同类别AIGC算法比对 - ChatGPT：采用强化学习的近端策略优化（REINFORCE），模拟“人脑思维”并结合“人类反馈系统”。它的训练模型基于奖励机制，拥有约1750亿参数，训练数据主要来源于语言文本。 - LaMDA（谷歌Bard）：具有1370亿参数，其奖励模型基于人类评分，训练数据集主要是对话数据，旨在提供更自然的对话体验。 - 图神经网络（GNN）：在科学领域中备受关注，特别是在推荐系统、药物发现等领域。GNN的强大之处在于处理非结构化数据，如社交网络或化学分子结构，能够揭示复杂的网络结构和关系。 3. 国产ChatGPT生态 百度是国产大模型领域的领先者，其模型基于ERNIE 3.0，拥有千亿级参数。百度的文心大模型覆盖了多种模态，如地理-语言、视觉-语言、语音-语言等，广泛应用于自然语言处理、机器视觉等多个领域。根据IDC数据，文心大模型已被近百万开发者使用，生态系统正日益繁荣，合作涵盖了科技、教育、工业、媒体、金融等多个行业。 4. 投资建议 - 算力基础厂商：关注寒武纪、商汤、海光信息、浪潮信息、中科曙光、景嘉微、联想集团、紫光股份、龙芯中科等受益公司。 - AI算法商业化：推荐科大讯飞、拓尔思，其他值得关注的公司包括汉王科技、海天瑞声、云从科技。 - AIGC技术应用：看好百度、同花顺、三六零、金山办公等在AIGC技术储备上有优势的公司。 5. 风险提示 - 技术升级风险：核心AI技术水平可能无法达到预期。 - AI伦理风险：AI的广泛应用可能引发道德和伦理问题。 - 政策推进风险：政策支持可能不如预期。 - 中美贸易摩擦：可能影响相关企业的国际业务。 报告的发布日期为2023年02月23日，由分析师刘泽晶撰写。报告建议投资者关注AIGC带来的行业变革，以及相关领域的投资机会，同时也提醒注意潜在风险。