技术动态 | 基于 GPT-4 的知识图谱构建能力评测
一、摘要
知识图谱是一种用图模型来描述知识和建模世界万物之间关联关系的
大规模语义网络，是大数据时代知识表示的重要方式之一。而大型语言模
型，如 OpenAI 发布的 GPT-4 ，通过在大量文本等数据上进行预训练，展
示出了极其强大的通识知识和问题解决能力[1][2][3][4]。知识图谱可以为
大型语言模型提供精准的结构化的知识，助力和改善模型的推理效果和生
成质量，并提供对知识的精准操作和分析能力。
目前，诸多领域仍缺乏足够精准和完备的知识图谱，那么 GPT-4 等大
模型是否能为高效知识图谱构建带来便利？我们对 GPT-4 的知识抽取能力
进行了分析，探究的主要内容有：
1. GPT-4 对不同类型知识如事实、事件及不同领域如通用、垂直知识
的抽取能力分析
2. GPT-4 和 ChatGPT 抽取能力对比及错误案例分析
3. GPT-4 抽取未见知识的泛化能力分析
4. 展望大模型时代知识图谱构建的新思路
二、知识抽取能力分析
因还未申请到 GPT-4 的 API，我们基于 ChatGPT-plus 的交互式界面
并通过随机采样测试集/验证集样本的方式，评测了 GPT-4 在实体、关系、
事件等知识上的 Zero-shot 以及 One-shot 抽取能力，并和 ChatGPT 及
全 监 督 基 线 模 型 的 结 果 进 行 了 对 比 。 我 们 选 取 了 DuIE2.0[5] 、
RE-TACRED[6]、MAVEN[7]以及 SciERC[8]作为本次实验的数据集。因为
