数据驱动的大规模知识图谱构建方法.pdf

知识图谱是一种大规模的语义网络，它由实体/概念以及它们之间的语义关系组成。知识图谱的优势在于对实体和概念的高覆盖率和丰富的语义关系，并且通常采用RDF（资源描述框架）格式进行组织。知识图谱通过众包的方式保障质量，例如通过互联网上的资源自动构建出大规模的知识图谱，然而这些知识图谱由于规模巨大，往往无法保证每个事实都完全准确。 在知识图谱构建方法上，可以将它们划分为数据驱动的方法和手工构建的方法。手工构建的知识图谱，如WordNet和Cyc，规模较小但质量几乎完美，每条关系都经过专家检查，但人工成本巨大。相比之下，数据驱动构建的知识图谱如Probase和WikiTaxonomy则自动地从浩瀚的网络语料库中提取信息，规模巨大，质量良好但无法达到百分之百的准确性，因为规模庞大，所以难免存在一些错误的事实。 构建知识图谱的流程包括提取阶段和质量保障阶段。提取阶段是端到端的，面向特定领域，且需要耗费大量的人力。质量保障阶段包括错误数据的纠正和缺失数据的补充。纠正错误数据主要通过基于图结构的校正方法，例如使用协同过滤和基于传递性的推理。补充缺失数据则可能依赖于众包的方式，或是通过特定算法来预测和补全知识图谱中的缺失信息。 以Probase+为例，它是一个基于网络页面通过Hearst语言模式导出的语义网络。例如，它能够识别出“famous basketball players such as Michael Jordan”、“domestic animals such as cats and dogs”、“China is a developing country”、“Life is a box of chocolates”等句子中的概念和关系。通过这种方式，Probase+拥有超过1000万个概念和1600万的isA关系。 知识图谱的应用价值非常广泛，可以用于理解文本的语义，为机器人或其他需要知识库的系统提供背景知识。有许多著名知识图谱项目，如Yago、WordNet、FreeBase、Probase、NELL、CYC、DBPedia等，它们在互联网信息抽取、自然语言处理、人工智能等领域发挥着重要作用。通过知识图谱，文本中抽象的概念和实体之间的关系变得可视化和可操作，极大地提升了机器理解世界的能力。随着技术的发展，知识图谱在构建精确的知识基础和提供决策支持方面展现出更大的潜力。