基于知识图谱实现的电影智能问答+neo4j构建的电影图谱+spark ml完成的问答意图分类+源代码+文档说明

# introduction 电影知识图谱问答，利用spark，neo4j以及hanlp完成一个简易的电影问答系统，java实现。 # requirement 利用java-driver方式，使用cypher和apoc构建节点和关系，使用spark完成问句分类。 1.neo4j3.5.22 2.apoc3.5.0.13-all 3.algo-3.5.4.0(图算法库) 4.jdk1.8 5.hanlp1.7.7 下载data(包括dictionary和model，配置hanlp.properties路径)放在resources目录下即可 6.spark3.0 7.neo4j-java-driver1.7.1 8.neo4j-graph-data-science-1.1.6-standalone(图算法库gds[包含algo算法库]，两个库不兼容) # quick start 一.节点和关系构建模块 这里提供两种方法，分别用cypher和apoc构建。 1.cypher构建node与relation(较慢，一个一个语句create) \src\main\java\com\sy\mainclass\GraphCypherBuild.java (1).构建节点 createNode(); (2).构建关系 createRelation(); 2.apoc批量构建node与relation(建议利用apoc构建，不需要stop neo4j，速度和数据量中等) \src\main\java\com\sy\mainclass\GraphApocBuild.java (1).构建节点 createNode(); (2).构建关系 createRelation(); 二.问答模块 意图识别为以下几类(样本较少，可以增加更多的数据以提高识别精度)： * 0:电影评分 * 1:电影上映时间 * 2:电影类型 * 3:电影简介 (暂时没数据) * 4:电影演员列表 * 5:演员介绍 (暂时没数据) * 6:演员参演的某类型的电影作品 * 7:演员的电影作品 * 8:演员参演评分大于x的电影 * 9:演员参演评分小于x的电影 * 10:演员参演演的电影类型有哪些 * 11:演员和演员合作电影有哪些 * 12:演员参数的电影数量 * 13:演员的出生日期 (暂时没数据) \src\main\java\com\sy\mainclass\MovieQA.java(问答部分，问句意图识别和模板匹配，并转为查询语句) 问答模型的程序在\src\main\java\com\sy\qa中，主要有 1.利用spark训练意图分类模型 2.对问句进行意图识别和模板匹配 3.提取问答语句中的实体，包括人名和电影名 4.将问句模板和提取的实体转为cypher或apoc语句进行查询 三.推荐模块 \src\main\java\com\sy\mainclass\MovieRec.java 1.根据相同的演员或导演，返回top-n评分的电影 recCBF1() 2.根据电影的类型进行推荐，返回topn评分的电影 recCBF2() 四.搜索模块 \src\main\java\com\sy\mainclass\MovieSearch.java 1.返回类型为category，评分最高的前10部电影名称 getMostRatedScoreMovie() # data 主要数据在resources中，数据中包含(数据来源http://www.openkg.cn/dataset/douban-movie-kg) 三类实体(节点)： 实体类型 数据文件 数量 说明 Movie Movie.csv 4587 电影实体 Person Person.csv 22937 人员实体 Country Country.csv 84 国家实体 四类关系： 关系类型 主语实体类型 宾语实体类型 数据文件 数量 说明 ACTOR_OF Movie Person actor.csv 35257 电影的主演 COMPOSER_OF Movie Person composer.csv 8345 电影的编剧 DIRECTOR_OF Movie Person director.csv 5015 电影的导演 DISTRICT_OF Movie Country district.csv 6227 电影的制片国家/地区 # flowchart  # result 1.关系图  2.问答  # references １）http://www.openkg.cn/dataset/douban-movie-kg ２）https://www.zmonster.me/2019/04/30/neo4j-introduction.html # contact 如有搜索、推荐、nlp以及大数据挖掘等问题或合作，可联系我： 1、我的github项目介绍：https://github.com/jiangnanboy 2、我的博客园技术博客：https://www.cnblogs.com/little-horse/ 3、我的QQ号:2229029156