Agriculture-KnowledgeGraph农业知识图谱(AgriKG)：农业领域的信息检索，命名实体识别，关系抽取

# Agricultural Knowledge Graph 由于工作原因，该项目已停止维护。因此项目代码仅供参考，项目中包含的数据可免费用于学术等非商业用途。 > 相关工作请引用paper: > - AgriKG: An Agricultural Knowledge Graph and Its Applications[C]. DASFAA (3) 2019: 533-537 ## 项目介绍： 本项目是上海市《农业信息服务平台及农业大数据综合利用研究》子课题《上海农业农村大数据共享服务平台建设和应用》的研究成果。 该课题是由上海市农业委员会信息中心主持，以“致富农民、服务市民、提高行政管理效能”为目标，充分发挥大数据在农业农村发展中的重要功能和巨大潜力，重点建设上海市级农业农村大数据中心，促进信息资源的共建共享和创新应用。 华东师范大学数据科学与工程学院（以下简称华师大数据学院）作为课题主要参与单位以实现智慧农业为目标，探索农业大数据分析、挖掘和综合应用。华师大课题组在前期国家重点研发计划《大数据知识工程基础理论及其应用研究》研究基础上，在本项目中，基于碎片化农业大数据，构建面向智慧农业的知识图谱及其应用系统。 > > ### 华东师范大学数据科学与工程学院 > > #### 情境计算&知识图谱项目组 > 学院官网：http://dase.ecnu.edu.cn > > 项目组Github： https://github.com/ECNUdase > > 参与成员： > >| Title | Name | Homepage | >| ------------------- | ---- | ---------------------------------------- | >| Associate Professor | Ming Gao | [http://faculty.ecnu.edu.cn/s/2844/t/30305/main.jspy](http://faculty.ecnu.edu.cn/s/2844/t/30305/main.jspy)<br>[http://dase.ecnu.edu.cn/mgao](http://dase.ecnu.edu.cn/mgao) | >| Master | Yuanzhe Chen | [https://github.com/qq547276542](https://github.com/qq547276542) | >| Master | Jung kuang | [https://github.com/CrisJk](https://github.com/CrisJk) | ## 目录结构： ``` . ├── MyCrawler // scrapy爬虫项目路径(已爬好) │   └── MyCrawler │   ├── data │   └── spiders ├── data\ processing // 数据清洗(已无用) │   └── data ├── demo // django项目路径 │   ├── Model // 模型层，用于封装Item类，以及neo4j和csv的读取 │   ├── demo // 用于写页面的逻辑(View) │   ├── label_data // 标注训练集页面的保存路径 │   │   └── handwork │   ├── static // 静态资源 │   │   ├── css │   │   ├── js │   │   └── open-iconic │   ├── templates // html页面 │   └── toolkit // 工具库，包括预加载，命名实体识别 │   └── KNN_predict ├── KNN_predict // KNN算法预测标签 ├── dfs_tree_crawler // 爬取互动百科农业实体树形结构的爬虫 └── wikidataSpider // 爬取wiki中的关系 ``` ## 可复用资源 - hudong_pedia.csv : 已经爬好的农业实体的百科页面的结构化csv文件 - labels.txt： 5000多个手工标注的实体类别 - predict_labels.txt: KNN算法预测的15W多个实体的类别 - /wikidataSpider/wikidataProcessing/wikidata_relation.csv: predict_labels.txt中实体在wikidata中对应的三元组关系 - attributes.csv: 部分实体的属性(互动百科页面中直接得到) - wikidataSpider/weatherData/static_weather_list.csv： 气候类型列表 - wikidataSpider/weatherData/weather_plant.csv：气候与植物的种植关系 - wikidataSpider/weatherData/city_weather.csv：城市与气候的关系 ## 项目配置 **0.安装基本环境：** 确保安装好python3和Neo4j（任意版本） 安装一系列pip依赖： cd至项目根目录，运行 sudo pip3 install -r requirement.txt **1.导入数据：** 将hudong_pedia.csv导入neo4j：开启neo4j，进入neo4j控制台。将hudong_pedia.csv放入neo4j安装目录下的/import目录。在控制台依次输入： ``` // 将hudong_pedia.csv 导入 LOAD CSV WITH HEADERS FROM "file:///hudong_pedia.csv" AS line CREATE (p:HudongItem{title:line.title,image:line.image,detail:line.detail,url:line.url,openTypeList:line.openTypeList,baseInfoKeyList:line.baseInfoKeyList,baseInfoValueList:line.baseInfoValueList}) // 新增了hudong_pedia2.csv LOAD CSV WITH HEADERS FROM "file:///hudong_pedia2.csv" AS line CREATE (p:HudongItem{title:line.title,image:line.image,detail:line.detail,url:line.url,openTypeList:line.openTypeList,baseInfoKeyList:line.baseInfoKeyList,baseInfoValueList:line.baseInfoValueList}) ``` ``` // 创建索引 CREATE CONSTRAINT ON (c:HudongItem) ASSERT c.title IS UNIQUE ``` 以上两步的意思是，将hudong_pedia.csv导入neo4j作为结点，然后对titile属性添加UNIQUE（唯一约束/索引） *（如果导入的时候出现neo4j jvm内存溢出，可以在导入前，先把neo4j下的conf/neo4j.conf中的dbms.memory.heap.initial_size 和dbms.memory.heap.max_size调大点。导入完成后再把值改回去）* 进入/wikidataSpider/wikidataProcessing中，将new_node.csv,wikidata_relation.csv,wikidata_relation2.csv三个文件放入neo4j的import文件夹中（运行relationDataProcessing.py可以得到这3个文件），然后分别运行 ``` // 导入新的节点 LOAD CSV WITH HEADERS FROM "file:///new_node.csv" AS line CREATE (:NewNode { title: line.title }) //添加索引 CREATE CONSTRAINT ON (c:NewNode) ASSERT c.title IS UNIQUE //导入hudongItem和新加入节点之间的关系 LOAD CSV WITH HEADERS FROM "file:///wikidata_relation2.csv" AS line MATCH (entity1:HudongItem{title:line.HudongItem}) , (entity2:NewNode{title:line.NewNode}) CREATE (entity1)-[:RELATION { type: line.relation }]->(entity2) LOAD CSV WITH HEADERS FROM "file:///wikidata_relation.csv" AS line MATCH (entity1:HudongItem{title:line.HudongItem1}) , (entity2:HudongItem{title:line.HudongItem2}) CREATE (entity1)-[:RELATION { type: line.relation }]->(entity2) ``` **导入实体属性(数据来源: 互动百科)** 将attributes.csv放到neo4j的import目录下，然后执行 ```cypher LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line MATCH (entity1:HudongItem{title:line.Entity}), (entity2:HudongItem{title:line.Attribute}) CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2); LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line MATCH (entity1:HudongItem{title:line.Entity}), (entity2:NewNode{title:line.Attribute}) CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2); LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line MATCH (entity1:NewNode{title:line.Entity}), (entity2:NewNode{title:line.Attribute}) CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2); LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line MATCH (entity1:NewNode{title:line.Entity}), (entity2:HudongItem{title:line.Attribute}) CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2) //我们建索引的时候带了label，因此只有使用label时才会使用索引，这里我们的实体有两个label，所以一共做2*2=4次。当然，可以建立全局索引，即对于不同的label使用同一个索引 ``` **导入气候名称:** 将wikidataSpider/weatherData/static_weather_list.csv放在指定的位置(import文件夹下) ``` //导入节点 LOAD CSV WITH HEADERS FROM "file:///static_weather_list.csv" AS line MERGE (:Weather { title: line.title }) //添加索引 CREAT