# EventMonitor
Event monitor based on online news corpus built by Baidu search enginee using event keyword for event storyline and analysis,基于给定事件关键词,采集事件资讯,对事件进行挖掘和分析。
# 项目路线图
![image](https://github.com/liuhuanyong/EventMonitor/blob/master/image/project.png)
# 项目细分
# 1) 基于话题关键词的话题历时语料库采集
执行方式:进入EventMonitor目录下,进入cmd窗口,执行"scrapy crawl eventspider -a keyword=话题关键词",或者直接python crawl.py, 等待数秒后,既可以在news文件夹中存储相应的新闻文件,可以得到相应事件的话题集,话题历史文本
![image](https://github.com/liuhuanyong/EventMonitor/blob/master/image/topic.png)
![image](https://github.com/liuhuanyong/EventMonitor/blob/master/image/news.png)
![image](https://github.com/liuhuanyong/EventMonitor/blob/master/image/content.png)
# 2)关于热点事件的情感分析
对于1)得到的历史语料,可以使用基于依存语义和情感词库的篇章级情感分析算法进行情感分析
这部分参考我的篇章级情感分析项目DocSentimentAnalysis:https://github.com/liuhuanyong/DocSentimentAnalysis
# 3)关于热点事件的搜索趋势
对于1)得到的历史语料,可以使用百度指数,新浪微博指数进行采集
这部分参考我的百度指数采集项目BaiduIndexSpyder:https://github.com/liuhuanyong/BaiduIndexSpyder
微博指数采集项目WeiboIndexSpyder:https://github.com/liuhuanyong/WeiboIndexSpyder
# 4)关于热点事件的话题分析
对于1)得到的历史语料,可以使用LDA,Kmeans模型进行话题分析
这部分参考我的话题分析项目Topicluster:https://github.com/liuhuanyong/TopicCluster
# 5)关于热点事件的代表性文本分析
对于1)得到的历史语料,可以使用跨篇章的textrank算法,对文本集的重要性进行计算和排序
这部分参考我的文本重要性分析项目ImportantEventExtractor:https://github.com/liuhuanyong/ImportantEventExtractor
# 6)关于热点事件新闻文本的图谱化展示
对于得到每个历史新闻事件文本,可以使用关键词,实体识别等关系抽取方法对文本进行可视化展示
这部分内容,参考我的文本内容可视化项目项目TextGrapher:https://github.com/liuhuanyong/TextGrapher
# 结束语
关于事件监测的方法有很多,也有很多问题需要去解决,以上提出的方法只是一个尝试,就算法本身还有许多需要改进的地方
If any question about the project or me ,see https://liuhuanyong.github.io/
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
中文人物关系知识图谱(含码源):中文人物关系图谱构建、数据回标、基于远程监督人物关系抽取、知识问答等应用. 1. 完成一定规模的人物关系知识库, 作为公开数据集开放出去 2. 走一遍实体关系回标,形成一个准确性相对允许的人物关系抽取数据集 3. 走一遍基于学习方式实体关系抽取,查看一下效果,熟悉一下这个技术流程 4. 走一便基于Bootstrapping的实体关系抽取,熟悉一下这个技术流程 5. 基于构建起来的人物关系图谱,完成一个面向人物关系图谱的知识问答
资源推荐
资源详情
资源评论
收起资源包目录
中文人物关系知识图谱(含码源).zip (49个子文件)
PersonRelationKnowledgeGraph-master
EventMonitor
process_redis.py 1KB
__init__.py 140B
EventMonitor
__init__.py 0B
pipelines.py 2KB
settings.pyc 702B
spiders
utils.py 3KB
__init__.py 161B
handle_html.pyc 3KB
extract_news.pyc 10KB
handle_html.py 2KB
__init__.pyc 157B
news_spider.py 3KB
extract_news.py 11KB
__pycache__
handle_html.cpython-36.pyc 2KB
utils.cpython-35.pyc 3KB
handle_html.cpython-35.pyc 2KB
news_spider.cpython-36.pyc 2KB
news_spider.cpython-35.pyc 4KB
__init__.cpython-35.pyc 153B
extract_news.cpython-35.pyc 9KB
__init__.cpython-36.pyc 153B
extract_news.cpython-36.pyc 8KB
utils.cpython-36.pyc 3KB
rel_data.txt 1.25MB
items.py 469B
__init__.pyc 149B
settings.py 3KB
__pycache__
pipelines.cpython-35.pyc 1KB
settings.cpython-35.pyc 633B
__init__.cpython-35.pyc 145B
items.cpython-35.pyc 505B
middlewares.py 4KB
scrapy.cfg 267B
.idea
EventMonitor-master.iml 459B
workspace.xml 18KB
misc.xml 212B
modules.xml 290B
rel_data.txt 1.25MB
README.md 3KB
history_person_names.txt 20KB
image
person_graph1.png 341KB
rel_graph2.png 430KB
project_route.png 172KB
person.txt 113KB
star_person_names.txt 159KB
rel_type.txt 61KB
collect_person_rel.py 7KB
person2id.txt 200KB
rel_data.txt 1.25MB
共 49 条
- 1
资源评论
- 大梦一空2024-03-13资源太好了,解决了我当下遇到的难题,抱紧大佬的大腿~
- 2022要争气!!!!!!2023-11-11资源内容详细,总结地很全面,与描述的内容一致,对我启发很大,学习了。
- qq_570521812024-03-14感谢资源主的分享,这个资源对我来说很有用,内容描述详尽,值得借鉴。
- m0_749617862023-11-27感谢大佬分享的资源,对我启发很大,给了我新的灵感。
- 2201_758864862023-09-27这个资源值得下载,资源内容详细全面,与描述一致,受益匪浅。
汀、人工智能
- 粉丝: 7w+
- 资源: 367
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功