# NER
一个中文的实体命名识别系统
当前版本基于双向循环神经网络(BiRNN) + 条件随机场(CRF)来完成实体的标注。 基本思路是利用深度神经网络提取特征,从而避免了手动提取特征的麻烦。
第二部和传统的方式一样,使用CRF在做最后的标注。
该程序使用Tensorflow完成,使用了当前较新的DataSet API,使数据预处理和feed更优雅。
由于使用了新的API, Tensorflow版本必须大于1.2.0,代码升级后使用的是TensorFlow1.4,不确定原来Tensorflow1.2是否还兼容。
如何使用?
1. 建议安装tensorflow >= 1.4.1
2. 提供训练所需的数据,具体格式在resource文件夹里有展示。但是需要自行分词。只需提供3个文件:
source.txt target.txt 和 预训练的词向量。
3. 训练词向量,训练工具可以是gensim的word2vector或者glove等等,然后将词和对应的词向量以以下格式保存。
具体格式是:
单词A:0.001,0.001,0.001,....
单词B:0.001,0.001,0.001,....
单词C:0.001,0.001,0.001,....
.
.
.
有些训练工具得出的文件结果就是以上格式不需要修改. 程序默认embedding size是300, 可以按需求做更改
(注意:训练词向量的数据量越大越好,不只限于当前语聊,如果需要训练好的词向量可以联系我。)
4. 修改config.py里的文件存路径,所有的配置都在这个文件里。
5. 训练:修改config.py
tf.app.flags.DEFINE_string("action", 'train', "train | predict")
$ python rnn.py
6. 预测:修改config.py
tf.app.flags.DEFINE_string("action", 'predict', "train | predict")
$ python rnn.py
注意:
原本resource文件中只包含predict.txt, source.txt, target.txt, 如果更换自己的词向量文件记得删除其他自动生成的文件。
更多文件、问题见issues.
没有合适的资源?快使用搜索试试~ 我知道了~
python《基于tensorflow深度学习的中文的命名实体识别系统》+源代码+设计资料
共11个文件
py:4个
txt:3个
pyc:2个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 170 浏览量
2024-05-02
09:38:48
上传
评论
收藏 341KB ZIP 举报
温馨提示
<项目介绍> - 一个中文的实体命名识别系统 当前版本基于双向循环神经网络(BiRNN) + 条件随机场(CRF)来完成实体的标注。 基本思路是利用深度神经网络提取特征,从而避免了手动提取特征的麻烦。 第二部和传统的方式一样,使用CRF在做最后的标注。 - 不懂运行,下载完可以私聊问,可远程教学 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 --------
资源推荐
资源详情
资源评论
收起资源包目录
基于tensorflow深度学习的中文的命名实体识别.zip (11个子文件)
基于tensorflow深度学习的中文的命名实体识别
utils.py 12KB
__init__.py 0B
resource
predict.txt 822B
source.txt 712KB
target.txt 311KB
rnn.py 7KB
utils.pyc 11KB
config.pyc 1KB
.gitignore 0B
README.md 2KB
config.py 1KB
共 11 条
- 1
资源评论
程序员无锋
- 粉丝: 3676
- 资源: 2178
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功