没有合适的资源?快使用搜索试试~ 我知道了~
JapaneseTokenizers:旨在尽可能轻松地使用JapaneseTokenizer
共53个文件
py:33个
txt:3个
yml:3个
需积分: 10 0 下载量 87 浏览量
2021-02-03
18:37:39
上传
评论
收藏 56KB ZIP 举报
温馨提示
这是什么? 这是日语令牌生成器(AKA令牌生成器)的简单python包装器 该项目旨在调用令牌生成器,并将句子尽可能容易地拆分为令牌。 并且,该项目支持各种Tokenization工具的通用接口。 因此,比较各种标记器的输出很容易。 也有此项目。 如果发现任何错误,请向github问题报告。 或任何拉请求是欢迎的! 要求 Python 2.7 Python 3.x 在3.5、3.6、3.7中签入 产品特点 各种令牌生成器之间的简单/通用接口 简单/通用接口,用于使用停用词或词性条件进行过滤 添加用户词典的简单界面(仅限Mecab) 支持的分词器 麦卡布 是适用于各种语言的开源令牌生成
资源推荐
资源详情
资源评论
收起资源包目录
JapaneseTokenizers-master.zip (53个子文件)
JapaneseTokenizers-master
MANIFEST.in 136B
LICENSE.txt 1KB
travis-mecab-install.sh 971B
examples
examples.py 7KB
userdict.csv 70B
userdict.dict 4KB
.travis.yml 1KB
test
test_filter_python2.py 2KB
common
__init__.py 0B
test_server_handler.py 3KB
requirements_py3.txt 85B
test_filter_python3.py 2KB
Dockerfile-dev 5KB
test_jumanpp_wrapper_python2.py 5KB
Dockerfile 4KB
test_juman_wrapper_python2.py 7KB
__init__.py 26B
test_kytea_wrapper_python2.py 4KB
requirements_py2.txt 98B
test_jumanpp_wrapper_python3.py 5KB
test_all.py 2KB
test_mecab_wrapper_python2.py 3KB
test_juman_wrapper_python3.py 8KB
resources
test
userdict.csv 70B
userdict.dict 4KB
docker-compose.yml 501B
docker-compose-dev.yml 577B
test_mecab_wrapper_python3.py 4KB
test_kytea_wrapper_python3.py 3KB
setup.py 3KB
README.md 6KB
Makefile 409B
install_tokenizers.sh 3KB
JapaneseTokenizer
common
__init__.pyc 166B
text_preprocess.py 3KB
juman_utils.py 2KB
timeout_handler.py 912B
__init__.py 26B
sever_handler.py 5KB
kytea_wrapper
kytea_wrapper.py 5KB
__init__.py 65B
datamodels.py 11KB
__init__.py 347B
jumanpp_wrapper
jumanpp_wrapper.py 10KB
__init__.py 43B
mecab_wrapper
__init__.pyc 241B
__init__.py 66B
mecab_wrapper.py 15KB
init_logger.py 666B
object_models.py 571B
juman_wrapper
__init__.py 66B
juman_wrapper.py 9KB
.gitignore 166B
共 53 条
- 1
资源评论
西西里上尉
- 粉丝: 24
- 资源: 4667
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 基于CarNet实现裂缝检测python源码+文档说明+数据+图片(课程设计)
- 课程设计-基于耐火材料裂缝剥落检测python源码+课件
- 基于OpenCV的视频道路车道检测python源码+文档说明+实验演示+图片+使用方法(高分毕业设计)
- 基于OpenCV的案例:图像边缘、角点和轮廓检测,图像分割,图像增强;图片拼接;运动目标检测,颜色直方图比较,三帧帧差法,抠图
- SmartPlug-html大一笔记
- SmartPlug-proteusdemo
- Preliminary Findings on Handmade Rattan Baby Crib andBassinet Designs Regarding.zip
- aveebfq_v1.2.83_downyi.com.apk
- 基于有机发光二极管(OLED)的建模优化算法的matlab仿真源码+数据+文档说明+项目说明(高分课程设计)
- hash01-test.c 本人哈希表(一)的示例代码,仅供参考!
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功