syntok：文本标记化和句子分段（segtok v2）
需积分: 9 87 浏览量
2021-02-03
18:34:17
上传
评论
收藏 23KB ZIP 举报
syntok-master.zip （15个子文件） 
syntok-master 
setup.py 1KB .gitignore 106B
requirements.txt 25B Makefile 86B .travis.yml 163B syntok tokenizer_test.py 4KB __init__.py 0B _segmentation_states.py 17KB segmenter.py 4KB tokenizer.py 9KB tokenizer_test.txt 2KB segmenter_test.py 21KB LICENSE 1KB setup.cfg 263B README.rst 8KB资源评论
