中文分词工具.docx

1. Jieba

"结巴"中文分词：做最好的 Python 中文分词组件 "Jieba"。

Windows 和 Linux 下均可安装使用，安装命令：pip install jieba。

1.1 demo1--jieba 的三种切词模式：全模式、精确模式、搜索引擎模式





我来到北京清华大学

 !"#全模式



我在学 ，感觉它还是挺有意思的



我在学 ，感觉它还是挺有意思的

#

我在学 ，感觉它还是挺有意思的



#

%小博硕士就读于江苏师范大学，希望能顺

利毕业找到一份好工作

&'&!

&'

1.3 demo3--jieba 用于文件分词

python -m jieba -d “ “ text.txt > text_cut.txt

2. SnowNLP

SnowNLP 是一个 python 写的类库，可以方便的处理中文文本内容，是受

到了[TextBlob](https://github.com/sloria/TextBlob)的启发而写的，由于现在大部

分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，

并且和 TextBlob 不同的是，这里没有用 NLTK，所有的算法都是自己实现的，

并且自带了一些训练好的字典。