# pyhanlp: Python interfaces for HanLP1.x
 [](https://pepy.tech/project/pyhanlp) [](https://github.com/hankcs/pyhanlp/blob/master/LICENSE)
[HanLP1.x](https://github.com/hankcs/HanLP/tree/1.x)的Python接口，支持自动下载与升级[HanLP1.x](https://github.com/hankcs/HanLP/tree/1.x)，兼容py2、py3。内部算法经过工业界和学术界考验，配套书籍[《自然语言处理入门》](http://nlp.hankcs.com/book.php)已经出版，欢迎查阅[随书代码](https://github.com/hankcs/pyhanlp/tree/master/tests/book)。基于深度学习的[HanLP2.x](https://github.com/hankcs/HanLP/tree/doc-zh)已于2020年初发布，次世代最先进的多语种NLP技术，与1.x相辅相成，平行发展。
## 安装
**非IT人士**可直接使用[傻瓜虚拟机](https://od.hankcs.com/book/intro_nlp/%E5%82%BB%E7%93%9C%E8%99%9A%E6%8B%9F%E6%9C%BA/)；**新手**建议观看[安装教程（附安装包）](https://od.hankcs.com/book/intro_nlp/%E5%AE%89%E8%A3%85%E5%8C%85/)；**工程师**请：
先安装[JDK](http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html)和[Python<=3.8](https://docs.conda.io/en/latest/miniconda.html)。要求JDK、操作系统和Python位数一致。然后[设置JAVA_HOME环境变量](https://bbs.hankcs.com/t/hanlp-java/999)，最后执行：
```bash
conda install -c conda-forge jpype1==0.7.0 # (可选)conda安装jpype1更方便
pip install pyhanlp
```
使用命令`hanlp`来验证安装，如因网络等原因自动安装失败，可参考[手动配置](https://github.com/hankcs/pyhanlp/wiki/%E6%89%8B%E5%8A%A8%E9%85%8D%E7%BD%AE)或[Windows指南](https://github.com/hankcs/pyhanlp/wiki/Windows)。
## 命令行
### 中文分词
使用命令`hanlp segment`进入交互分词模式，输入一个句子并回车，[HanLP1.x](https://github.com/hankcs/HanLP/tree/1.x)会输出分词结果：
```python
$ hanlp segment
商品和服务
商品/n 和/cc 服务/vn
当下雨天地面积水分外严重
当/p 下雨天/n 地面/n 积水/n 分外/d 严重/a
龚学平等领导说,邓颖超生前杜绝超生
龚学平/nr 等/udeng 领导/n 说/v ,/w 邓颖超/nr 生前/t 杜绝/v 超生/vi
```
还可以重定向输入输出到文件等：
```python
$ hanlp segment <<< '欢迎新老师生前来就餐'
欢迎/v 新/a 老/a 师生/n 前来/vi 就餐/vi
```
### 依存句法分析
命令为`hanlp parse`，同样支持交互模式和重定向：
```python
$ hanlp parse <<< '徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标。'
1 徐先生 徐先生 nh nr _ 4 主谓关系 _ _
2 还 还 d d _ 4 状中结构 _ _
3 具体 具体 a a _ 4 状中结构 _ _
4 帮助 帮助 v v _ 0 核心关系 _ _
5 他 他 r rr _ 4 兼语 _ _
6 确定 确定 v v _ 4 动宾关系 _ _
7 了 了 u ule _ 6 右附加关系 _ _
8 把 把 p pba _ 15 状中结构 _ _
9 画 画 v v _ 8 介宾关系 _ _
10 雄鹰 雄鹰 n n _ 9 动宾关系 _ _
11 、 、 wp w _ 12 标点符号 _ _
12 松鼠 松鼠 n n _ 10 并列关系 _ _
13 和 和 c cc _ 14 左附加关系 _ _
14 麻雀 麻雀 n n _ 10 并列关系 _ _
15 作为 作为 p p _ 6 动宾关系 _ _
16 主攻 主攻 v vn _ 17 定中关系 _ _
17 目标 目标 n n _ 15 动宾关系 _ _
18 。 。 wp w _ 4 标点符号 _ _
```
### 服务器
通过`hanlp serve`来启动内置的http服务器，默认本地访问地址为：http://localhost:8765 ；也可以访问官网演示页面：http://hanlp.hankcs.com/ 。
### 升级
通过`hanlp update`命令来将[HanLP1.x](https://github.com/hankcs/HanLP/tree/1.x)升级到最新版。该命令会获取[HanLP主项目最新版本](https://github.com/hankcs/HanLP/releases)并自动下载安装。
欢迎通过`hanlp --help`查看最新帮助手册。
## API
通过工具类[`HanLP`](https://github.com/hankcs/HanLP/blob/1.x/src/main/java/com/hankcs/hanlp/HanLP.java#L55)调用常用接口：
```python
from pyhanlp import *
print(HanLP.segment('你好，欢迎在Python中调用HanLP的API'))
for term in HanLP.segment('下雨天地面积水'):
print('{}\t{}'.format(term.word, term.nature)) # 获取单词与词性
testCases = [
"商品和服务",
"结婚的和尚未结婚的确实在干扰分词啊",
"买水果然后来世博园最后去世博会",
"中国的首都是北京",
"欢迎新老师生前来就餐",
"工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作",
"随着页游兴起到现在的页游繁盛，依赖于存档进行逻辑判断的设计减少了，但这块也不能完全忽略掉。"]
for sentence in testCases: print(HanLP.segment(sentence))
# 关键词提取
document = "水利部水资源司司长陈明忠9月29日在国务院新闻办举行的新闻发布会上透露，" \
"根据刚刚完成了水资源管理制度的考核，有部分省接近了红线的指标，" \
"有部分省超过红线的指标。对一些超过红线的地方，陈明忠表示，对一些取用水项目进行区域的限批，" \
"严格地进行水资源论证和取水许可的批准。"
print(HanLP.extractKeyword(document, 2))
# 自动摘要
print(HanLP.extractSummary(document, 3))
# 依存句法分析
print(HanLP.parseDependency("徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标。"))
```
### 更多功能
更多功能，包括但不限于：
- 自定义词典
- 极速词典分词
- 索引分词
- CRF分词
- 感知机词法分析
- 臺灣正體、香港繁體
- 关键词提取、自动摘要
- 文本分类、情感分析
请阅读[HanLP主项目文档](https://github.com/hankcs/HanLP/blob/1.x/README.md)和[demos目录](https://github.com/hankcs/pyhanlp/tree/master/tests/demos)以了解更多。调用更底层的API需要参考Java语法用JClass引入更深的类路径。以感知机词法分析器为例，这个类位于包名[`com.hankcs.hanlp.model.perceptron.PerceptronLexicalAnalyzer`](https://github.com/hankcs/HanLP/blob/1.x/src/main/java/com/hankcs/hanlp/model/perceptron/PerceptronLexicalAnalyzer.java)下，所以先用`JClass`得到类，然后就可以调用了：
```
PerceptronLexicalAnalyzer = JClass('com.hankcs.hanlp.model.perceptron.PerceptronLexicalAnalyzer')
analyzer = PerceptronLexicalAnalyzer()
print(analyzer.analyze("上海华安工业（集团）公司董事长谭旭光和秘书胡花蕊来到美国纽约现代艺术博物馆参观"))
```
输出：
```
[上海/ns 华安/nz 工业/n （/w 集团/n ）/w 公司/n]/nt 董事长/n 谭旭光/nr 和/c 秘书/n 胡花蕊/nr 来到/v [美国/ns 纽约/ns 现代/t 艺术/n 博物馆/n]/ns 参观/v
```
如果你需要多线程安全性，可使用`SafeJClass`；如果你需要延迟加载，可使用`LazyLoadingJClass`。如果你经常使用某个类，欢迎将其写入`pyhanlp/__init__.py`中并提交pull request，谢谢！
## 与其他项目共享data
[HanLP1.x](https://github.com/hankcs/HanLP/tree/1.x)具备高度可自定义的特点，所有模型和词典都可以自由替换。如果你希望与别的项目共享同一套data，只需将该项目的配置文件`hanlp.properties`拷贝到pyhanlp的安装目录下即可。本机安装目录可以通过`hanlp --version`获取。
同时，还可以通过`--config`临时加载另一个配置文件：
```
hanlp segment --config path/to/another/hanlp.properties
```
## 测试
```
git clone https://github.com/hankcs/pyhanlp.git
cd pyhanlp
pip install -e .
python tests/test_hanlp.py
```
## 反馈
任何bug，请前往[HanLP issue区](https://github.com/hankcs/HanLP/issues)。提问请上[论坛](https://bbs.hankcs.com/)反馈，谢谢。
## [《自然语言处理入门》](http://nlp.hankcs.com/book.php)
自然语言处理是一门博大精深的学科，掌握
pyhanlp：汉语分词词性标注命名实体识别依存句法分析新词发现
需积分: 40 29 浏览量
2021-03-03
11:14:29
上传
评论 1
收藏 147KB ZIP 举报
pyhanlp：汉语分词词性标注命名实体识别依存句法分析新词发现 （143个子文件） 
setup.cfg 26B .gitignore 1KB
index.html 24KB hanlp.properties.in 2KB MANIFEST.in 155B LICENSE 11KB README.md 9KB README.md 281B demo_word_distance.py 26KB __init__.py 11KB __init__.py 8KB main.py 5KB test_hanlp.py 5KB server.py 4KB ngram_segment.py 4KB plot_3d_sgd_newton.py 3KB util.py 3KB plot_3d_sgd.py 3KB demo_occurrence.py 3KB demo_word2vec.py 3KB demo_chinese_name_recognition.py 3KB doctor_hmm.py 3KB demo_perceptron_lexical_analyzer.py 3KB demo_dependency_parser.py 3KB demo_phrase_extractor.py 3KB evaluate_cws.py 3KB demo_stopword.py 3KB test_multithread.py 2KB demo_NShort_segment.py 2KB demo_custom_nature.py 2KB demo_stopwords.py 2KB opinion_mining.py 2KB plot_2d_newton.py 2KB demo_svm_text_classification.py 2KB demo_pinyin.py 2KB dat.py 2KB demo_basic_tokenizer.py 2KB demo_text_classification_evaluation.py 2KB demo_role_tag_nr.py 2KB demo_URL_recognition.py 2KB zipf_law.py 2KB sighan05_statistics.py 2KB demo_msra_ner.py 2KB plot_corpus_ratio_f1.py 2KB plot_compressed_f1.py 2KB demo_translated_name_recognition.py 2KB crfpp_train_hanlp_load.py 2KB demo_extract_word.py 2KB trie.py 2KB demo_traditional_chinese2simplified_chinese.py 2KB plot_name.py 2KB setup.py 2KB demo_text_classification.py 2KB demo_hmm_ner.py 2KB demo_pinyin_to_chinese.py 2KB demo_neual_parser.py 2KB demo_role_tag_nt.py 1KB demo_plane.py 1KB demo_suggester.py 1KB demo_NLP_segment.py 1KB perceptron_cws.py 1KB demo_role_tag_ns.py 1KB demo_text_clustering.py 1KB classify_name.py 1KB demo_hmm_pos.py 1KB eval_perceptron_cws.py 1KB demo_get_bow_vec.py 1KB demo_CRF_lexical_analyzer.py 1KB demo_text_clustering.py 1KB demo_sp_ner.py 1KB demo_number_and_quantifier_recognition.py 1KB demo_crf_pos.py 1KB demo_sentiment_analysis.py 1KB demo_index_segment.py 1KB demo_load_text_classification_corpus.py 1KB hmm_cws.py 1KB demo_custom_dictionary.py 1KB demo_japanese_name_recognition.py 1KB backward_segment.py 1KB forward_segment.py 1KB plot_2d_sgd.py 1KB bidirectional_segment.py 1KB demo_summary.py 1KB evaluate_pos.py 1KB speed_benchmark.py 1KB demo_perceptron_pos.py 1KB evaluate_crf_cws.py 1KB online_learning.py 1KB demo_high_speed_segment.py 1KB demo_normalization.py 1KB demo_organization_recognition.py 1012B demo_tfidf.py 983B demo_use_AhoCorasickDoubleArrayTrieSegment.py 977B demo_train_parser.py 976B demo_dat_segment.py 958B test_utility.py 949B demo_corpus_loader.py 930B demo_term_freq.py 905B demo_notional_tokenizer.py 876B test_word2vec.py 873B共 143 条
- 1
- 2
评论0