【免费】NLPIR-ICTCLAS2014分词系统开发手册1

网络协议

自然语言处理

需积分: 0 191 浏览量 2022-08-03 21:04:20 上传评论收藏 1.36MB PDF 举报

资源详情

资源评论

资源推荐

NLPIR/ICTCLAS2014 分词系统开发文档 http://ICTCLAS.nlpir.org

NLPIR/ICTCLAS 2014 分词系统开发文档

http://ICTCLAS.nlpir.org/

@ICTCLAS 张华平博士

2013-12

NLPIR/ICTCLAS2014 分词系统开发文档 http://ICTCLAS.nlpir.org

目

录

NLPIR/ICTCLAS 2014 分词系统开发文档 .................................................................................. 1

目

录

录 .................................................................................................................................................. 4

1. NLPIR/ICTCLAS2014 分词系统简介 .......................................................................................... 5

2. NLPIR/ICTCLAS2014 分词系统主要功能介绍 .......................................................................... 6

3. NLPIR/ICTCLAS2014 分词系统评测 ........................................................................................ 11

3.1 NLPIR/ICTCLAS 在 973 评测中的测试结果 ......................................................... 11

3.2 第一届国际分词大赛的评测结果 .......................................................................... 12

3.3 NLPIR/ICTCLAS 的评测结果 ................................................................................ 13

4. NLPIR/ICTCLAS 大事记： ........................................................................................................ 15

5．C/C＋＋接口 ............................................................................................................................. 17

5.1 NLPIR_Init ..................................................................................................................... 17

5.2 NLPIR_Exit ..................................................................................................................... 18

5.3 NLPIR_ImportUserDict ................................................................................................. 19

5.4 NLPIR_ParagraphProcess ............................................................................................. 21

5.5 NLPIR_ParagraphProcessA ........................................................................................... 22

5.6 NLPIR_FileProcess ......................................................................................................... 24

5.7 NLPIR_GetParagraphProcessAWordCount ................................................................... 25

5.8 NLPIR_ ParagraphProcessAW ....................................................................................... 28

5.9 NLPIR_AddUserWord .................................................................................................... 29

5.10 NLPIR_SaveTheUsrDic ................................................................................................ 30

5.11 NLPIR_DelUsrWord..................................................................................................... 31

5.12 NLPIR_GetKeyWords .................................................................................................. 32

5.13 NLPIR_GetFileKeyWords ............................................................................................ 34

5.14 NLPIR_GetNewWords ................................................................................................. 35

5.15 NLPIR_GetFileNewWords ........................................................................................... 36

5.16 NLPIR_FingerPrint ....................................................................................................... 37

5.17 NLPIR_SetPOSmap ...................................................................................................... 38

5.17 新词发现批量处理功能 ............................................................................................... 40

6． JNA 接口 .................................................................................................................................. 43

6.1jna 使用分词简介 ............................................................................................................ 43

6.2jna 使用分词示例 ............................................................................................................ 43

7． hadoop 平台使用分词 ............................................................................................................ 46

7.1 hadoop 使用分词简介 ...................................................................................................... 46

7.2 hadoop 使用分词示例 ...................................................................................................... 46

8. C#接口说明 ............................................................................................................................... 49

7.1 说明 ................................................................................................................................... 49

7.2 接口示例 ........................................................................................................................... 49

9 NLPIR2011 运行环境 .............................................................................................................. 51

9 常见问题（FAQ） ....................................................................................................................... 52

Q1: Linux 调用 NLPIR 的时候，链接不上库 ...................................................................... 52

NLPIR/ICTCLAS2014 分词系统开发文档 http://ICTCLAS.nlpir.org

Q2: NLPIR 系统初始化老是失败 ......................................................................................... 52

Q3: NLPIR 系统是否支持多线程，没有显式的创建与销毁分词对象（句柄、上下文）的

接口，故不支持多线程和多实例 ......................................................................................... 52

Q4: 没有找到选择粗/细颗粒度的接口 .............................................................................. 52

Q5: 连续的空白符号是每个符号单独输出的，希望有合并输出的选项。 ..................... 53

Q6: 支持在一个应用中，同时进行 GB18030 和 UTF-8 的分词 ....................................... 53

Q7: NLPIR2010 的 JNI 调用实现过程 ................................................................................. 53

10 作者简介 ................................................................................................................................... 54

1. NLPIR/ICTCLAS2014 分词系统简介

词法分析是自然语言处理的基础与关键。张华平博士在多年研究工作积累的

基础上，研制出了 NLPIR 分词系统，主要功能包括中文分词；英文分词；词性标

注；命名实体识别；新词识别；关键词提取；支持用户专业词典与微博分析。NLPIR

系统支持多种编码（GBK 编码、UTF8 编码、BIG5 编码）、多种操作系统（Windows,

Linux ， FreeBSD 等所有主流操作系统）、多种开发语言与平台（包括：

C/C++/C#,Java,Python,Hadoop 等）。

NLPIR 分词系统前身为 2000 年发布的 ICTCLAS 词法分析系统，从 2009 年开

始，为了和以前工作进行大的区隔，并推广 NLPIR 自然语言处理与信息检索共享

平台，调整命名为 NLPIR 分词系统。张华平博士先后倾力打造十余年，内核升级

十余次，先后获得了 2010 年钱伟长中文信息处理科学技术奖一等奖，2003 年国

际 SIGHAN 分词大赛综合第一名，2002 年国内 973 评测综合第一名。全球用户突

破 30 万，包括中国移动、华为、中搜、3721、NEC、中华商务网、硅谷动力、云

南日报等企业，清华大学、新疆大学、华南理工、麻省大学等机构：同时，ICTCLAS

广泛地被《科学时报》、《人民日报》海外版、《科技日报》等多家媒体报道。

您可以访问 Google 进一步了解 ICTCLAS 的应用情况。

我们提供各类二次开发接口，特别欢迎相关的科研人员、工程技术人员使用，

并承诺非商用应用永久免费的共享策略。访问 http://ictclas.nlpir.org/(自

然语言处理与信息检索共享平台)，您可以获取 NLPIR 系统的最新版本，并欢迎

您关注张华平博士的新浪微博 @ICTCLAS 张华平博士交流。

剩余54页未读，继续阅读

评论收藏

内容反馈

我要WhatYouNeed

粉丝: 42
资源: 287

NLPIR-ICTCLAS2014分词系统开发手册1

评论0

最新资源

NLPIR-ICTCLAS2014分词系统开发手册1

评论0

分词系统开发

NLPIR-ICTCLAS2014分词系统开发手册2015版1

c++调用NLPIR-ICTCLAS2014分词系统

NLPIR分词系统的分词和测试代码

中科院ICTCLAS2014分词系统下载包

解决NLPIR-ICTCLAS2014分词系统词库过大，造成读取缓慢问题

NLPIR-ICTCLAS分词系统开发手册2016版1

NLPIR-ICTCLAS分词系统开发手册2016版

NLPIR-ICTCLAS分词系统开发手册2017版 1

用纯C语言开发了一个中文分词系统,速度大约1万字/1秒,大小100K(免费+开源+86万词库+操作示意图+测试用例)

NLPIR-SplitSentence分句系统开发手册1

NLPIR中科院分词系统调研成果

PHP实例开发源码—SCWS 开源免费的简易php中文分词系统.zip

NLPIR/ICTCLAS2014

nlpir 分词2014

ICTCLAS-NLPIR2016分词大会演讲

ICTCLAS-NLPIR2015分词大会演讲

基于NLPIR(ICTCLAS2013)的中文分词C#实例

基于隐马尔科夫模型的彝文分词系统设计与开发 (2012年)

NLPIR-DeepClassifier深度分类系统开发手册2017版1

中科院NLPIR最新版分词（2018.10）系统加入用户词典和去除停用词的完整代码

Java开发的中文分词系统.zip

NLPIR中科院分词系统JAVA.zip

ICTCLAS2016分词系统2016

NLPIR ICTCLAS2013 .net下实例

NLPIR2016分词工具包

ICTCLAS中文分词系统C++代码

ICTCLAS分词系统研究

最新资源