IKAnalyzer中文分词器V2012使用手册.pdf

IKAnalyzer 中文分词器

V2012 使用手册

目录

1.IK Analyzer 2012 介绍 .................................................................................................. 2

2.使用指南 ........................................................................................................................ 5

3.词表扩展 ...................................................................................................................... 12

4.针对 solr 的分词器应用扩展 ...................................................................................... 15

5.关于作者 ...................................................................................................................... 16

1.IK Analyzer 2012 介绍

1.1 IK Analyzer 2012 结构设计

1.2 IK Analyzer 2012 特性

 采用了特有的“正向迭代最细粒度切分算法“，支持细粒度和智能分词两种切分模式；

 在系统环境：Core2 i7 3.4G 双核，4G 内存，window 7 64 位， Sun JDK 1.6_29 64

位 普通 pc 环境测试，IK2012 具有 160 万字/秒（3000KB/S）的高速处理能力。

 2012 版本的智能分词模式支持简单的分词排歧义处理和数量词合并输出。

 采用了多子处理器分析模式，支持：英文字母、数字、中文词汇等分词处理，兼容韩文、

IKAnalyzer 是一个开源的，基于 java 语言开发的轻量级的中文分词工具包。从 2006 年 12

月推出 1.0 版开始， IKAnalyzer 已经推出了 3 个大版本。

 智能分词结果:

ikanalyzer | 是 | 一个 | 开源 | 的 | 基于 | java | 语言 | 开发 | 的 | 轻量级 | 的 | 中

文 | 分词 | 工具包 | 从 | 2006年 | 12月 | 推出 | 1.0版 | 开始 | ikanalyzer | 已经 | 推

| 出了 | 3个 | 大 | 版本

 最细粒度分词结果:

ikanalyzer | 是 | 一个 | 一 | 个 | 开源 | 的 | 基于 | java | 语言 | 开发 | 的 | 轻量级

| 量级 | 的 | 中文 | 分词 | 工具包 | 工具 | 包 | 从 | 2006 | 年 | 12 | 月 | 推出 | 1.0 |

版 | 开始 | ikanalyzer | 已经 | 推出 | 出了 | 3 | 个 | 大 | 版本

公路局正在治理解放大道路面积水问题

 智能分词结果:

公路局 | 正在 | 治理 | 解放 | 大道 | 路面 | 积水 | 问题

 最细粒度分词结果:

公路局 | 公路 | 路局 | 正在 | 治理 | 理解 | 解放 | 放大 | 大道 | 道路 | 路面 | 面积

| 积水 | 问题

据路透社报道，印度尼西亚社会事务部一官员星期二(29 日)表示，日惹市附近当地时间 27

日晨 5 时 53 分发生的里氏 6.2 级地震已经造成至少 5427 人死亡，20000 余人受伤，近 20