南邮自然语言处理实验一

### 南邮自然语言处理实验一知识点解析 #### 一、实验背景与目的 本次实验为南京邮电大学自然语言处理课程的一部分，旨在通过实践操作加深学生对自然语言处理技术的理解与应用。实验主要聚焦于两个核心任务：词典分词和二元语法分词。 1. **词典分词**：基于词典查找的方法进行中文文本的切分。 2. **二元语法分词**：利用二元文法规则进行文本切分，是一种统计语言模型的应用。 #### 二、实验环境配置 - **硬件**：微型计算机 - **软件**：Windows操作系统、Python 3.7或3.8 - **工具**：HanLP，一款高性能的Java/Native中文处理工具包，支持词性标注、命名实体识别等功能。 #### 三、实验内容详解 ##### 1. 使用HanLP进行分词 **步骤1：** 在命令行提示符中输入`hanlp segment`后回车，将显示分词结果。例如： - 输入：“商品和服务” - 输出：“商品/n, 和/cc, 服务/vn” - 输入：“当下雨天地面积水分外严重” - 输出：“当/p, 下雨天/n, 地面/n, 积水/n, 分外/d, 严重/a” - 输入：“王总和小丽结婚了” - 输出：“王总/nr, 和/cc, 小丽/nr, 结婚/vi, 了/ule” - 输入：“欢迎新老师生前来就餐” - 输出：“欢迎/v, 新/a, 老/a, 师生/n, 前来/vi, 就餐/vi” - 输入：“结婚的和尚未结婚的确实在干扰分词啊” - 输出：“结婚/vi, 的/ude1, 和/cc, 尚未/d, 结婚/vi, 的/ude1, 确实/ad, 在/p, 干扰/vn, 分词/n, 啊/y” **步骤2：** 若仅需分词结果而不含词性标注，可在命令后添加`--no-tag`参数。例如： ``` hanlp segment --no-tag ``` **步骤3：** 通过文件输入输出进行分词处理。例如，对`input1.txt`文件进行分词并将结果保存至`output1.txt`中： ``` hanlp segment < input1.txt > output1.txt -a crf ``` 输出示例： ``` 春分/t 最/d 具/vg 灵性/n 的/ude1 美/b ，/w 是/vshi 千/m 色/ng 万/m 彩/ng 在/p 此时/r 终于/d 迎来/v 了/ule 盛开/v 的/ude1 时节/n 。/w 曾经/d 在/p 冬日/n 寒冷/a 中/f 蛰伏/v 的/ude1 土地/n ，/w 走过/v 立春/t ，/w 走过/v 雨水/n ，/w 走过/v 惊蛰/t ，/w 已经/d 完全/ad 苏醒/vi 。/w 春风/n 千/m 里/f ，/w 吹开/nz 百花/n ，/w 大江南北/n 暖意/n 融融/z ，/w 既/c 自外而内/l 熏染/v 着/uzhe 人们/n 的/ude1 心灵/n ，/w 又/d 自/p 内向/a 外/f ，/w 由/p 心/n 而/cc 发/v ，/w 欢快/a 的/ude1 灵魂/n 在/p 满园春色/n 里/f 自由/a 地/ude2 徜徉/vi 。/w ``` ##### 2. 句法分析 使用`hanlp parse`指令进行句法分析，以深入理解句子的结构和成分之间的关系。例如，对句子“徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标”进行句法分析： ``` hanlp parse <<< '徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标。' ``` 输出结果： ``` 1 徐先生 徐先生 nhnr_4 主谓关系__ 2 还 还 dd_4 状中结构__ 3 具体 具体 aad_4 状中结构__ 4 帮助 帮助 vv_0 核心关系__ 5 他 他 rr_4 兼语__ 6 确定 确定 vv_4 动宾关系__ 7 了 了 uu_6 右附加关系__ 8 把 把 pp_15 状中结构__ 9 画 画 vv_8 介宾关系__ 10 雄鹰 雄鹰 nn_9 动宾关系__ 11 、 、 wp w_12 标点符号__ 12 松鼠 松鼠 nn_10 并列关系__ 13 和 和 cc_14 左附加关系__ 14 麻雀 麻雀 nn_10 并列关系__ 15 作为 作为 vv_6 动宾关系__ 16 主攻 主攻 vvn_17 定中关系__ 17 目标 目标 nn_15 动宾关系__ 18 。 。 wp w_4 标点符号__ ``` 该输出详细展示了句子的结构，包括各个词汇之间的依存关系，有助于进一步理解句子含义及其构成。 ##### 3. 编写Python代码实现 根据教材第27页的例子，可以编写Python代码来实现上述功能。例如，使用HanLP库进行分词和句法分析： ```python from com.hankcs.hanlp import * # 加载HanLP模型 HanLP.Config.ShowTermNature = False segment = JClass('com.hankcs.hanlp.seg.common.OFFSET') parser = JClass('com.hankcs.hanlp.dependency.nnparser.NeuralNetworkDependencyParser') # 分词 sentence = "徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标。" term_list = segment.seg(sentence) print("分词结果:", term_list) # 句法分析 dependency = parser.compute(term_list) print("句法分析结果:", dependency) ``` 通过上述实验操作，学生不仅可以熟悉汉语言处理的基本概念和技术，还能实际操作相关工具，提升编程能力，为后续更深层次的学习打下坚实的基础。