项目报告 1120181319 崔晨曦 071118051

该项目是一个自然语言处理的课程大作业，由崔晨曦完成，编号1120181319，主要涉及分词、词性标注和命名实体识别。项目使用Python实现了一个词法分析工具包，包含了多种算法的实现。 在数据预处理阶段，项目使用了北大语料库作为数据集，该数据集包含了1998年人民日报的内容，已经过切分和词性标注，共有100多种词性标签。数据集被划分为训练集和测试集，比例为8.7:1。预处理包括按句分行，以便于统计模型如HMM和CRF++的使用。分词模块通过split方法处理数据，得到不含词性标签的训练和测试数据；词性标注模块则对原始的100多个词性标签进行了合并，简化为33个标签；命名实体识别模块则通过正则表达式匹配记录命名实体的位置。 在分词部分，项目提供了三种算法：基于隐马尔可夫模型（HMM）、基于N-最短路算法和逆向最大匹配。HMM算法先为字符打上BMES标签，然后训练模型得到转移矩阵、发射矩阵和初始状态向量，通过维特比算法找到最优路径。N-最短路算法通过构建图并使用Dijkstra算法寻找最短路径，本项目还引入随机性以获取多样化的分词结果。逆向最大匹配算法则采用贪心策略，从后向前匹配最长词。 词性标注部分，项目实现了HMM和条件随机场（CRF++）两种算法，其中CRF++利用C++接口，提供高效性能。命名实体识别同样使用了HMM和CRF++，重点关注人名、地名和机构名。 项目没有提供完整的性能指标，但提到了准确率、召回率和F1分数，以及效率（kb/s），这表明项目在处理速度和准确性上进行了评估。 这个项目涵盖了自然语言处理中的基础任务，通过多种算法实现，旨在提高分词、词性标注和命名实体识别的性能。通过实际数据集的训练和测试，项目不仅展现了理论知识的应用，还展示了在Python环境中实现这些算法的能力。