前言
时光荏苒，自 2003 年我师从吴立德教授，开启自然语言处理学习与研究之路，转眼已近二十
载春秋。回想当年第一次听到自然语言处理的目标 ──“让机器理解人类语言”时的兴奋，第一次
看到《大规模中文文本处理》教材时的茫然，仿佛黄萱菁教授对我研究生入学的电话面试就在昨
天，每周与吴老师固定交流前的紧张感依然清晰。从求学到任教，深刻感受到自然语言处理的快
速发展，从基于特征的统计机器学习方法到深度神经网络模型，再到大规模预训练方法，自然语
言处理研究范式的更新迭代速度也在不断加快。在本科生和研究生的自然语言处理课程教学过程
中，虽然通过不断补充国际国内的近期研究进展，将最新的理论和方法通过课件和面授的形式介
绍给同学们，但是系统全面的书籍仍然是不可或缺的重要资料。于是，自 2020 年起与黄萱菁教授
和桂韬研究员一起开始着手本书的准备，在经过几十次的讨论和大纲和结构反复修改后，自 2021
年暑假起开始了本书的写作。2022 年本书入选复旦大学七大系列百本精品教材项目和复旦大学研
究生规划系列教材项目，进一步督促我们加快进度。从规划到完成，历时近三年之久，这本拙作
终于完成。
自然语言处理研究融合了语言学、计算机科学、机器学习等多学科内容。自然语言处理的研
究内容从语言单位上划分涵盖字、词、短语、句子、段落到篇章等不同粒度，从类型上划分包含
处理、理解到生成等不同种类。研究内容涉及的知识点多且复杂。自然语言研究大体经历了 20 世
纪 50 年代末到 80 年代基于规则的研究范式，20 世纪 90 年代到 2010 年前基于特征的统计机器学
习研究范式，2010 年到 2018 年基于深度神经网络研究范式，以及 2018 年至今基于大规模和超大
规模预训练模型的研究范式等几个阶段。每个阶段的研究范式都有非常鲜明的特点，但也与机器
学习研究有着十分紧密的联系。自然语言处理研究内容繁杂以及与机器学习方法交织导致本书的
写作难度远超最初的预想。由于很多自然语言处理任务都转换为了机器学习问题，因此很多机器
学习算法可以应用于多个自然语言处理任务。比如，条件随机场模型可用于中文分词，也可以用
于词性标注，还可以用于命名实体识别。在这些任务中，条件随机场模型也都取得了不错的效果。
我们花费大量的时间讨论如何设计本书的结构，在避免重复的同时能够使得读者更好的了解更多
的自然语言处理研究内容和算法。
本书的目标是介绍自然语言处理的基本任务和主要处理算法。为了能够让读者更好的了解任
务的特性和算法设计的主要目标，在介绍每个自然语言处理任务时，除了介绍任务的目标之外，还
会介绍该任务所涉及的主要语言学理论知识以及任务的主要难点。针对自然语言处理历史发展过
