该项目主要是自学过程中对于一些知识点的整理，项目整体分为四部分，分别是算法、工程、工具和数学知识+源代码+文档说明

[TOC] # NLP ## 1. NLP基本任务概述 ### 1.1 句法分析（Lexical Analysis） 句法分析是对自然语言**词汇层面**的分析，是NLP中最基础的工作，主要包括如下 - **分词（Word Segmentation/Tokenization）** 对没有明显边界的文本进行切分，得到词序列 - 新词发现（New Words Identification） 找出文本中具有新形势、新意义或是新用法的词 - 形态分析（Morphological Analysis） 分析单词的形态组成，包括词干（Sterms）、词根（Roots）、词缀（Prefixes and Suffixes）等 - 词性标注（Part-of-speech Tagging） 确定文本中每个词的词性。词性包括动词（Verb）、名词（Noun）、代词（pronoun）等 - 拼写校正（Spelling Correction） 找出拼写错误的词并进行纠正 ### 1.2 句子分析（Sentence Analysis） 对自然语言进行句子层面的分析，包括句法分析和其他句子级别的分析任务 - 组块分析（Chunking） 标出句子中的短语块，例如名词短语（NP），动词短语（VP）等 - 超级标签标注（Super Tagging） 给每个句子中的每个词标注上超级标签，超级标签是句法树中与该词相关的树形结构 - 成分句法分析（Constituency Parsing） 分析句子的成分，给出一棵树由终结符和非终结符构成的句法树 - 依存句法分析（Dependency Parsing） 分析句子中词与词之间的依存关系，给一棵由词语依存关系构成的依存句法树 - **语言模型（Language Modeling）** 对给定的一个句子进行打分，该分数代表句子合理性（流畅度）的程度 - 语种识别（Language Identification） 给定一段文本，确定该文本属于哪个语种 - 句子边界检测（Sentence Boundary Detection） 给没有明显句子边界的文本加边界 ### 1.3 语义分析（Semantic Analysis） 对给定文本进行分析和理解，形成能够表达语义的形式化表示或分布式表示 - 词义消歧（Word Sense Disambiguation） 对有歧义的词，确定其准确的词义 - 语义角色标注（Semantic Role Labeling） 标注句子中的语义角色类标，语义角色，语义角色包括施事、受事、影响等 - 抽象语义表示分析（Abstract Meaning Representation Parsing） AMR是一种抽象语义表示形式，AMR parser把句子解析成AMR结构 - 一阶谓词逻辑演算（First Order Predicate Calculus） 使用一阶谓词逻辑系统表达语义 - 框架语义分析（Frame Semantic Parsing） 根据框架语义学的观点，对句子进行语义分析 - **词汇/句子/段落的向量化表示（Word/Sentence/Paragraph Vector）** 研究词汇、句子、段落的向量化方法，向量的性质和应用 ### 1.4 信息抽取（Information Extraction） 从无结构文本中抽取结构化的信息 - **命名实体识别（Named Entity Recognition）** 从文本中识别出命名实体，实体一般包括人名、地名、机构名、时间、日期、货币、百分比等 - 实体消歧（Entity Disambiguation） 确定实体指代的现实世界中的对象 - 术语抽取（Terminology/Giossary Extraction） 从文本中确定术语 - 共指消解（Coreference Resolution） 确定不同实体的等价描述，包括代词消解和名词消解 - 关系抽取（Relationship Extraction） 确定文本中两个实体之间的关系类型 - 事件抽取（Event Extraction） 从无结构的文本中抽取结构化事件 - **情感分析（Sentiment Analysis）** 对文本的主观性情绪进行提取 - **意图识别（Intent Detection）** 对话系统中的一个重要模块，对用户给定的对话内容进行分析，识别用户意图 - 槽位填充（Slot Filling） 对话系统中的一个重要模块，从对话内容中分析出于用户意图相关的有效信息 ### 1.5 顶层任务（High-level Tasks） 直接面向普通用户，提供自然语言处理产品服务的系统级任务，会用到多个层面的自然语言处理技术 - 机器翻译（Machine Translation）：通过计算机自动化的把一种语言翻译成另外一种语言 - 文本摘要（Text summarization/Simplication）：对较长文本进行内容梗概的提取 - 问答系统（Question-Answering Systerm）：针对用户提出的问题，系统给出相应的答案 - 对话系统（Dialogue Systerm）：能够与用户进行聊天对话，从对话中捕获用户的意图，并分析执行 - 阅读理解（Reading Comprehension）：机器阅读完一篇文章后，给定一些文章相关问题，机器能够回答 - 自动文章分级（Automatic Essay Grading）：给定一篇文章，对文章的质量进行打分或分级 - 文本分类（Text Classification）：对于文本预测相应的类别 - 知识图谱（Knowledge Graph）:知识点互相连接而成的语义网络 ### 1.6 NLP任务概括 最后简单概括（上面整体说的任务感觉有点多且有点繁琐），通常而言，绝大部分NLP问题可以归入四类任务中，分别是**序列标注**、**分类任务**、**句子关系判断**和**生成式任务**。 - 序列标注（sequence labeling） 这是最典型的NLP任务，比如中文分词，词性标注，命名实体识别，语义角色标注等都可以归入这一类问题，它的特点是句子中每个单词要求模型根据上下文都要给出一个分类类别。 这部分任务的特点是：输入为一段文本，输出为一段文本，输入和输出等长（N-N）。 - 分类任务（text classification） 比如我们常见的文本分类，情感计算，层次分类，多标签分类等都可以归入这一类。 这部分任务的特点是：输入一段文本，输出为预测的类别（N-1）。 - 句子关系判断 比如句子相似性判断，阅读理解，语言推理任务（判断两个句子是否具有某种蕴含关系标签）等。 这部分任务的特点是：输入为多段文本，输出的为一段文本或者标签（n-N-M or 1）。 - 生成式任务（text generation） 比如机器翻译，文本摘要，写诗造句，看图说话等都属于这一类。它的特点是输入文本内容后，需要自主生成另外一段文字。 这部分任务的特点是：输入为一段文本，输出为一段文本（N-M）。 上面所总结的这四大类任务基本可以涵盖NLP领域的具体任务。基于这部分任务我们可以再分两个角度进行划分和交叉。 - 细分维度 细分维度是指对某个任务会有很多不同任务，以分类为例，它可以分为二分类、多分类、多标签分类、层次化分类等。 以阅读理解任务为例，他可以分为抽取式、完形填空式、多项选择式和生成式。 - 交叉维度 交叉维度是指在某些业务场景下，会使用多个不同NLP任务，比如问答系统，它可能会用到分类任务、序列标注任务 生成式任务以及阅读理解任务等等。可以理解为灵活使用不同类型的NLP任务来解决业务问题。 ### 1.7 **学习方向** 可以将整体划分为**五部分**，第一部分为基础的NLP算法，第二部分为NLP具体的任务，第三部分为数据的强化，第四部分则为具体案例应用，第五部分为NLP的Q&A。 - 第一部分 **NLP基础算法** 这部分为NLP的最基础部分，常见的NLP算法，也就是下面介绍的各个相关的模型以及目前新出的模型。 这部分需要**学习**相关的算法，**总结**算法，**了解**算法。 - 学习算法 对于之前已经学习和总结过的算法，要不断的回顾和复习。 对于和自己业务相关的算法，要学习paper，学习其他人的总结。 对于其他相关的算法，可以不用细致学习，但是明白算法的原理，能够用自己话术表达。 > 大致�