使用深度学习进行词法化
作者：Tsolak Ghukasyan 项目顾问：Adam Mathias Bittlingmayer
介绍
，仍需要来缩编工具，这需要构建每种语言的语言知识。
d-lemma正在开发仅使用带注释的文本数据集和单词嵌入的简单通用模型，以学习学习词形化。
d-引理模型支持越来越多的语言集-公开注解以lemma注释的UD树库和fastText嵌入支持60多种不同的语言。
方法
在该项目中，考虑了6种不同的方法。
为了了解对已开发的学习模型的评估，使用了两种基准方法：
身份基准身份函数（即，将输入令牌作为引理返回）是主要模型的弱基准。
最常见的身份退避引理返回最常见的引理可为已开发模型提供更强的基准。 该基线退回到未知单词的身份。
四种学习模型是：
线性回归对于每个输入令牌，具有余弦邻近损失的线性回归器会尝试产生其引理的嵌入。 lemmatizer在预测期间
