character-bert:“ CharacterBERT”的主要存储库

字符BERT 这是论文“ ”的资料库，该论文即将在COLING 2020上发表。 2021-02-25：现在可以获得用于预训练BERT和CharacterBERT的代码！ 目录 论文摘要 TL; DR CharacterBERT是BERT的一种变体，它通过关注每个输入令牌的字符来生成单词级上下文表示。 为此，它不依赖于预定义的字词矩阵，而是使用类似于ELMo的CharacterCNN模块来生成任意令牌的表示形式。 除了这种区别之外，CharacterBERT的体系结构与BERT的体系结构相同。 上图显示了在BERT和CharacterBERT中构建上下文无关表示的方式。 在这里，我们假设“ Apple”是一个未知的令牌，并且看到BERT在嵌入每个单元之前将其拆分为两个单词“ Ap”和“ ## ple”。 另一方面，CharacterBERT接收令牌“ Apple”，然后照看其角色