BPE-Dropout:BPE-Dropout的正式实施

BPE退出 引入的“ BPE-Dropout”算法的正式实现 介绍 该存储库包含原始论文中使用的BPE-Dropout算法的参考实现。 该存储库不包含用于构建BPE合并表的代码，为简单起见，它依赖于外部BPE合并表。 请注意，在执行子词分段的几个最常用的软件包中已经实现了BPE丢弃算法（请参阅）。 我们鼓励使用这些实现，因为它们提供了合并表的构建和其他有用的功能。 在使用这些语句时，请记住，我们的算法应应用于每个新的批处理或新的纪元，以获取同一句子的多个分段。 用法示例 BPE（并且BPE-dropout继承了这一点）需要一个合并表来进行操作。 在此示例中，我们将使用生成的合并表： merge_table_path = './example/subword_nmt.voc' from bpe import load_subword_nmt_table, BpeOnlineTokeniz