smaller-transformers:加载您需要的东西

较小的多语言变形金刚 该存储库共享较小版本的多语言转换器，这些转换器保留与原始转换器提供的表示相同的表示。 这个想法来自一个简单的观察：经过大量的多语言预训练之后，并不需要所有的嵌入来执行微调和推理。 实际上，很少有人会需要一种模型来支持原始超过100种语言。 因此，我们提取了一些处理较少语言的较小版本。 由于多语言转换器的大多数参数都位于嵌入层中，因此我们的模型的大小要小21％至45％。 下面的表格将我们的两个精简版本与原始mBERT进行了比较。 它在上显示了模型的大小，内存占用以及所获得的准确性（英语为法语的跨语言转换）。 这些测量是在。 模型 数值参数 尺寸 记忆 准确性 伯特基于多语言的情况 1.78亿 714兆字节 1400兆字节 73.8 Geotrend / bert-base-15lang-cased 1.41亿 564兆字节 1098兆字节 74.1 Geotr