Laboro-BERT-Japanese:Laboro BERT日语

Laboro BERT日语：日语BERT经过Web-Corpus的预培训 介绍 关于我们的BERT模型 该日语BERT模型是在和该的基础上使用我们自己的Web语料库进行预训练的。 到目前为止，已经使用相同的Web语料库进行了预训练的基本模型（12层，隐藏768、12头，110M参数）和大型模型（24层，隐藏1024、16头，340M参数）已经被使用。已发布。 从下载基本模型。 从下载大型模型。 表现如何 该模型已针对两个任务进行了评估，Livedoor新闻分类任务和驾驶域问题解答（DDQA）任务。 在Livedoor新闻分类中，每条新闻应分为九类之一。 在DDQA任务中，给定问题-文章对，可以从文章中找到问题的答案。 与该存储库发布的日语维基百科语料库预先训练的基线模型相比，评估结果显示如下。 注意，结果是多次测量的平均值。 由于评估数据集的大小较小，因此每次结果可能会有所不同。 对于