lm-diagnostics:语言模型中语言能力的诊断测试

LM诊断 该存储库包含“什么不是BERT的”的诊断数据集和实验代码： Allyson Ettinger的新的语言模型心理语言学诊断套件的经验教训。 诊断测试数据 datasets文件夹包含包含每个诊断测试数据的TSV文件，以及每个数据集的说明性README文件。 代码 [现在所有代码已更新为可以在Python 3上运行。] 本部分中的代码可用于处理诊断数据集，以输入到语言模型，然后在该语言模型的预测上运行诊断测试。 该代码应在三个步骤中使用： 步骤1：处理数据集以产生LM的输入 proc_datasets.py可用于将提供的数据集处理为1） <testname>-contextlist文件，其中包含应该对LM预测进行条件设定的上下文（每行一个），以及b） <testname>-targetlist文件，其中包含目标词（一个每行，与*-contextlist的上下文对齐），您将需要以相应上