DL-硬
带注释的深度学习数据集,用于通过和文档检索
目录
论文概述:
概述
深度学习深度学习(DL-HARD)是基于标准深度学习基准评估数据集的新的带注释数据集。 它建立在TREC深度学习( )问题的基础上,广泛地用来自领先的Web搜索引擎的查询意图类别,答案类型,错误的实体,主题类别和结果类型元数据进行注释。 基于这些数据,我们介绍了一个用于识别具有挑战性的问题的框架。 DL-HARD包含来自2019/2020年官方评估基准的四十九个查询,其中一半是新近独立评估的。 我们使用DL-HARD上正式提交给DL的运行进行实验,发现指标和参与系统的排名存在实质性差异。 总体而言,DL-HARD是一种新资源,它通过关注具有挑战性和复杂的查询来促进对神经排名方法的研究。
数据集
DL-Hard提供49条查询以进行通过和文档检索:
(MS Marco格式,即)
注解
为DL 2019/20测试数