TREC参与系统的广义偏差-方差评估

最近的研究表明，平均检索有效性（例如MAP）的提高可能会牺牲整个查询的检索稳定性，这意味着在有效性和稳定性之间进行权衡。 有效性和稳定性的评估通常基于基线模型，该模型可能是弱的或有偏见的。 此外，尚未通过TREC参与的系统对有效性-稳定性的权衡进行系统或定量的评估。 以上两个问题在一定程度上限制了我们对这种权衡及其对开发未来IR模型的影响的认识。 在本文中，受最近提出的基于偏差方差的评估的启发，我们采用了强大且无偏见的“基准”，这是一个由检索任务中所有参与系统中最佳性能（针对每个查询）构造的虚拟目标模型。 我们还提出了广义偏差方差度量，在此基础上，对TREC临时跟踪（1993-1999）和Web跟踪（2010-2012）的参与系统进行了有效性-稳定性权衡的系统和定量评估。 。 我们观察到明显的有效性-稳定性权衡，并且这种趋势在最近几年变得越来越明显。 这意味着，当我们多年来追求更有效的红外系统时，稳定性变得成问题，并且可能在很大程度上被忽略。