BERT为何无法彻底干掉BM25？？.pdf

《BERT为何无法彻底干掉BM25？》 在当今的AI科技领域，BERT（Bidirectional Encoder Representations from Transformers）模型作为预训练式Transformer结构的代表，已经在许多自然语言处理任务上取得了显著的进步。然而，尽管BERT在信息检索任务上表现出色，但并未能完全取代传统的BM25（Best Match 25）检索算法。本文主要探讨了BERT的交叉编码器（Cross-Encoder，CE）与BM25之间的异同，并通过一系列实验来解答几个关键问题。 我们来看BERT与BM25的比较。BM25是一种基于词频统计的传统检索算法，它依赖于查询和文档之间的术语匹配。而BERT，尤其是其交叉编码器结构，能够捕获更深层次的语义关系，通过query和doc之间的术语交互来直接获取相关性信号。这使得BERT在揭示复杂关联模式方面比简单的term匹配更为强大。 针对BERT和BM25的不同，研究者提出了几个研究问题： RQ1.1: BERT的CE与BM25在排序上的区别是什么？ RQ1.2: CE是否能对BM25检索出的相同结果进行更好的排序？ RQ1.3: CE是否能召回被BM25遗漏的相关结果？ 在探索这些问题时，研究者通过实验量化了精确匹配和软匹配对整体效果的贡献，这是传统稀疏检索与神经检索匹配范式之间最直接的对比。 RQ2: CE能否实现术语的完全匹配？ RQ3: CE能否找到传统方法认为“不可能相关”的结果？ 实验采用BERT的CE对query和doc进行编码，利用[CLS]向量进行二分类，得到相关性得分并进行排序。在MS-MARCO数据集的TREC 2020 Deep Learning Track文章召回任务上，CE在所有指标上均优于BM25。 实验结果显示，虽然CE在高排名结果中与BM25有较大差异（仅约33%的相同），但在较低排名段（如CE@1000的60%）中，两者表现趋同。这表明，精确匹配是基础排序策略的重要部分，而CE的软匹配能力则弥补了BM25的不足，特别是在发现潜在相关性方面。 总结来说，BERT的CE在信息检索中确实提供了更丰富的语义理解，但其无法完全替代BM25的原因可能在于：一方面，CE在高排名结果中与BM25存在较大差异，这提示我们精确匹配在某些情况下仍然重要；另一方面，CE在低排名结果中表现接近BM25，说明在大量文档中，传统的基于词频的策略仍有效。因此，尽管BERT有其独特的优势，但在实际应用中，结合传统方法可能会带来更优化的解决方案。未来的研究应继续探索如何更好地融合这两种方法，以提高信息检索的准确性和效率。