Query理解和语义召回在知乎搜索中的应用（20页）.pdf

在知乎搜索中，Query理解和语义召回是两个关键的技术，它们极大地提升了搜索的准确性和用户体验。知乎搜索自2016年开始使用Elastic Search作为基础搜索引擎，并随着时间的推移不断进行技术迭代，引入了诸如Term Weight、Rust引擎、深度语义相关性、Query纠错、BERT、语义向量索引等先进技术。 Query理解是解决用户输入的查询可能存在的各种问题，如拼写错误、表达冗余或语义鸿沟。例如，"塞尔维雅"可能是用户误输入的"塞尔维亚"，"孙子兵法智慧的现代意义"可能需要的是"孙子兵法在现代的意义"。通过Query理解，系统可以自动纠正这些错误并转化为更准确的查询。例如，对于"iPhon 手机价格多少"，系统会将其纠正为"iPhone 手机价格多少"，同时考虑到相关关键词如"苹果"、"售价"等。 Term Weight是评估关键词在查询中的重要性的指标，它通常基于逆文档频率(IDF)来计算。IDF越大，表明关键词在文档中越独特，因此在搜索结果中越重要。为了适应不同情境，知乎搜索还采用了动态调整的Term Recall公式，结合训练数据（如点击日志和标注数据）和模型（如Embedding based模型）来优化关键词的权重。 同义词挖掘和扩展是提高搜索召回率的重要手段。通过公开数据集（如WordSim-353, SimLex-999, NLPCC2017, 同义词词林）以及用户日志、查询日志、文档和外部数据，可以挖掘出同义词关系。然而，传统的Embedding方法有时难以区分同义词、反义词以及语义相似和概念相关的词汇。为此，可以采用counter-fitting技术，对预训练的词向量进行微调，使得反义词对之间的距离增大，同义词对之间的距离减小，同时保持原有的语义信息。 Query改写是通过神经机器翻译(NMT)等技术，将原始查询转化为更精确的表达，如从查询到文档标题、文档到查询以及查询到查询的映射。这种技术利用大量的训练语料，如Query到Query的共同点击数据，来生成更加符合用户意图的改写版本。 语义召回则是利用Query Embedding和向量索引来实现，将查询和文档转换为高维向量，然后通过相似度计算来找出语义上相关的文档，这比传统的基于关键词的召回方式更能捕捉到查询的深层含义。知乎搜索在2019年引入了BERT模型，进一步提升语义理解能力，随后的语义向量索引和DNN LTR（深度学习排名）排序算法等进步，则是为了更好地结合上下文信息和多任务学习，以实现更公平且精准的搜索结果排序。 知乎搜索通过Query理解、语义召回等技术，不断优化搜索体验，确保用户能够快速准确地找到他们感兴趣的内容。这一系列的技术迭代和发展，充分体现了在信息技术领域中，搜索引擎的智能化和语义理解的重要性。