20-大模型外挂知识库优化——负样本样本挖掘篇.pdf资源-CSDN文库

需积分: 5 194 浏览量 2024-12-31 16:25:11 上传评论收藏 704KB PDF 举报

资源推荐

资源详情

资源评论

大模型外挂知识库优化——负样本样本挖掘篇

来自： AiGC面试宝典

宁静致远 2024年03月19日 22:30

一、为什么需要构建负难样本？

在各类检索任务中，为训练好一个高质量的检索模型，往往需要从大量的候选样本集合中采样高质

量的负例，配合正例一起进行训练。

二、负难样本构建方法篇

2.1 随机采样策略（Random Sampling）方法

对于随机采样方法，由于其采样得到的负例往往过于简单，其会导致该分数接近于零

进而导致其生成的梯度均值也接近于零，

这样过于小的梯度均值会导致模型不易于收敛。

2.2 Top-K负例采样策略（Top-K Hard Negative Sampling）方法

• 大模型外挂知识库优化——负样本样本挖掘篇

• 一、为什么需要构建负难样本？

• 二、负难样本构建方法篇

• 2.1 随机采样策略（Random Sampling）方法

• 2.2 Top-K负例采样策略（Top-K Hard Negative Sampling）方法

• 2.3 困惑负样本采样方法SimANS 方法

• 2.4 利用对比学习微调方式构建负例方法

• 2.5 基于批内负采样的对比学习方法

• 2.6 相同文章采样方法

• 2.7 LLM辅助生成软标签及蒸馏

• 辅助知识

• 附一：梯度计算方法

• 致谢

• 方法：直接基于一均匀分布从所有的候选Document中随机抽取Document作为负例；

• 存在问题：由于无法保证采样得到的负例的质量，故经常会采样得到过于简单的负例，其不仅

无法给模型带来有用信息，还可能导致模型过拟合，进而无法区分某些较难的负例样本

• 分析随机采样策略（Random Sampling）方法挖掘负例训练时对梯度的影响：

• 方法：基于一稠密检索模型对所有候选Document与Query计算匹配分数，然后直接选择其中

Top-K的候选Document作为负例；

• 优点：可以保证采样得到的负例是模型未能较好区分的较难负例；

• 存在问题：很可能将潜在的正例也误判为负例，即假负例（False Negative）。如果训练模型

去将该部分假负例与正例区分开来，反而会导致模型无法准确衡量Query-Document的语义相似

扫码加

查看更多

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余4页未读，立即下载

内容反馈

木子乔乔

粉丝: 136
资源: 120

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip