没有合适的资源？快使用搜索试试~ 我知道了~

文库首页行业研究行业报告自监督学习效果差？Meta AI 提出 Q-score 快速过滤错误样本！.pdf

自监督学习效果差？Meta AI 提出 Q-score 快速过滤错误样本！.pdf

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

0 下载量 171 浏览量 2023-08-12 21:59:31 上传评论收藏 4.23MB PDF 举报

温馨提示

试读

11页

自监督学习效果差？Meta AI 提出 Q-score 快速过滤错误样本！.pdf

资源推荐

资源详情

资源评论

2023/6/28 22:32

自监督学习效果差？Meta AI 提出 Q-score 快速过滤错误样本！

https://mp.weixin.qq.com/s/iUKWtHRJWFrt7Lxmdf13DA

1/11

自监督学习效果差？Meta AI 提出 Q-score 快速过滤错误样本！

收录于合集

#卖萌屋@计算机视觉

15个

文  | jxyxiangyu

自监督学习指的是不依靠人工标注数据，直接从数据中学习到有用的特征表示。自监督学习中

所采用的监督信息可以是“是否属于同一实例样本”的二分类标签（对比学习），也可以是一段

连续的自然语言文本的下一个词（自回归语言模型）。

然而自监督学习相关的论文看多了，感觉也就那么回事。除了可以减少对标注数据的依赖，下

游任务中该分错类的case，照样会分错类。•󰋻󰋽•

那么究竟有没有什么灵丹妙药可以缓解自监督模型在下游任务中出现分错类的情况呢？

最近 meta AI 的一篇工作研究了自监督模型在下游任务错误分类的原因，并且提出了缓解这一

问题的方法，让我们一起来看看吧。

jxyxiangyu 2022-05-09 12:10 发表于四川

原创

夕小瑶科技说

2023/6/28 22:32

自监督学习效果差？Meta AI 提出 Q-score 快速过滤错误样本！

https://mp.weixin.qq.com/s/iUKWtHRJWFrt7Lxmdf13DA

2/11

论文标题：

Understanding Failure Modes of Self-Supervised Learning

论文链接：

https://arxiv.org/pdf/2203.01881.pdf

自监督模型下游错误分类的潜在原因

为了研究自监督模型学习到的特征表示中哪些特征可以有助于下游任务的正确分类，作者用

ImageNet-100 预训练了 SimCLR 模型作为 baseline ，并且在学习到的特征表示后面接了个线

性分类器用于下游任务的分类。

图1 是训练学到的 ImageNet-100 中每个类的平均特征表示（部分特征），其中每个类是按照

该类别的分类准确度(acc)排序的。图中用颜色深浅表示平均特征表示的值的绝对大小，左边

是在下游任务中可以被正确分类的样本，右边是错误分类的样本的平均特征表示。

可以看到，

1. 表征空间几乎是稀疏的，每个类的大部分特征都接近0；

2. 在正确分类的样本中，每个类的平均特征表示都有十分明显的几个特征，这些特征是类别

所独有的，不同类别的可区分特征都不一致，且不同类别的可区分特征有着高度的差异

性，而这一点在错误分类的样本中并不明显，错误分类的样本其特征表示没有明显突出变

化较大的特征；

3. 在所有样本中都存在或者都激活的特征不太可能是下游任务中用于区分某个类别的特征。

为了研究单个特征对分类正确与否的影响，作者进一步绘制了主要特征和噪声特征的热图，如

下所示：

2023/6/28 22:32

自监督学习效果差？Meta AI 提出 Q-score 快速过滤错误样本！

https://mp.weixin.qq.com/s/iUKWtHRJWFrt7Lxmdf13DA

3/11

可以看到对于正确分类的样本，主要特征能够捕捉到类别相关的特征，而分类错误的样本，主

要特征则包含了太多的噪音和错误的信息；噪声特征的热图则侧重于样本中无信息的部分。因

此，作者指出特征表示中包含了很多噪声特征，这些特征对正确分类没有太多的贡献。

综上所述，作者指出了错误分类的两个原因：

1. 训练得到的特征表示中缺少类别特定的主要特征；

2. 主要特征映射到了样本中错误的部分

基于上述几点，作者希望可以通过利用特征表示的特点用无监督的方式对特征表示进行分类，

而不需要下游任务中的标签。

自监督表征的质量指标

为了衡量自监督模型学到的特征表示的质量，作者定义了一系列质量指标。

假定一个 SimCLR 模型，由 ResNet 基本编码器（base encoder，记作）和多层感知机投

影层（记作）组成。和是个数据样本中的第个样本的两种变换表

示，这里作者用到的数据增强方式是随机裁剪、随机水平翻转等方式的组合。与 SimCLR 类

似，将样本输入基本编码器，分别得到自监督模型的特征表示和

，用投影层的输出和来计算损失函数和训练

模型，其中和分别是表征空间和投影空间的维度大小。模型的优化目标是：

剩余10页未读，继续阅读

评论收藏

内容反馈

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

地理探险家

粉丝: 996
资源: 5416

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

自监督学习效果差？Meta AI 提出 Q-score 快速过滤错误样本！.pdf

perl-CPAN-Meta-2.120921-5.el7.noarch.rpm

【精品】05讲--Meta-analysis软件使用.pdf

Python库 | aliyun-python-sdk-nls-cloud-meta-1.0.0.tar.gz

Meta AI 发布 data2vec！统一模态的新里程碑！ .pdf

perl-CPAN-Meta-Requirements-2.122-7.el7.noarch.rpm

小样本NLP自然语言处理的元学习Meta-learning for Few-shot NLP.pdf

Python库 | meta_person-0.12.4-py3-none-any.whl

将tensorflow模型文件：*.data-00000-of-00001，*.index 和 *.meta这3个文件固化为pb文件

app-arm64-v8a-release.apk.1

hbase-meta-repair-hbase-2.0.2.jar

tomcat-embed-websocket-9.0.16.jar

maven-metaclass-plugin-1.1-rc3.jar

junit-platform-engine-1.6.3.jar

Python库 | benten-meta-0.0.1.post4.tar.gz

PyPI 官网下载 | power-daps-meta-model-java-9-0.0.3.tar.gz

qt-opensource-windows-x86-pdb-files-desktop-5.9.1..meta4

Python库 | power-daps-meta-model-python-3-0.0.6.tar.gz

Python库 | meta-package-manager-4.1.0.tar.gz

相关实用应用程序（Windows可用）

免费可用的ChatGPT网页版.zip

ChatGPT使用总结：150个ChatGPT提示词模板（完整版）

chromedriver-win64.zip

全国计算机二级WPSoffice精选350道选择题题库（含答案）.pdf

哈尔滨工业大学-ChatGPT调研报告-2023.3.6-94页.pdf

2023泛娱乐社交出海手册-ZEGO即构科技

4个亲测好用的ChatGPT4渠道

yolo学习导航.txt

SAP PI/PO rest发送x-www-data-urlencoded类型数据

最新资源

将tensorflow模型文件：.data-00000-of-00001，.index 和 *.meta这3个文件固化为pb文件