没有合适的资源？快使用搜索试试~ 我知道了~

文库首页行业研究行业报告自监督学习效果差？Meta AI 提出 Q-score 快速过滤错误样本！.pdf

自监督学习效果差？Meta AI 提出 Q-score 快速过滤错误样本！.pdf

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

0 下载量 7 浏览量 2023-08-12 21:59:31 上传评论收藏 4.23MB PDF 举报

温馨提示

试读

11页

自监督学习效果差？Meta AI 提出 Q-score 快速过滤错误样本！.pdf

资源推荐

资源详情

资源评论

2023/6/28 22:32

自监督学习效果差？Meta AI 提出 Q-score 快速过滤错误样本！

https://mp.weixin.qq.com/s/iUKWtHRJWFrt7Lxmdf13DA

1/11

自监督学习效果差？Meta AI 提出 Q-score 快速过滤错误样本！

收录于合集

#卖萌屋@计算机视觉

15个

文  | jxyxiangyu

自监督学习指的是不依靠人工标注数据，直接从数据中学习到有用的特征表示。自监督学习中

所采用的监督信息可以是“是否属于同一实例样本”的二分类标签（对比学习），也可以是一段

连续的自然语言文本的下一个词（自回归语言模型）。

然而自监督学习相关的论文看多了，感觉也就那么回事。除了可以减少对标注数据的依赖，下

游任务中该分错类的case，照样会分错类。•󰋻󰋽•

那么究竟有没有什么灵丹妙药可以缓解自监督模型在下游任务中出现分错类的情况呢？

最近 meta AI 的一篇工作研究了自监督模型在下游任务错误分类的原因，并且提出了缓解这一

问题的方法，让我们一起来看看吧。

jxyxiangyu 2022-05-09 12:10 发表于四川

原创

夕小瑶科技说

2023/6/28 22:32

自监督学习效果差？Meta AI 提出 Q-score 快速过滤错误样本！

https://mp.weixin.qq.com/s/iUKWtHRJWFrt7Lxmdf13DA

2/11

论文标题：

Understanding Failure Modes of Self-Supervised Learning

论文链接：

https://arxiv.org/pdf/2203.01881.pdf

自监督模型下游错误分类的潜在原因

为了研究自监督模型学习到的特征表示中哪些特征可以有助于下游任务的正确分类，作者用

ImageNet-100 预训练了 SimCLR 模型作为 baseline ，并且在学习到的特征表示后面接了个线

性分类器用于下游任务的分类。

图1 是训练学到的 ImageNet-100 中每个类的平均特征表示（部分特征），其中每个类是按照

该类别的分类准确度(acc)排序的。图中用颜色深浅表示平均特征表示的值的绝对大小，左边

是在下游任务中可以被正确分类的样本，右边是错误分类的样本的平均特征表示。

可以看到，

1. 表征空间几乎是稀疏的，每个类的大部分特征都接近0；

2. 在正确分类的样本中，每个类的平均特征表示都有十分明显的几个特征，这些特征是类别

所独有的，不同类别的可区分特征都不一致，且不同类别的可区分特征有着高度的差异

性，而这一点在错误分类的样本中并不明显，错误分类的样本其特征表示没有明显突出变

化较大的特征；

3. 在所有样本中都存在或者都激活的特征不太可能是下游任务中用于区分某个类别的特征。

为了研究单个特征对分类正确与否的影响，作者进一步绘制了主要特征和噪声特征的热图，如

下所示：

剩余10页未读，继续阅读

评论收藏

内容反馈

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

普通网友

粉丝: 1260
资源:
5619

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

自监督学习效果差？Meta AI 提出 Q-score 快速过滤错误样本！.pdf

perl-CPAN-Meta-2.120921-5.el7.noarch.rpm

05讲--Meta-analysis软件使用.pdf

cmfa-2.9.0-meta-universal-release.apk.1

【精品】05讲--Meta-analysis软件使用.pdf

小样本NLP自然语言处理的元学习Meta-learning for Few-shot NLP.pdf

hbase-meta-repair-hbase-2.0.2.jar

meta-llama-3-8b-instruct 的 model-00001-of-00004.safetensors 的1/3

将tensorflow模型文件：*.data-00000-of-00001，*.index 和 *.meta这3个文件固化为pb文件

perl-CPAN-Meta-Requirements-2.122-7.el7.noarch.rpm

PyPI 官网下载 | power-daps-meta-model-java-9-0.0.3.tar.gz

Python库 | meta_person-0.12.4-py3-none-any.whl

加了元学习之后，少样本学习竟然可以变得这么简单！ .pdf

kotlin-stdlib-common.jar

tomcat-embed-websocket-9.0.16.jar

hbase hbck2修复工具hbase-operator-tools-1.0.0.1.0.0.0-618-bin.tar.gz

META的LLaMA大模型部署指令调优教程内含模型下载方法.pdf

maven-metaclass-plugin-1.1-rc3.jar

junit-platform-engine-1.6.3.jar

Python库 | benten-meta-0.0.1.post4.tar.gz

babel-plugin-bundled-import-meta:Babel插件重写import.meta以用于捆绑使用

Meta AI 发布 data2vec！统一模态的新里程碑！ .pdf

meta-llama-3-8b-instruct 的 model-00001-of-00004.safetensors 的3/3

qt-opensource-windows-x86-pdb-files-desktop-5.9.1..meta4

Python库 | power-daps-meta-model-python-3-0.0.6.tar.gz

Python库 | meta_package_manager-3.5.2-py3-none-any.whl

PyPI 官网下载 | meta_dashboard-0.1.10-py3-none-any.whl

Python库 | meta_memcache-0.4.2-py3-none-any.whl

ICML 2020上与【元学习（Meta Learning）】相关的论文（六篇）

最新资源

将tensorflow模型文件：.data-00000-of-00001，.index 和 *.meta这3个文件固化为pb文件