MIT指出公开预训练模型不能乱用.pdf
版权申诉
140 浏览量
2023-08-12
22:45:13
上传
评论
收藏 4.2MB PDF 举报
2023/6/28 17:10
MIT指出公开预训练模型不能乱用
https://mp.weixin.qq.com/s/KYDy9bx5ddfbAMX5WyHJ0Q
1/8
MIT指出公开预训练模型不能乱用
文 | 林锐
众所周知，用 Imagenet 预训练模型做 backbone，再接个下游任务的头去微调，是个简单有效的
迁移学习方法。基本上，炼丹师用这种方法就能成功获得一个优秀的模型（水一个实验室的项
目）。
但是近些年一些论文也论证了基于大模型的迁徙学习能导致模型失效。例如 nasty teacher 在预训
练模型里面加点玄学，让别人没法蒸馏你的模型， badnets 往源数据集里面下毒（backdoor）能
导致子模型崩溃，这些方法都是往大模型里加有毒的 Bias。
MIT 的研究员通过多种数据集来探索这种 Bias 的迁移模式，并对 Imagenet 带来的 Bias 迁移做
了进一步讨论。
论文题目:
When does Bias Transfer in Transfer Learning?
林锐 2022-07-28 12:05 发表于四川
原创
夕小瑶科技说
资源评论
