【免费】one-shot简介1_PWMoneshot

自然语言处理

需积分: 0 115 浏览量 2022-08-04 00:12:22 上传评论收藏 121KB PDF 举报

资源详情

资源评论

资源推荐

基于 metric

该方法是对样本间距离分布进行建模，使得属于同类样

本靠近，异类样本远离。简单地，我们可以采用无参估

计的方法，如 KNN。KNN 虽然不需要训练，但效果依赖

距离度量的选取, 一般采用的是一个比较随意的距离计

算（ L2）。另一种，也是目前比较好的方法，即通过学习

一个端到端的最近邻分类器，它同时受益于带参数和无

参数的优点，使得不但能快速的学习到新的样本，而且

能对已知样本有很好的泛化性。下面介绍 3 个相关的方

法。

孪生网络（Siamese Neural Networks）[1]

这个方法对输入的结构进行限制并自动发现可以从新

样本上泛化的特征。通过一个有监督的基于孪生网络的

度量学习来训练，然后重用那个网络所提取的特征进行

one/few-shot 学习。

它是一个双路的神经网络，训练时，通过组合不同类

的样本成对，同时输入网络进行训练，在最上层通过一

个距离的交叉熵进行 loss 的计算，如图 4。在预测的时

候，以 5way-5shot 为例，从 5 个类中随机抽取 5 个样

本，把这个 mini-batch=25 的数据输入网络，最后获得

25 个值，取分数最高对应的类别作为预测结果，

meta learning 是机器学习的一个子领域，它自动学习一

些应用于机器学习实验的元数据，主要目的是使用这些

元数据来自动学习如何在解决不同类型的学习问题时

变得灵活，从而提高现有的学习算法。灵活性是非常重

要的，因为每个学习算法都是基于一组有关数据的假设，

即它是归纳偏(bias)的。这意味着如果 bias 与学习问题

中的数据相匹配，那么学习就会很好。学习算法在一个

学习问题上表现得非常好，但在下一个学习问题上表现

得非常糟糕。这对机器学习或数据挖掘技术的使用造成

了很大的限制，因为学习问题与不同学习算法的有效性

之间的关系尚不清楚。

通过使用不同类型的元数据，如学习问题的属性，算

法属性（如性能测量）或从之前数据推导出的模式，可

以选择、更改或组合不同的学习算法，以有效地解决给

定的学习问题。

元学习一般有两级，第一级是快速地获得每个任务中

的知识，第二级是较慢地提取所有任务中学到的信息。

下面从不同角度解释了元学习的方法

优化器学习（meta-learning LSTM）[6]

文章研究了在少量数据下，基于梯度的优化算法失败

的原因，即无法直接用于 meta learning。首先，这些梯

度优化算法包括 momentum, adagrad, adadelta, ADAM

等，无法在几步内完成优化，特别是在非凸的问题上，

多种超参的选取无法保证收敛的速度。其次，不同任务

分别随机初始化会影响任务收敛到好的解上。虽然

finetune 这种迁移学习能缓解这个问题，但当新数据相

对原始数据偏差比较大时，迁移学习的性能会大大下降。

我们需要一个系统的学习通用初始化，使得训练从一个

好的点开始，它和迁移学习不同的是，它能保证该初始

化能让 finetune 从一个好的点开始。

文章学习的是一个模新参数的更新函数或更新规则。

它不是在多轮的 episodes 学习一个单模型，而是在每个

episode 学习特定的模型。具体地，学习基于梯度下降

的参数更新算法，采用 LSTM 表达 meta learner，用其

状态表达目标分类器的参数的更新，最终学会如何在新

的分类任务上，对分类器网络(learner)进行初始化和参

数更新。这个优化算法同时考虑一个任务的短时知识和

跨多个任务的长时知识。文章设定目标为通过少量的迭

代步骤捕获优化算法的泛化能力，由此 meta learner 可

以训练让 learner 在每个任务上收敛到一个好的解。另

外，通过捕获所有任务之前共享的基础知识，进而更好

地初始化 learner。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

评论收藏

内容反馈

白羊的羊

粉丝: 35
资源: 281

one-shot简介1

评论0

最新资源

one-shot简介1

评论0

shot

long-shot-league-BE

long-shot-league

shot_localvideo.mp4

sling_shot_versus

模仿学习论文 One-Shot Imitation Learning .Yan Duan

Matching Networks for One Shot Learning.pdf

One-Shot Learning of Object Categories (ppt)

One-shot Learning Gesture Recognition from RGB-D Data Using BoF

Ortho-shot

angular-clean-shot

5_shot_train_1.json

Few_shot_exp

c28-sling-shot

使用 Spiking 神经网络的 One-Shot 对象学习spikingneuron_LIF_neuron_LIF神经元

One-shot learning with Memory-Augmented Neural Networks

One-Shot-Object-Detection:Pytorch中具有共同注意和共同激励的单发目标检测的实现

自己写的ping代码实现，可以实现one-shot和continue两种模式

green shot

shot_detection

espresso-shot

auto-shot-tvvs

shot.locations

Deep-One-Shot-Logo-Retrieval:用于基于查询的徽标检索的深度一击式网络[Pattern Recognition 2019，Elsevier]

Avatar-Net: Multi-scale Zero-shot Style Transfer by Feature Decoration

One-Shot-Voice-Conversion-with-WadaIN.github.io

利用深度分辨式说话人编码器提高一次语音转换的鲁棒性_Improving robustness of one-shot voice

Siamese-Network-for-One-shot-Learning:训练神经网络的项目，仅举一个例子

最新资源

模仿学习论文　One-Shot Imitation Learning .Yan Duan