彩票幸运飞艇

全球人工智能与机械人峰会 CCF-GAIR 2019
您正在应用IE低版浏览器,为了您的彩票幸运飞艇-幸运飞艇计划网页版账号安然和更好的产物体验,强烈建议应用更快更安然的浏览器
人工智能学术 注释
发私信给MrBear
发送

0

从 ICLR 2019 一览小样本学习最新停留!

本文作者:MrBear 编辑:幸丽娟 2019-06-09 16:06
导语:聚焦样本受限效果。

彩票幸运飞艇-幸运飞艇计划网页版(夷易近众号:彩票幸运飞艇-幸运飞艇计划网页版) AI 科技议论按:通常而言,深度学习是尺度的数据驱动型手艺,面临数据无限的情形,传统的深度学习手艺的性能经常不细腻绝伦。在本届 ICLR 上,许多研究者们应用元学习、迁徙学习等手艺对小样本学习效果阻拦了探讨,揭晓了多篇高质量论文,可谓百花怒放!深度学习工程师 Isaac Godfried 在 Medium 上揭晓了一篇文章,基于今年 ICLR 上关于小型数据集深度学习研究的论文,探讨了现在小样本学习的最新停留。彩票幸运飞艇-幸运飞艇计划网页版 AI 科技议论编译以下。

今年的国际表征学习大会(ICLR)于 2019 年 5 月 6 日准期揭幕。凭证我此前的妄图,我会深刻研究本届聚会聚会会议揭晓的一些滑稽的 ICLR 论文。其中大多数的论文都与我小我感兴趣的研究领域相关(无监视学习、元学习、重视力机制、自然语言处置赏罚赏罚),但是我只会选出一些高质量的、而且在其各自的领域有所影响的精品论文阻拦剖析,并更新系列博文。该系列博文的第一篇将简介在小型数据集上的深度学习研究;第二篇将议论辩说在自然语言处置赏罚赏罚和其它类型的序列化数据上取得突破性停留的论文;而第三篇则将剖析种种其它的、我以为很是滑稽的论文。

迁徙学习、元学习和无监视学习

彩票幸运飞艇训练数据无限的效果对各行各业都有着普遍的影响,网罗医疗卫生、农业、汽车、批发、文娱,等等。在另外一些情形下,我们具有大量的数据,但是它们却未被标注。由于群集和标注数据的时间/资源很大,这个效果经常会成为将深度学习手艺整合到目的义务中的误差。

《学习无监视学习规则》

Learning unsupervised learning rules

论文下载地址:

该论文同时培植在元学习和无监视学习(这里指 Metz 等人的使命)的看法之上。详细而言,该论文提出应用元学习以一种无监视学习的要领学习下游义务的有用表征。该论文重点关注「半监视学习」分类效果,但是它之以是滑稽是由于:至少在现实上,这类学习规则「可以被优化,从而为随便任性后续义务天生表征」。这一点很是有用,由于在针对表征的无监视学习的使射中,作者都界说了一个明确的训练算法或损掉落函数。而这里的模子会「学习培植由元目的一定的有用的表征的算法」。这个自界说的规则经常须要经由大量的实验和领域知识才干得出,是以着实不克不及很随便忽略地适用于新的领域。对自编码器的应用就是其中的一个例子,它试着经由历程先进行编码、再解码出一个与原始数据类似的输入来学习表征。自编码器经常须要一个明确指定的损掉落函数。

彩票幸运飞艇为了明确该措施现实是若何使命的,我们无妨追念一下:在元学习中,我们通常有一个内层循环和外层循环。在内层循环中,模子会作用于一个详细的义务,例如:在图象分类效果中,这样的义务能够是识别出猫和狗。通常而言,内层循环会在一定数目 n(浅易来讲,n 在 1 到 10 之间)个示例上运转。然后,外层循环会应用某些内层循环取得的参数(权重自己、累计损掉落或其它参数)来推行一次「元更新」。这类「元更新」的详细情形随着模子的变换而变换,但是它们通常会遵守以下所示的措施:

从 ICLR 2019 一览小样本学习最新停留!

元学习历程一览

推敲到这一点,他们的模子架构本质上是经由历程元学习学到某种在培植表征以后更新内层模子的措施。在培植了某种表征以后,该规则有用地在更新内层模子的历程当中替换了随机梯度降低措施。此外,不合于权重自己经由历程 MAML 措施或重视力模子的权重经由历程 SNAIL 更新的情形,这类无监视的更新规则是在循环的最落先行更新的。这意味着这类无监视学习规则不只仅可以被应用于类似的义务,还可以被用于全新的义务、新的基础模子,以致是新模态的数据(例如从图象数据到文本数据)。

彩票幸运飞艇首先,作者经由历程展示之前措施存在的效果来评价他们的模子的实验效果。例如,一个变分自编码器(VAE)会存在目的函数(即损掉落)不婚配的效果,随着时间的推移,这会招致模子的性能不佳。虽然可以应用原型群集迁徙特点,但假定不合义务的特点维度不合,这类措施就会瓦解。相反,Metz 等人的措施学到了一种在「小样本」分类义务中具有更好的泛化性能的更新规则。他们还展示了训练时的元更新,纵然该群集仅仅在图片分类义务长阻拦训练,它依然可以泛化到提升文天职类的性能(但同时他们也发现:假定元函数在图片分类义务上训练了太久,会发生显着的性能降低,这是由于该元函数在图片义务上发生了过拟合)。

总而言之,这是一篇异常棒的论文,也是在无监视手艺上取得的巨猛前进。纵然它没有取得任何现在最早辈的实验效果,但是它完全可以被应用于许多数据希奇的领域。本论文官方版本的代码可以经由历程该链接取得:

经由历程元学习完成的无监视学习

从 ICLR 2019 一览小样本学习最新停留!

彩票幸运飞艇滑稽的是,在今年的 ICLR 上揭晓了两篇同时提出将元学习和无监视学习联络起来的论文(虽然两篇文章完成的措施完全不合)。在本文中,作者应用无监视学习为元学习划分数据及,而着实不是应用元学习来学会无监视学习的规则。

本文是我最喜欢的论文之一,由于它开启了无需阻拦显式义务形貌的元学习的大门。元学习存在的某些效果在于:元学习经常须要界说得异常好的义务荟萃。这就将元学习的适用领域限制在研究者具有异常大的已标注元数据集(经常被划分为不合的子数据集)的条件下。本文的措施提出自动地将数据集划分为不合的子集。本文作者发现,纵然应用质朴的无监视聚类算法(例如 K-means 算法),元学习器依然能够从这些义务中阻拦学习,而且在后续人为标志过的义务上比直接应用这些嵌入阻拦学习的措施(例如在无监视学习后,紧接着阻拦监视分类的情形)的性能更好。他们应用的两种元学习手艺为「ProtoNets」和「MAML」。本文简介了一种滑稽的半监视学习范式,在这里,我们首先阻拦无监视的预训练,然落先行监视学习。在本例中,「带监视的」部门会阻拦「小样本学习」(few-shot learning)。

彩票幸运飞艇作者在 4 个数据集上(MNIST,Omniglot,miniImageNet,和 CelebA)将他们的措施和无监视学习措施阻拦了较量。事实,他们发现,他们的措施比所有其它的「无监视+监视学习」措施(网罗聚类婚配,多层知机(MLP),线性分类,和K比来邻)的性能都要好许多。总而言之,本文朝着「让元学习更容易被应用于种种不合类型的效果」的偏向迈出了一大步,而不是让元学习仅仅适用于那些被优胜界说的义务切片。

《带有潜在嵌入优化(LEO) 的元学习》

Meta-Learning with Latent Embedding Optimization (LEO)

论文下载地址:

从 ICLR 2019 一览小样本学习最新停留!

彩票幸运飞艇本文旨在将基于梯度的元学习和一个潜在的表征搜整体结起来。LEO 的操作分为两步:首先,它会学习一个模子参数的低维嵌入;接着它会在模子的低维嵌入空间上推行元学习。详细而言,首先将会为模子给出一个义务 T 和会被传给编码器的输入。编码器会天生一个潜在编码,该编码随后会被解码成一组参数。该编码器还带有一个关系群集,它有助于将编码变得具有曲折文依附。接着,这些参数会在内层循环中被优化,而编码器、解码器和关系群集则会在外层循环中被优化。作者指出,他们的使命的主要供献是说清晰了了低维嵌入空间中的元学习会比在类似于 MAML 中应用的那样的高维空间中的元学习的性能好许多。LEO 在「tieredImageNet」和「miniImageNet」数据集上都取得了很好的实验效果(网罗在 5 way 1-shot 较量基准测试上完成的准确率为 61%,令人印象深刻,同时还在 5 way 5-shot 义务上取得了77% 的准确率)。和许多其它的论文一样,本文仅仅在图象数据集长阻拦了测试,是以尚不清晰该模子在其它类型数据上的泛化才干。

《跨法式模范模范的迁徙学习》

Transferring Learning Across Processes

论文下载地址:

由于本文作者曾经在 Medium 上揭晓了一篇详细简介其模子使命原理的博文(文章检查地址:),我在这里就不外量赘述手艺层面的细节了。相较于其它大量关于元学习的论文,该论文有下面几点值得强调的亮点:首先,本文的模子同时在小样本学习(few-shot learning)和数据规模更大的场景下阻拦了测试评价。这一点是很主要的,由于元学习算法经常并没有推敲在有更多的数据示例(但数据规模依然太小,以致于没法重新泉源训练模子)的情形下元优化的使命情形。本文还研究了一些还没有被探索的领域。详细而言,本文研究了经常未被探索的「远程迁徙」领域,即在显着不合的义务之间完成具有起劲效果的知识迁徙。

《学习深度多维聚类变分自编码器中的潜在下层结构》

Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering 

论文下载地址:

从 ICLR 2019 一览小样本学习最新停留!

本文议论辩说了应用一种新型的用于更好地对高维数据阻拦聚类的变分自编码器(VAE)。在无监视学习中,将数据项聚类到不合的中是一个主要的预处置赏罚赏罚法式模范。本文作者指出,许多种类的数据可以基于其属性的许多不合部门被阻拦聚类。作者指出「LTVAE 会天生多个数据划分,每个划分都邑由一个下层的潜变量导出。」

「LT-VAE 不只仅会学习每个聚类的职位来更好地表征数据,它还会学习这些簇的编号和底层树形架构的条理结构。这是经由历程一个三步的学习算法完成的:第一步,训练一个传统的『编码器-解码器』神经群集,从而提升它们对数据的拟合效果。第二步,一种类似于最大希冀算法(EM)的优化历程,从而更好地拟合学到的后验概率的潜在先验的参数。第三步,调剂潜在先验的结构从而提升其 BIC 得分[3],这样做在对潜在后验的优胜拟合和潜在先验的参数数目(即严重度)之间取得了平衡。」

本文提出的措施的主要优点在于,它前进了聚类的可诠释性(纵然从对数似然方面来讲,它所有的效果并没有那么好)。此外,针对特定的因素阻拦聚类使其在许多真实天下的应用中变得很是具有吸引力。虽然本文与许多其它的文章有所不合,而且没有显式地研究小样本学习效果,我以为将这类聚类措施与小样本措施相联络能够会很有用。例如,它能够可以在「基于元学习情形的无监视学习」效果中被用于义务划分。

《基于元学习的深度在线学习》

Deep online learning via meta-learning

论文下载地址:

彩票幸运飞艇本文聚焦于应用元学习和一个「Chinese Restaurant Proces」,在强化学习模子在线运转时(即在临盆历程当中)快速地更新它们。该使命受启发于这一现实:人类经常面临之前从未(真正地)履历过的新状态;可是我们可以应用之前的履历,并将其与我们重新的履历中取得的反映相联络,从而迅速顺应新的状态。

本文提出的措施首次应用了 MAML 来泉源训练模子。在 MAML 给出有用的先验后会应用在线学习算法。该在线学习算法应用了「中餐馆法式模范模范」来天生新的带有合适的初始化设置的新模子或选择一个曾经存在的模子。接着,作者会基于在线学习的效果,应用随机梯度降低(SGD)算法更新模子参数。作者将本文提出的措施命名为「用于在线学习的元学习」(或简称 MoLE)。

作者在一些强化学习情形中测试评价了他们提出的措施。第一个情形是穿越不合难度的斜坡的仿真猎豹。第二个情形是一个腿部有残缺的六足履带机械人。实验效果注解,MoLE 比基于模子的强化学习、应用元学习的k-shot 自顺应手艺、和应用元学习的一连梯度步手艺的性能要好(虽然滑稽的是,它仅仅稍微优于应用元学习的梯度步)。

《学习经由历程最大化迁徙和最小化滋扰阻拦不会遗忘的学习》

Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference

彩票幸运飞艇论文下载地址:http://arxiv.org/pdf/1810.11910.pdf

从 ICLR 2019 一览小样本学习最新停留!

当神经群集对一系列义务阻拦学习时,它经常会遭受被称作「灾难性遗忘」的效果。由于灾难性遗忘,神经群集没法再在之前训练的义务上取得好的性能。灾难性遗忘可以被以为是存在显着的消极负向迁徙的迁徙学习的特例。迁徙学习(正如大多数人们所指的)和元学习通常追求最大化在事实的义务上的正向起劲迁徙,然则浅易来讲着实不会关注它关于源义务的影响。本文试图在依然能够完成起劲迁徙但不以灾难性遗忘(滋扰)为价值的情形下取得更大的平衡。

彩票幸运飞艇为明确决这个效果,Riemer 等人提出了一种被称为元履历回放(MER)的措施。MER 接纳了尺度的履历回放,交织存取之前的训练示例与以后的训练示例,从而防止发生灾难性遗忘。作者假定之前的训练示例学习率较低;其次,MER 接纳盛行的 REPTILE 元学习算法在新数据长阻拦训练。不外,MER 也将内存缓存器中的之前的训练示例与新的示例交织在一起,输入给由 REPTILE 驱动的内层训练循环,从而防止灾难性遗忘的发生。

我异常喜欢这篇论文,由于它同时探讨了起劲迁徙和消极迁徙的想法主意主意。本文的措施在 Omniglot 和强化学习情形中取得的实验效果似乎相当不错。可是,作者只在小型「玩具」数据集长阻拦了测试,特殊是在监视分类效果中。他们本应当也在 CIFAR-10 较量基准、CALTech-Birds 或 CORRE50 长阻拦测试。从这一点上说,由于还存在许多加倍真实的 CL 数据集,他们没有理由仅仅在稍微修悛改的 MNIST 或 Omniglot 数据集长阻拦测试。此外,我发现由于作者「重复命名」了一些之前命名过的看法,文中的一些术语令人嫌疑。而且,在理想情形下,当我们一连阻拦学习时,我们不用再在任何之前的数据上重新阻拦训练(重新训练会带来特殊的盘算开支)。可是,所有的这一切都是朝着准确的偏向迈进了,我欲望有更多的论文同时关注正向和负向迁徙。更多关于该论文的信息,请参阅 IBM 的博文:「Unifying Continual Learning and Meta-Learning with Meta-Experience Replay」();论文代码地址:

《文本转语音的高效自顺应采样》

Sample Efficient Adaptive Text-to-Speech

论文下载地址:

从 ICLR 2019 一览小样本学习最新停留!

这是一个将元学习应用到「序列到序列」建模义务中的滑稽应用。在本例中,作者应用元学习来完成对语言者声响的小样本自顺应。该应用很是主要,由于大多数情形下,你能够着实不克不及取得某个特定语言者一连 100 秒或 1000 秒的声响。详细而言,作者拓展了 WaveNet 架构,从而引入了元学习手艺。滑稽的是,凭证作者的说法,在他们泉源的实验中,MAML 并没有天生居心义的先验。是以,他们不克不及不开发他们自己的架构。

 该架构的使命流程分为三步:(1)在一个网罗多名语言者的「文本-语音」对的大型语料库上训练模子;(2)凭证某个特定语言者的大量「文本-语音」对换剂模子;(3)事实在纯文本长阻拦推理,并将其转化为合适的语音。作者研究了两种小样本学习场景:带有一个嵌入编码器(SEA-ENC)的参数化 few-soht 自顺应,和带有调优历程的非参数化 few-shot 自顺应(SEA-ALL)。在 SEA-ENC 的情形下,作者训练一个赞助嵌入群集,该搜聚会聚会会议在给定新数据的情形下意料出一个语言者的嵌入向量。相比之下,关于 SEA-ALL 来讲,作者同时训练网路和嵌入。在测试评价阶段,SEA-ALL 似乎性能更好,虽然作者撒播张扬模子在 SEA-ALL 的情形下会发生过拟合。是以,他们推荐应用早停法(early stopping)防止过拟合。(他们的模子仅仅在 10 秒内的 Librispeech 义务上比早先的论文所提出的模子体现更好)。

彩票幸运飞艇本文是一个很好的尺度,它将小样本学习应用于尺度的图象分类领域以外的棘手效果,并对其阻拦须要的调剂使其能够真正有用。欲望我们能够在未来看到有更多的研究者考试考试将小样本学习应用于通用模子。作者供应了一个网站,你可以不才面测试他们的 TTS(Text to speaking)模子的demo。可是,遗憾的是,他们似乎没有地下他们的代码。

ICLR 其它相关论文概述

《K for the Price of 1:参数高效的多义务和迁徙学习》

K for the Price of 1: Parameter-efficient Multi-task and Transfer Learning

论文下载地址:

彩票幸运飞艇Mudrarkarta 等人提出了一个由大量可学习的参数组成的模子补丁包,这些参数专门针对各个义务。这类措施替换了对群集的最后一层阻拦调优的通常做法。作者发现这类措施不只可以增添参数的数目(从逾越 100 万增添到 3.5 万),还可以在迁徙学习和多义务学习的情形下提升调优的准确率。唯一的弱点是,该补丁包似乎针对的只是相当详细的架构。

《用于距离怀抱学习的无监视域自顺应措施》

Unsupervised Domain Adaptation for Distance Metric Learning 

论文下载地址:

虽然本论文第一部门的效果为「无监视域自顺应」,它现实上研究的是迁徙学习效果。追念一下,通常目的域会经由历程域自顺应取得一组类似的标签。可是,在本例中,作者假定了一个无标签的目的域——正如一些审稿人提到的,本论文是以也变得有些令人嫌疑;不外,本文依然有一些值得关注的地方:为了划分源域和目的域的调剂空间,作者提出了一种特点迁徙群集 FTN。而且,该作者在跨种族人脸识别义务上取得了现在最早辈的性能。

《学习用于语法指导的法式模范模范剖析的元解算器》

Learning a Meta-Solver for Syntax-Guided Program Synthesis

论文下载地址:

彩票幸运飞艇本文议论辩说若何将元学习应用到法式模范模范剖析义务中。在本文中,作者构建了一个语法指导法式模范模范,它遵守一个逻辑公式和语法,然后天生一个法式模范模范。本文是一个将元学习用于尺度的小样本图象数据集以外的应用中的很好的尺度。

《深度线性群集中泛化静态和迁徙学习的剖析现实》

An analytic theory of generalization dynamics and transfer learning in deep linear networks

论文下载地址:

彩票幸运飞艇本文研究了学习和迁徙学习的现实。作者撒播张扬「我们的现实说清晰了了知识迁徙敏感但可盘算依附于『信噪比』和义务对的输入特点对齐」。总而言之,关于那些喜欢深刻研究现实的人来讲,这篇文章异常滑稽。

结语

彩票幸运飞艇我欲望本文很好地概述了本届 ICLR 上有关小样本学习的大多数论文(虽然我能够会遗漏落一些)。如你所见,本届 ICLR 上泛起了种种各样滑稽的新手艺,它们开启了将深度学习用于数据无限的情形的大门。

via     彩票幸运飞艇-幸运飞艇计划网页版

彩票幸运飞艇-幸运飞艇计划网页版原创文章,未经授权榨取转载。概略见。

从 ICLR 2019 一览小样本学习最新停留!
分享:
相关文章

文章点评:

神情
最新文章
请填写请求人才网料
姓名
德律风
邮箱
微旌旗暗记
作品链接
小我简介
为了您的账户安然,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
急速验证
完善账号信息
您的账号曾经绑定,现在您可以设置密码以便应用邮箱登录
急速设置 以后再说