首页 体育 教育 财经 社会 娱乐 军事 国内 科技 互联网 房产 国际 女人 汽车 游戏

NeurIPS提前看

2020-01-18

2019 年 NeurIPS 将于 12 月 8 日至 14 日在加拿大温哥华举办。NeurIPS 本年共收到投稿 6743 篇,其间承受论文 1429 篇,承受率达到了 21.1%。作为人工智能范畴的年度盛会,每年人工智能的专家学者以及工业企业界的研制人员都会活泼参会,发布最新的理论研讨成果以及运用实践方面的作用。本年,国外的高校和研讨机构自始自终的积极参加本届 NeurIPS,其间 Google 共贡献了 179 篇文章,斯坦福和卡耐基梅隆别离有 79 篇和 75 篇文章。国内的企业界上榜 18 篇、阿里巴巴上榜 10 篇,高校和研讨机构中清华参加完结的文章共有 35 篇。

2019 年,NeurIPS 承受与元学习相关的研谈论文约有 20 余篇。元学习是近几年的研讨热门,其意图是依据少数无标签数据完结快速有用的学习。元学习经过首要学习与相似使命匹配的内部标明,为机器供给了一种运用少数样本快速习惯新使命的办法。学习这种标明的办法首要有依据模型的和模型不可知的两类。依据模型的元学习办法运用少数样本的使命符号来调整模型参数,运用模型完结新使命,这种办法最大的问题是规划适用于不知道使命的元学习战略十分困难。模型不可知的办法首要由 Chelsea Finn 研讨组提出,经过初始化模型参数,履行少数的梯度更新进程就可以成功完结新的使命。

本文从 NeurIPS 2019 的文章中挑选了四篇来看看元学习的最新的研讨方向和取得的作用。Chelsea Finn 以及他的教师 Pieter Abbeel 在元学习范畴一向十分活泼,他们的研讨团队在这个方向现已贡献了很多的优秀作用,推动了元学习在不同使命中的有用运用。在本次 NeurIPS 中,他们的研讨团队针对依据梯度的元学习提出了一种只依赖于内部等级优化的处理方案,然后有用地将元梯度核算与内部循环优化器的挑选别离开来。别的,针对强化学习问题,提出了一种元强化学习算法,经过有监督的仿真学习有用的强化学习进程,大大加快了强化学习程序和先验常识的获取。咱们将在这篇提早看中深入分析和了解这些作业。

Chelsea Finn 是斯坦福大学核算机科学和电子工程的助理教授,一同也担任 Google Brain 的研讨科学家。Chelsea Finn 在她的博士论文《Learning to Learn with Gradients》中提出的 MAML 是现在元学习的三大办法之一,Chelsea Finn 证明了 MAML 的理论基础,并在元学习范畴中将其发扬光大,在少样本仿照学习、元强化学习、少样本方针揣度等中都取得了很好的运用。

本文还挑选别的两篇关于元学习的文章进行谈论,其间一篇是 Facebook 的作业,提出了一种元序列到序列的办法,经过学习成分归纳,运用域的代数结构来协助了解新的句子。别的一篇提出了一个多模态 MAML结构,该结构可以依据所辨认的办法调整其元学习先验参数,然后完结更高效的快速自习惯。

论文清单:

Meta-Learning with Implicit Gradients

Guided Meta-Policy Search

Compositional generalization through meta sequence-to-sequence learning

Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation

依据优化的元学习办法首要有两种途径,一是直接练习元学习方针模型,行将元学习进程标明为神经网络参数学习使命。另一种是将元学习看做一个双层优化的进程,其间「内部」优化完结对给定使命的习惯,「外部」优化的方针函数是元学习方针模型。本文是对后一种办法的研讨和改善。元学习进程需求核算高阶导数,因而给核算和回忆带来不小的担负,别的,元学习还面对优化进程中的梯度消失问题。这些问题使得依据优化的元学习办法很难扩展到触及大中型数据集的使命,或者是需求履行许多内环优化进程的使命中。

本文提出了一种隐式梯度元学习办法,运用隐式微分,推导出元梯度解析表达式,该表达式仅依赖于内部优化的解,而不是内部优化算法的优化途径,这就将元梯度核算和内部优化两个使命解耦。具体见图 1 中所示,其间经典的使命不可知的元学习办法沿绿色的途径核算元梯度,一阶 MAML 则运用一阶倒数核算元梯度,本文提出的 iMAML 办法经过估量部分曲率,在不区别优化途径的状况下,推导出准确的元梯度的解析表达式。

图 1. 不同办法元梯度核算图示

针对元学习使命 {Ti},i=1,...,M,别离对应数据集 Di,其间每个数据集包含两个集:练习集 D^tr 和测验集 D^test,每个会集的数据结构均为数据对,以练习集为例:

元学习使命 Ti 的方针是,经过优化丢失函数 L,依据练习集学习使命相关的参数φ _i,然后完结测验会集的丢失值最小。双层优化的元学习使命为:

其间,本文要点重视 Alg 部分的显现或隐式核算。经典 MAML 中,Alg 对应一步或几步梯度下降处理:

在数值核算进程中,为防止过拟合问题、梯度消失问题以及优化途径参数带来的核算和内存压力问题,选用显现正则化优化办法:

由此双层元学习优化使命为:

其间

选用显现迭代优化算法核算 Alg*存在下列问题:1、依赖于显现优化途径,参数核算和存储存在很大担负;2、三阶优化核算比较困难;3、该办法无法处理非可微分的操作。因而,本文考虑隐式核算 Alg*。具体算法如下:

考虑内部优化问题的近似解,它可以用迭代优化算法来取得,即:

对 Alg*的优化可以经过雅克比向量积近似迫临:

其间,φ_ i = Alg_i。调查到 g_i 可以作为优化问题的近似解取得:

共轭梯度算法由于其迭代杂乱度和仅满意 Hessian 矢量积的要求而特别适合于求解此问题。不同办法的核算杂乱度和内存耗费见表 1。用 k 来标明由 g_i 引起的内部问题的条件数,即内部优化核算问题的核算难度。Mem 标明核算一个导数的内存负载。

表 1:不同办法的内存及核算负载

为了证明本文办法的有用性,作者给出了三个试验:

一是,经过试验验证 iMAML 是否可以准确核算元梯度。图 2考虑了一个人工模仿的回归示例,其间的猜测参数是线性的。iMAML 和 MAML 都可以渐近匹配准确的元梯度,但 iMAML 在有限迭代中可以核算出更好的近似。

图 2. 准确度、核算杂乱度和内存负载比照。其间 MAML 为经典办法,iMAML 为本文提出的办法,FOMAML 为一阶 MAML 办法

二是,经过试验验证在有限迭代下 iMAML 是否可以比 MAML 更准确地迫临元梯度。图 2 中试验可知,iMAML 的内存是依据 Hessian 向量积的,与内部循环中梯度下降步数无关。内存运用也与 CG 迭代次数无关,由于中心核算不需求存储在内存中。MAML 和 FOMAML 不经过优化进程反向传达,因而核算成本仅为履行梯度下降的损耗。值得留意的是,FOMAML 尽管具有较小的核算杂乱度和内存负载,可是由于它疏忽了 Jacobian,因而 FOMAML 不可以核算准确的元梯度。

三是,比照与 MAML 比较的核算杂乱度和内存负载,以及经过试验验证 iMAML 是否能在实际的元学习问题中发生更好的成果,本文运用了 Omniglot 和 Mini ImageNet 的常见少数镜头图画辨认使命进行验证。在实际元学习试验中,挑选了 MAML、FOMAML 和 Reptile 作为比照办法。在 Omniglot 域上,作者发现 iMAML 的梯度下降版别与全 MAML 算法比较具有竞争力,而且在亚空间上优于其近似值,特别是关于较难的 20 路使命。此外,试验还标明无 Hessian 优化的 iMAML 比其他办法有更好的功能,这标明内部循环中强壮的优化器可以改善元学习的作用。在 Mini-ImageNet 域中,iMAML 的作用也优于 MAML 和 FOMAML。

表 2. Omniglot 试验成果

表 3. Mini ImageNet 试验成果

元学习的意图是运用完结不同使命的历史经历协助学习完结新使命的技术,元强化学习经过与环境的少数交互经过测验和改正错误来处理这一问题。元强化学习的关键是使得 agent 具有习惯性,可以以新的办法操作新方针,而不用为每个新方针和方针从头学习。现在元强化学习在优化安稳性、处理样本杂乱度等方面还存在困难,因而首要在简略的使命范畴中运用,例如低维接连操控使命、离散动作指令导航等。

本文的研讨思路是:元强化学习是为了取得快速有用的强化学习进程,这些进程自身不需求经过强化学习直接取得,相反,可以运用一个愈加安稳和高效的算法来供给元级监控,例如引进监督仿照学习。本文初次提出了在元学习环境中将仿照和强化学习相结合。在履行元学习的进程中,首要由本地学习者独自处理使命,然后将它们合并为一个中心元学习者。可是,与方针是学习可以处理一切使命的单一战略的引导式战略查找不同,本文提出的办法旨在元学习到可以习惯练习使命散布的单一学习者,经过归纳和归纳以习惯练习期间不知道的新使命。

图 3. 引导式元战略查找算法总述

图 3 给出本文提出的引导式元战略查找算法的全体结构。经过在内部循环优化进程中运用增强学习以及在元优化进程引进监督学习,学习可以快速习惯新使命的战略π_θ。该办法将元学习问题明晰分化为两个阶段:使命学习阶段和元学习阶段。此分化使得可以有用运用曾经学习的战略或人工供给的演示辅佐元学习。

现有的元强化学习算法一般运用同步战略办法从头开始进行元学习。在元练习期间,这一般需求很多样本。本文的方针是运用曾经学到的技术来辅导元学习进程。尽管依然需求用于内部循环采样的同步战略数据,但所需求的数据比不运用从前经历的状况下要少得多。经典 MAML 的方针函数如下:

运用于元强化学习中,每个数据集标明为如下轨道办法:s_1,a_1,...,a_H-1,,s_H。内部和外部循环的丢失函数为:

将元练习使命的最优或挨近最优的战略符号为 {^*},其间每个方针界说为「专家」。元学习阶段的优化方针 L_RL 与 MAML 相同,其间φ_i 标明战略参数,D_i 为数据集。

内部战略优化进程运用第一阶段学习到的战略优化元方针函数,特别的,把外部方针建立在专家行为的监督仿照或行为克隆上。BC 丢失函数为:

监督学习的梯度方差较小,因而比强化学习的梯度愈加安稳。第二阶段的使命是:首要运用每个战略 ^*,为每个元练习使命 Ti 搜集专家轨道 ^*的数据集。运用此初始数据集,依据以下元方针更新战略:

由此得到一些可以适用于不同使命的列初始战略参数θ然后生成φ_i。在单使命模仿学习环境中,进一步的,可以持续经过从学习到的战略中搜集额定的数据 ,然后用专家战略中的最优操作符号拜访状况。具体进程为:运用战略参数θ生成 {φ_i};针对每个使命,运用当时战略 {π_} 生成状况 {{s_t}_i};运用专家生成监督数据 D={{s_t,π_i)}_i};运用现有监督数据聚合该数据。

引导式元战略查找算法如下:

本文运用 Sawyer 机器人操控使命和四足步行机使命验证 GMPS 的有用性。所挑选的比照算法包含:依据异步战略办法的 PEARL、战略梯度版别的 MAML、RL2、针对一切元练习使命的单一方针办法 MultiTask、附加结构化噪声的模型不可知算法 。图 4 给出完结全状况推送使命和密布奖赏运动的元练习功率。一切办法都达到了相似的渐近功能,但 GMPS 需求的样本数量显着较少。与 PEARL 比较,GMPS 给出了附近的渐进功能功能。与 MAML 比较,GMPS 完结 Sawyer 物体推送使命的功能提高了 4 倍,完结四足步行机使命的功能提高了约 12 倍。GMPS 的下述处理办法:选用了用于获取每个使命专家的异步战略增强学习算法和可以履行多个异步战略监督梯度进程的组合,例如外部循环中的专家,使得 GMPs 与依据战略的元增强学习算法比较,取得了明显的全体样本功率增益,一同也显现出比 PEARL 等数据功率高的上下文办法更好的习惯性。

图 4. Sawyer 机器人使命作用比照

图 5. 稀少奖赏开门动作、稀少奖赏蚂蚁移动和视觉推手动作的元练习比较

关于触及稀少奖赏和图画调查的具有应战性的使命,有用运用人工供给的演示可以极大地改善强化学习的作用,图 5 中给出了相关的试验。与其他传统办法比较,GMPS 可以愈加有用且简略的运用演示信息。在图 5 一切的试验中,关于方针方位的方位信息都不作为输入,而元学习算法有必要可以发现一种从奖赏中揣度方针的战略。关于依据视觉的使命,GMPS 可以有用地运用演示快速、安稳地学习习惯。此外,图 5 也标明,GMPS 可以在稀少的奖赏设置中成功地找到一个好的处理方案,并学会探究。GMPS 和 MAML 都能在一切练习使命中取得比单一战略练习的强化学习更好的功能。

由于人具有创造学习的才能,他们可以学习新单词并立即可以以多种办法运用它们。一旦一个人学会了动词「to Facebook」的意思,他或她就能了解怎么「慢慢地 Facebook」、「急迫地 Facebook」或「边走边 Facebook」。这便是创造性的才能,或是经过结合了解的原语来了解和发生新颖言语的代数才能。作为一种机器学习办法,神经网络长期以来一向因缺少创造性而遭到批判,导致批判者以为神经网络不适合建模语言和思想。最近的研讨经过对现代神经结构的研讨,从头审视了这些经典的谈论,特别是成功的将序列到序列模型运用于机器翻译和其他自然语言处理使命中。这些研讨也标明,在创造性的归纳方面,seq2seq 仍存在很大困难,尤其是需求把一个新的概念和曾经的概念结合起来时。也便是说,当练习集与测验集相一同,seq2seq 等递归神经网络可以取得较好的作用,可是当练习集与测验集不同,即需求发挥「创造性」时,seq2seq 无法成功完结使命。

这篇文章中展现了怎么练习回忆增强神经网络,然后经过「元-序列到序列学习」办法完结创造性的归纳。与规范的元学习办法相似,在「元练习」的进程中,练习是依据散布在一系列称为「集」的小数据集上完结的,而不是依据单个静态数据集。在「元 seq2seq 学习」进程中,每一集都是一个新的 seq2seq 问题,它为序列对和「查询」序列供给「支撑」。该办法的网络支撑将序列对加载到外部内存中,以供给为每个查询序列生成正确输出序列所需的上下文。将网络的输出序列与方针使命进行比较,然后取得由支撑项目到查询项意图创造性归纳才能。元 seq2seq 网络对需求进行创造性组合泛化的多个 seq2seq 问题进行元练习,意图是取得处理新问题所需的组合技术。新的 seq2seq 问题彻底运用网络的激活动力学和外部存储器来处理;元练习阶段完毕后,不会进行权重更新。经过其共同的结构挑选和练习进程,网络可以隐式地学习操作变量的规矩。

图 6. 元 seq2seq 学习

图 6 给出了一个元 seq2seq 学习的示例,其使命是依据支撑数据集处理查询指令「跳两次」,支撑集包含「跑两次」、「走两次」、「看两次」和「跳」。运用一个递归神经网络编码器和一个 RNN 解码器了解输入句子生成输出句子。这个结构与规范 seq2seq 不同,它运用了支撑数据集、外部存储和练习进程。当音讯从查询编码器传递到查询解码器时,它们遭到了由外部存储供给的逐渐上下文信息 C 影响。

下面将具体描述体系结构的内部作业流程:

输入编码器 f_ie对输入查询指令以及支撑数据会集的输入指令进行编码,生成输入嵌入特征 w_t,运用 RNN 转化为隐层嵌入特征 h_t:

关于查询序列,在每个进程 t 时的嵌入特征 h_t 经过外部存储器,传递到解码器。关于每个支撑序列,只需求最终一步躲藏嵌入特征,标明为 K_i。这些向量 K_i 作为外部键值存储器中的键运用。本文运用的是双向长短时回忆编码办法。

输出编码器 f_oe用于每个支撑数据会集的项目和其对应的输出序列。首要,编码器运用嵌入层嵌入输出符号序列。第二,运用与 f_ie 相同的处理进程核算数列的嵌入特征。最终一层 RNN 的状况作为支撑项意图特征向量存储 V_i。依然运用 biLSTM。

该架构运用相似于存储器网络的软键值存储器,键值存储器运用的留意函数为:

每个查询指令从 RNN 编码器生成 T 个嵌入,每个查询符号对应一个,填充查询矩阵 Q 的行。编码的支撑项目别离为输入和输出序列的 K 行和 V 行。留意权重 A 标明关于每个查询进程,哪些内存单元处于活动状况。存储器的输出是矩阵 M=AV,其间每一行是值向量的加权组合,标明查询输入进程中每一步的存储器输出。最终,经过将查询输入嵌入项 h_t 和分步内存输出项 M_t 与衔接层 C_t=tanh结合来核算分步上下文,然后生成分步上下文矩阵 C。

输出解码器将逐渐上下文 C 转换为输出序列。解码器将从前的输出符号嵌入为向量 o_j-1,该向量 o_j-1 与从前的躲藏状况 g_j-1 一同啊输入到 RNN以取得下一个躲藏状况,

初始躲藏状况 g_0 被设置为最终一步的上下文 C_T。运用 Luong 式留意核算解码器上下文 u_j,使得 u_j=Attension。这个上下文经过另一个衔接层 g_j=tanh,然后映射到 softmax 输出层以发生输出符号。此进程重复,直到发生一切输出符号,RNN 经过发生序列完毕符号来停止呼应。

元练习经过一系列练习集优化网络,每个练习集都是一个带有 n_s 支撑项目和 n_q 查询项意图新 seq2seq 问题。模型的词汇表是事情词汇表的组合,丢失函数是查询的猜测输出序列的负对数似然。

本文办法的 PyTorch 代码已揭露发布:https://github.com/brendenlake/meta_seq2seq

本文给出了不同的试验验证元 seq2seq 办法的有用性。经过置换元练习增加一个新的原语的试验,评价了元 seq2seq 学习办法在增加新原语的 SCAN 使命中的作用。经过将原始 SCAN 使命分化为一系列相关的 seq2seq 子使命,练习模型进行创造性的归纳。方针是学习一个新的根本指令,并将其组合运用。例如模型学习一个新的原始「跳动」,并将其与其他指令结合运用,相似于本文前面介绍的「to Facebook」示例。试验成果见表 4 成果中心列。其间,规范 seq2seq 办法彻底失利,正确率仅为 0.03%。元 seq2seq 办法可以成功完结学习复合技术的使命,表中所示达到了均匀 99.95% 的正确率。

表 4. 在不同练习办法下测验 SCAN「增加跳动」使命的准确性

经过增强元练习增加一个新的原语的试验意图是标明元 seq2seq 办法可以「学习怎么学习」原语的含义并将其组合运用。文章只考虑了四个输入原语和四个含义的十分简略的试验,现在的研讨状况下,作者以为尚不能确认元 seq2seq 学习是否适用于更杂乱的使命范畴。试验成果见表 4 的最右侧列。元 seq2seq 办法可以完结取得指令「跳」并正确运用的使命,正确率达到了 98.71%。规范 seq2seq 得益于增强练习的处理得到了 12.26% 的正确率。

关于运用元练习组成相似概念的使命,试验成果见表 5 左边成果列。元 seq2seq 学习办法可以近乎完美的完结这个使命,可以依据其组成部分揣度「around right」的含义。而规范 seq2seq 则彻底无法完结这个使命,syntactic attention 办法完结这个使命的正确率为 28.9%。最终一个试验验证了元 seq2seq 办法是否可以学习推行到更长的序列,即测验序列比元练习期间的任何经历句子序列都长。试验成果见表 5 最右侧列。可以看到,一切办法在这种状况下体现都欠安,元 seq2seq 办法仅有 16.64% 的正确率。尽管元 seq2seq 办法在组成使命上较为成功,但它缺少对较长序列进行外推所需的真实体系化的归纳才能。

表 5. 测验 SCAN「左右」和「长度」使命的准确性

元 seq2seq 学习关于了解人们怎么从根本成分元素创造性的归纳推行到其它概念有着重要的含义。

人们是在动态环境中学习的,意图是处理一系列不断改变的学习问题。在经历过一次像「to Facebook」这样的新动词之后,人们可以体系地归纳这种学习或鼓励办法是怎么完结的。这篇文章的作者以为,元学习是研讨学习和其他难以捉摸的认知才能的一个强壮的新东西,尽管,在现在的研讨条件下还需求更多的作业来了解它对认知科学的影响。

本文所研讨的模型仅仅运用了网络动态参数和外部存储器就完结了在测验阶段学到怎么赋予单词新的含义。尽管功能强壮,但这个作业依然是一个有限的「变量」概念,由于它需求了解元练习期间一切或许的输入和输出分配。这是现在一切神经网络体系架构所共有的问题。作者在文末说到,在未来的作业中,计划探究在现有网络结构中增加更多的象征性安排,以处理真实的新符号,一同处理推行到更长输出序列的应战。

经典的模型不可知的元学习办法需求找到在整个使命散布中同享的公共初始化参数。可是,当使命比较杂乱时,针对使命采样需求可以找到实质性不同的参数。本文的研讨方针是,依据 MAML,找到可以取得特定办法的先验参数的元学习者,快速习惯从多办法使命散布中抽取的给定使命。本文提出了一个多模态模型不可知元学习结构,该结构一同运用依据模型的元学习办法和模型不可知的元学习办法,可以依据辨认的办法调整其元学习先验参数,然后完结更高效的快速自习惯。图 7 给出了 MMAML 全体结构。MMAML 的要点是运用两种神经网络完结快速习惯新使命。首要,称为调制网络的网络猜测使命办法的标识。然后将猜测出的办法标识作为使命网络 (Task Network)的输入,该网络经过依据梯度的优化进一步习惯使命。具体算法如下:

图 7. MMAML 结构

调制网络担任辨认采样使命的办法,并生成一组特定于该使命的参数。首要将给定的 K 个数据及其标签 {x_k,y_k}_k=1,…,K 输入到使命编码器 f 中,并生成一个嵌入向量 v,该向量对使命的特征进行编码:

然后依据编码后的使命嵌入向量 v 核算使命特定参数 τ,进而对使命网络的元学习先验参数进行调制。使命网络可所以恣意参数化的函数,例如深卷积网络、多层递归网络等。为了调整使命网络中每个块的参数作为处理方针使命的初始化参数,运用块级转换来缩放和移动网络中每个躲藏单元的输出激活。具体地,调制网络为每个块 i 发生调制向量,标明为:

其间 N 是使命网络中的块数。上述进程标明

其间θ_i 为初始化参数,Φ_i 是使命网络的调制先验参数。本文选用了特征线性调制办法作为调制运算办法。

运用调制网络生成的使命特定参数τ={τ_i | i=1, ,N} 来调制使命网络的每个块的参数,该参数可以在参数空间 f中生成办法感知初始化。在调制进程之后,对使命网络的元学习先验参数进行几步梯度下降以进一步优化使命τ_i 的方针函数。在元练习和元测验时,选用了相同的调制和梯度优化办法。

作者标明,具体的网络结构和练习超参数会因运用范畴的不同而有所不同。本文在多模态使命散布下,评价了 MMAML 和基线极限办法在不同使命中的作用,包含回归、图画分类和强化学习等。基线比照办法包含运用多使命网络的 MAML 和 Multi-MAML。

表 6. 回归试验成果

表 6 给出了 2、3 和 5 办法下多模态五次回归的均方差错。运用μ=0 和σ=0.3 的高斯噪声。Multi-MAML 办法运用根本现实的使命办法来挑选对应的 MAML 模型。本文提出的办法比其他办法作用稍好。

表 7. 图画分类试验成果

表 7 给出了 2、3、5 办法多办法少镜头图画分类准确度测验成果,成果证明了本文提出的办法与 MAML 比有较好的作用,而且与 Multi-MAML 的功能适当。

表 8. 元强化学习试验成果

表 8 给出在 3 个随机种子上陈述的 2、4 和 6 个办法的多模态强化学习问题中,每集累积奖赏的均匀值和规范差。元强化学习的方针是在有限的使命经历基础上习惯新的使命。本文运用 ProMP 算法优化战略和调制网络,一同运用 ProMP 算法作为试验比照基线,Multi-ProMP 是一个人工基线,用于显现运用 ProMP 为每个办法练习一个战略的功能。表 8 所示的试验成果标明,MMAML 一直优于未经调制的 ProMP。只考虑单一办法的 Multi-ProMP 所展现出的杰出功能标明,在该试验环境下,不同办法面对的习惯性困难首要来自于多种办法。

图 8. 从随机抽样的使命生成的使命嵌入的 tSNE 图;符号色彩标明使命散布的不同办法

最终,图 8 给出了上述各个试验从随机抽样的使命生成的使命嵌入的 tSNE 图,其间符号色彩标明使命散布的不同办法。图和图显现了依据不同使命办法的明晰聚类,这标明 MMAML 可以从少数样本中辨认使命并发生有含义的嵌入量。回归:办法之间的间隔与函数相似性的状况共同少镜头图画分类:每个数据集构成自己的簇。-强化学习:聚类数字代表不同的使命分配办法。不同办法的使命在嵌入空间中可以明晰地集合在一同。

作者介绍:仵冀颖,工学博士,结业于北京交通大学,曾别离于香港中文大学和香港科技大学担任助理研讨员和研讨助理,现从事电子政务范畴信息化新技术研讨作业。首要研讨方向为办法辨认、核算机视觉,喜好科研,希望能坚持学习、不断进步。

热门文章

随机推荐

推荐文章