作者 | 殷明章编辑 | 丛末
本文介绍的是 ICLR 2020 spotlight 论文《Meta-Learning without Memorization》(无记忆的元学习)，来自德克萨斯大学奥斯汀分校在读博士生殷明章。
论文: https://openreview.net/pdf?id=BklEFpEYwS
代码: https://github.com/google-research/google-research/tree/master/meta_learning_without_memorization
让我们回顾片刻在学校学习的经历。每一天我们去上课，回答老师的问题；回家后我们解答作业问题，对照答案检查正确与否。日积月累，我们不仅学到了知识，更学会了如何学习 (learning to learn)。当面对新任务时，我们可以利用之前解决问题的经验并加上少量的练习，迅速学会新的技能。这种 “快速适应 (fast adaptation)” 能力被认为是智能的重要体现。在人工智能领域，元学习 (meta-learning) 是一种使机器 “学会学习” 的有效手段。
在这篇论文里，我们发现一个表征能力强大的人工神经网络除了 “快速适应” 外，还可以通过 “记忆” 的方式来解决训练集里的多项任务。不幸的是，一个只会记忆的神经网络不具备解决新任务的能力。这篇论文旨在提出、定义、分析元学习中的记忆问题，并提出新的元正则化方法 (meta-regularization) 以避免记忆问题。
1
元学习的图模型要训练一个元学习模型，首先需要从一个任务分布
中生成多个任务。每个任务都由一个带标注的任务内训练数据
和测试数据
组成。我们用 代表所有用于元训练（meta-training）的数据，
代表一个元测试阶段的新任务。我们在 上训练模型, 目标是当面对新任务时，它能够在少量训练数据
上实现快速适应，从而准确预测新任务测试数据
的标签。这个过程可以表示为一个层次型的图模型：
2
记忆问题 回到开头的例子， 假设在学校每天学习的内容是解决一种题型，这对应于元训练里的一个任务。经过一段时间后，假设每种题型都被重复学习了若干次。如果一个学生可以记住各个题型，那么她/他将不需要再去上课也可以解决作业里的问题。也就是说她/他可以解决已知题型里的新问题，但这样的纯粹记忆并不能解决新的题型。让我们再看一个例子，假设每一个元训练里的任务是拟合一些线性相关的数据。我们希望模型能够学会利用少量的数据去估计模型参数，如下图所示：
这种快速适应能力可以泛化到解决元测试中的未曾见过的新任务，如下图（左）。但我们发现，如果模型足够灵活，那么一个单一模型就可以解决元训练中的所有任务，并且忽略任何任务内训练数据，如下图(右)。这导致在元测试阶段，当面对一个新任务时，算法仍然会忽略任务内训练数据，但这样做将无法解决新任务
我们将这样的现象定义为元学习中的记忆问题 (memorization problem)，数学上表述为条件互信息为零：
也就是说预测值和任务内训练数据是条件独立的。
值得注意的是记忆问题是否会出现与任务分布 紧密相关。我们发现，如果各任务是互斥的（mutually exclusive），意即一个单一预测模型不可以解决所有的任务，那么记忆问题不会出现。例如小样本分类（few-shot classification）广泛地利用了这个特性。但在很大一类问题中，各任务不互斥，因此记忆问题广泛存在，并会影响多种元学习算法。
3
元正则化基于以上分析和图表式，我们发现用于预测模型的信息来自元训练数据, 任务内训练数据
和输入
。因此如果能够控制来自和的信息，同时要求实现精确预测，就可以鼓励模型利用中的信息而不是忽略它。利用信息不等式和PAC-Bayes理论，我们得出一种方式是利用信息瓶颈（information bottleneck）约束：
另一种方式是约束
其中
对应编码器 (encoder):
的参数。将以上元正则项 (Meta Regularization)和Model Agnostic Meta-Learning (MAML)，Conditional Neural Process (CNP) 相结合， 我们提出了新的 “MAML先生” (MR MAML) 和 “CNP先生” (MR CNP) 算法。在几个非互斥任务的数据集上，我们的算法实现了大幅度的性能提升。在一个3D物体方向预测数据集上我们进行了实验：
我们也在非互斥的少样本分类数据上进行了实验：
4 结论
记忆问题广泛存在于元学习问题和元学习算法中
记忆问题是一种任务层面的过拟合，这不同于传统上数据点层面的过拟合
通过元正则方法我们有效地控制了记忆问题，并拓展了元学习的应用场景
感谢 George Tucker，Mingyuan Zhou，Sergey Levine和Chelsea Finn的合作。
ICLR 2020 系列论文解读
0、ICLR 2020 会议动态报道
疫情严重，ICLR2020 将举办虚拟会议，非洲首次 AI 国际顶会就此泡汤
疫情影响，ICLR 突然改为线上模式，2020年将成为顶会变革之年吗？
火爆的图机器学习，ICLR 2020上有哪些研究趋势？
1、直播
回放 | 华为诺亚方舟ICLR满分论文：基于强化学习的因果发现
2、Oral
01. Oral | 一种镜像生成式机器翻译模型：MGNMT
02. Oral | 额外高斯先验目标，缓解负多样性无知
03. Oral | 引入额外门控运算，LSTM稍做修改，性能便堪比Transformer-XL
04. Oral | 并行蒙卡树搜索，性能无损，线性加速，勇闯「消消乐」1000关！
05. Oral | 元强化学习迎来一盆冷水：不比元Q学习好多少
06. Oral | 用群卷积建立深度、等变的胶囊网络
07. Oral | 谷歌推出分布式强化学习框架SEED，性能“完爆”IMPALA，可扩展数千台机器，还很便宜
08. Oral | Reformer ，一种高效的Transformer
09. Oral | 基于值函数的规划和强化学习的控制架构（视频直播）
3、Spotlight
01. Spotlight | 模型参数这么多，泛化能力为什么还能这么强？
02. Spotlight | 公平与精确同样重要！CMU提出学习公平表征方法，实现算法公平
03. Spotlight | 组合泛化能力太差？用深度学习融合组合求解器试试
04. Spotlight | 加速NAS，仅用0.1秒完成搜索
05. Spotlight | 华盛顿大学：图像分类中对可实现攻击的防御（视频解读）
06. Spotlight | 超越传统，基于图神经网络的归纳矩阵补全
07. Spotlight | 受启诺奖研究，利用格网细胞学习多尺度表达（视频解读）
4、Poster
01. Poster | 华为诺亚：巧妙思想，NAS与「对抗」结合，速率提高11倍
02. Poster | 抛开卷积，多头自注意力能够表达任何卷积操作
03. Poster | NAS 太难了，搜索结果堪比随机采样！华为给出 6 条建议
04. Poster | 清华提 NExT 框架，用「神经元执行树」学习可解释性
05. Poster | 谷歌最新研究：用“复合散度”量化模型合成泛化能力
06. Poster | 完胜 BERT，谷歌最佳 NLP 预训练模型开源，单卡训练仅需 4 天
07. Poster | FSNet：利用卷积核概要进行深度卷积神经网络的压缩
08. Poster | "同步平均教学"框架为无监督学习提供更鲁棒的伪标签
09. Poster | 快速神经网络自适应技术
