你能学会如何教学吗？

三个要点
✔️学而思加速学习
✔️元学习生成合成数据，让网络学习更快。
✔️神经网络的学习速度快9倍。

Hierarchically Decoupled Imitation for Morphological Transfer
written by Donald J. Hejna III, Pieter Abbeel, Lerrel Pinto
(Submitted on 3 Mar 2020 (v1), last revised 31 Aug 2020 (this version, v2))
Comments: Accepted at ICML2020
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Robotics (cs.RO); Machine Learning (stat.ML)
  

介绍

你能学会教书吗？

本文介绍的论文就是针对这一挑战性问题的研究。这个问题与一般的元学习相似但又不同。现有的元学习大多集中在"学会如何学习"上，正所谓"学会学习"。

换句话说，最大的问题是"我们能从所给的数据中学习到什么"。

如果非要把它比作学习的话。
当一本教材给了学生，他们还能从教材中获得多少知识？
当给学生一个任务时，他们能解决得怎么样？
这就是我们的目标。

换句话说，就是强调对"学习者"的提炼。然而，真的只有学习者才是重要的吗？只要学生成绩优秀，给该学生的课本或作业不优秀有关系吗？直觉上，我不会说是这样的。当然，一个优秀的学生无论多难的课本，都能从课本中顺利获得知识。但是，如果给学生一本通俗易懂的教材，学生的学习效率还是会提高的。

本文介绍的生成式教学网络（GTN）是一种真正意义上的"学会如何教"的方法，它可以让我们在这个类比中创造出"易于理解的教科书"。

预备

GTN的目标是生成可以有效训练的合成数据。本文讨论了该技术在加快网络架构搜索（NAS）中的应用。NAS是一种技术，它还可以学习神经网络本身的结构，并建立一个最优的网络来解决一个任务。为了评估生成的网络架构的性能，有必要实际训练数据或准备模型来预测架构的性能。自然，这种建筑学性能估计是非常昂贵的学习。GTN生成的合成数据，可以在少量数据上进行训练，但性能仍然和在大量数据上训练一样好。这可以用来减少NAS中性能估计所需的训练量。论文中的实验表明，它将神经网络的学习速度提高了9倍。

• 
• 
• 

与本文相关的类别

• 元学习