几小时前，谷歌在Google I/O大会上公布了最新的机器学习算法——AutoML，随后谷歌的两位研究员 Quoc Le & Barret Zoph就将该算法的研究成果发布在了research.googleblog上，机器人圈将其编译如下，我们可以很快了解AutoML到底是如何做到“让神经网络设计神经网络”的。
在Google，我们已经成功地将深度学习模型应用到许多领域，从图像识别到语音识别，再到到机器翻译。通常，我们的机器学习模型是由一队工程师和科学家精心设计的。人工设计机器学习模型的过程是很难的，因为所有可能组合的模型的搜索空间巨大——典型的10层网络可以具有〜1010个网络！因此，设计网络的过程通常需要那些有显著机器学习专业知识的人花大量的时间去研究和实验。
我们的GoogleNet架构。该网络的设计需要从卷积架构的初始版本进行多年的仔细实验和细化。
为了使设计机器学习模型的这一过程更加易于访问，我们一直在探索自动化机器学习模型设计的方法。在我们研究的许多算法中，进化算法（evolutionary algorithms）和强化学习算法（reinforcementlearning algorithms）已经显示出巨大的前景。但是在这篇文章中，我们将重点介绍强化学习方法和迄今为止我们使用该算法所获得的早期成果。
在我们的方法（我们称之为“AutoML”）中，一种控制器神经网络能够提议一个“子”模型架构，然后针对特定任务进行训练与质量评估；而反馈给控制器的信息则会被用来改进下一轮的提议。我们重复这个过程数千次——从而生成新的架构，然后经过测试和反馈，让控制器进行学习。最终，控制器将学会为好的架构分配高的概率，以便在延续的验证数据集上实现更高的准确性，并且对于架构空间的差异很小。看起来就像下图：
我们将这种方法应用于深度学习中的两个重要的基准数据集：使用CIFAR-10的图像识别和Penn Treebank的语言建模。在这两个数据集上，我们的方法可以设计出和机器学习专家（包括我们自己的团队中的一些）设计的最先进的模型具有同等精确度水平的模型。
那么，它能产生什么样的神经网络？我们举一个例子说明这个情况吧：一个经常性的体系结构，被训练来预测Penn Treebank数据集上的下一个单词。左边是人类专家设计的神经网络，而右边是通过我们的方法创建的一个复发性架构：
机器选择的架构确实与人类的设计共享有一些共同特征，例如使用添加来将输入和以前的隐藏状态相组合。然而，有一些显着的新元素，例如，机器选择的架构包含乘法组合（右图中最左侧的蓝色节点标记为“elem_mult”）。这种组合对于复发性网络来说是不常见的，也许是因为研究人员看不到拥有它的明显好处。有趣的是，人类设计师最近提出了一种更简单的方法，他们也认为这种乘法组合可以实际上缓解渐变的消失/爆炸问题，这表明机器选择的架构能够发现有用的新型神经网络架构。
这种方法也可以让我们明白为什么某些类型的神经网络工作得如此之好。这里的架构有许多渠道，从而使梯度可以向后流动，这可能有助于解释为什么LSTM RNN可以比标准的RNN工作得更好。
展望未来，我们将仔细分析和测试这些机器生成的架构，以帮助我们更好地理解这些架构。如果我们成功的话，我们认为这可以启发新型的神经网络，使非专家可以根据自己的特定需求创建神经网络，从而使机器学习可以让每个人都从中获益吧。
联系客服
