神经架构搜索方法

018a)和 Pham et al.(2018)的工作。Cai et al.(2018a)提出可以从一个简单的架构开始搜索，通过功能保留的操作逐步增加搜索的宽度和深度。

现在更流行也更快的搜索方法是 Pham et al.(2018)提出的，他们构造了包含搜索空间中所有架构的过参数化架构。在算法的每一个时间步上，都会对这个大型架构中的一小部分进行采样和训练。训练完成后，抽样得到的架构可以共享训练权重，这样就可以将搜索的工作量减少到和训练单个架构差不多的水平。

搜索空间的设计构成了神经架构搜索的另一个重要组成部分。除了加快搜索过程外，这还会影响搜索的持续时间和搜索得到的解决方案的质量。在神经架构搜索的早期工作中，设计空间主要是为了搜索顺序架构的。但随着手工构建的分支架构已经在性能上超越了传统网络，因此刚发表不久后就提出了合适的搜索空间，并且这些空间已经成为了该领域的规范(Zoph et al.，2018)。

在这些工作取得进展的同时，研究人员拓宽了神经架构搜索的视野，希望神经架构搜索可以减少搜索时间，降低发现架构的泛化误差。可以同时处理多个目标函数的方法开始进入人们的视野。这方面值得注意的工作包括为了将模型部署在移动设备上，试着限制模型参数数量(Tan et al.，2018;Kim et al.，2017)或其他部分。此外，已经开发的架构搜索技术也已经扩展到深度学习其他相关组件的高级自动化上了。例如，激活函数的搜索(Ramachandran et al.，2018)以及合适的数据增强(Cubuk et al.，2018a)。

目前，以神经架构搜索的形式实现深度学习自动化是机器学习领域发展最快的方向之一。每周在 arXiv.org (http://arxiv.org/) 和主流会议刊物上都会出现一些有趣的工作，因此人们很容易迷失方向。

本文总结了现有方法。我们可以通过这样的总结辩证地审视不同的方法，并理解不同组件的好处，这些组件有助于神经架构搜索的设计与成功。在这一过程中，作者还试图消除一些常见的误解，并指出当前架构搜索趋势中的一些陷阱。作者还做了适当的实验补充自己的想法。

1. 神经架构搜索空间

神经架构搜索空间是神经架构一般定义的子空间。其运算空间是有限的，而且可以对架构施加一定的约束。本文接下来用搜索空间指代神经架构搜索方法的可行方案的集合。

（编辑：葫芦岛站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!