Mis梁
现在关于AutoML比较有用的优化方法是Google出版的基于神经架构搜索的优化方法，即Neural Optimizer Search。
AutoML专注于自动化机器学习（ML）工作流的各个方面，以提高效率并使机器学习民用化，以便非专家也可以轻松地将机器学习应用于其工作上。尽管AutoML涵盖了与ETL（提取，转换，加载），模型训练和模型部署相关的一系列广泛问题的自动化，但是超参数优化问题是AutoML的核心焦点。此问题涉及配置用于控制ML模型/算法行为的内部设置，以便返回高质量的预测模型。
深度学习通过以端到端的方式学习与统计模型结合的表示形式，提供了绕过手动特征工程过程。但是神经网络体系结构本身通常是由机器学习工程师特殊设计的。神经体系结构搜索（NAS）被吹捧为通过自动识别优于手工设计的体系结构来减轻这种麻烦的优化方法之一。
NAS普遍被认为的观点
- NAS与传统的超参数优化之间存在错误的二分法。实际上，NAS是超参数优化的子集。而且专用的NAS方法实际上并不是完全自动化的，因为它们依赖于人为设计的体系结构作为起点。
- 虽然探索和调整不同的神经网络架构对于开发高质量的深度学习应用至关重要，但在我们看来，专用的NAS方法尚不适合专业领域：与高质量的超参数优化算法相比，它们引入了显着的算法和计算复杂性（例如ASHA），而没有证明标准基准测试任务的性能有所提高。
- 在过去的几年中，专用的NAS方法在提高准确性，降低计算成本和减小体系结构大小方面表现出了显着的进步，并且最终可以在神经网络（非普通机器学习）体系结构设计上超过人类的性能。
NAS最重要的三个组件
- 搜索空间。该组件描述了要考虑的一组可能的神经网络体系结构。这些搜索空间是为特定于应用程序而设计的，例如，用于计算机视觉任务的卷积网络空间或用于语言建模任务的循环网络空间。因此，NAS方法不是完全自动化的，因为这些搜索空间的设计从根本上依赖于人类设计的架构作为起点。即使这样，仍然存在许多体系结构决策。实际上，在这些搜索空间中考虑的可能架构的数量通常超过10 ^ 10。
- 优化方法。该组件确定如何探索搜索空间以找到良好的体系结构。这里最基本的方法是随机搜索，同时还引入了各种自适应方法，例如，强化学习，进化搜索，基于梯度的优化和贝叶斯优化。尽管这些自适应方法在确定要评估的体系结构的方式方面有所不同，但它们都试图将搜索偏向性能更佳的体系结构。毫不奇怪，所有这些方法都具有在传统超参数优化任务中引入的对应方法。
- 评估方法。该组件衡量通过优化方法考虑的每种体系结构的质量。最简单但在计算上最昂贵的选择是完全训练体系结构。人们可以选择利用局部训练，其本质类似于类似于ASHA的超参数优化中常用的提前停止方法。还引入了特定于NAS的评估方法（例如网络形态，权重共享和超网络）来利用神经网络的结构来提供更便宜的启发式质量评估。部分训练方法通常比全面训练便宜一个数量级，而NAS特定的评估方法比全面训练便宜2-3个数量级。
是否目前已可以用NAS方法？
还没！明确地说，探索各种体系结构并执行广泛的超参数优化仍然是任何深度学习应用程序工作流程的关键组成部分。大多数专业的NAS方法非常特定于给定的搜索空间，并且需要针对每个新的搜索空间进行重新训练或调整工具。此外，某些方法会遇到健壮性问题，并且可能难以训练。这些问题当前阻碍了现有专用NAS方法在不同任务上的普遍适用性。
分享到:
