NATS-Bench:TPAMI 2021

神经架构搜索（NAS）吸引了很多关注，并且在过去的几年中被证明可以在大量应用中带来明显的好处。 网络拓扑和网络规模已被视为深度学习模型性能的两个最重要方面，并且社区为神经体系结构的这两个方面催生了许多搜索算法。 但是，这些搜索算法的性能增益是在不同的搜索空间和训练设置下实现的。 这使得算法的整体性能无与伦比，并且对搜索模型的子模块的改进尚不清楚。 在本文中，我们提出了NATS-Bench，这是（几乎）任何最新的NAS算法在搜索拓扑和大小时的统一基准。 NATS-Bench在三个数据集中包含用于结构拓扑的15,625个神经细胞候选对象和用于结构大小的32,768个搜索空间。 我们根据各种标准和搜索空间中所有候选人的表现比较来分析基准测试的有效性。 通过对13种最新的NAS技术进行基准测试，我们还展示了NATS-Bench的多功能性。 提供了使用每个候选人的相同设置训练的所有日志和诊断信息。