zero-cost-nas:轻量级NAS的零成本代理

零成本NAS ICLR2021论文的随附代码：tl; dr单个小批量数据用于为NAS的神经网络评分，而不是执行完整的训练。 在本自述文件中，我们提供： 如有任何疑问，请打开问题或给我们发送电子邮件。 （最新更新：02.02.2021） 概括 介绍。 为了执行神经体系结构搜索（NAS），通常需要对深度神经网络（DNN）进行训练，直到计算出最终的验证精度并用于将DNN相互比较并选择最佳的DNN。 但是，这很耗时，因为训练需要花费多个GPU小时/天/周。 这就是为什么通常使用最终精度的代理来加快NAS的速度。 通常，此代理是简化的训练形式（例如EcoNAS），其中减少了时期数，使用了更小的模型，或者对训练数据进行了二次采样。 代理。 取而代之的是，我们提出了一系列“零成本”代理，这些代理使用单个小批量的数据对DNN进行评分。 这些度量标准受到最近的“初始化时修剪”文献的启发，但适用于对整个