PNAS Progressive Neural Architecture Search

整理了PNAS的相关论文，并做了PPT汇报。提供给有需要的人。 NASNet的计算开销大，而且运行时间长，PNAS改进减少了计算开销，并且效果不比NASNet的差。 PNAS运用SMOB策略，用SMOB取代了RL（强化学习）和EA（进化算法） 使用代理模型引导搜索结构空间。 在相同的搜索空间下比较表明，PNAS在被评估的模型数量方面比RL方法（NAS）效率高5倍，在总计算方面快8倍。 提出了用启发式搜索空间架构，从简单到复杂依次搜索（SMOB）。 在此篇文章中提出一种新的启发式搜索来搜索cell结构的空间，从简单的模型开始一步步过渡到复杂的，在这个过程中抛弃一些不好的架构。在算法迭代b中，有K个候选cell（每个cell有b个block）用于数据集的训练和评估。因为这个过程是昂贵的，提出了一种在预测性能时不需要训练架构的代理模型。 PNAS将大小为b的K个候选对象扩展成大小为b+1的K^’个子对象。应用代理函数对所有K^’的子模型进行排序，选择最前面的K个子模型，然后训练和计算它们。一直迭代直到b=B。 PNAS有很多优点：1 因为简单的架构训练得更快，所以能很快的训练代理通过得到的