mnasnet-pytorch：MNASNET的PyTorch实现

训练自己的MNASNET 动机 我们试图从实现这个MNASNET网络从头开始-并未能实现与我们所用的方法所要求的精度。 嗯，可能这就是为什么在Cadene的存储库中，仅从TF NASNET移动版的原因？ 好吧，很高兴知道ImageNet上的培训网络并不像听起来那样简单。 即使我们未能在MNASNET上达到75-76％的top1精度要求，我们仍然相信最有可能的是训练方法（？）。 根据我们在各种培训制度下的经验，这些网络似乎在最高精度上达到了35-40％的峰值。 同样，也许我们应该等待15-30个ImageNET时期以上才能确认培训已停止，但谁知道呢。 事实是，Google在其声称使用了： RMSPROP作为优化器； 批标准化层的非常特殊的设置； 一些具有较高初始LR的预热时间表； 该论文在许多主题上有些含糊： 本文的最初版本没有提到激活层的使用（例如RELU）。 作者澄清这是一个错误/遗漏； FC +池化的确切设计。 作者澄清说，他们只是使用平均池。 上图所示的网络无法正常工作-您将不得不添加一些下采样层； 但是我从未见过成功使用RMSPROP的人。 在与一位成功培训