targeted_dropout.pdf

目标退出策略；神经网络由于参数众多，是一种非常灵活的模型，有利于学习，但也是高度冗余的。这使得压缩神经网络成为可能，而不会对性能产生巨大影响。本文介绍了目标退出策略，这是一种针对神经网络权值和单元的后期修剪策略，该策略直接将修剪机制构建为学习过程。由此产生的网络学习显式鲁棒的剪枝，有利于更复杂的正则化方案，同时极其简单的实现，易于调整；