机器学习 -- 调参经验之谈

深度学习的程序可能出错的地方有很多,这其中有一些错误发生频率比其他更 高。通常我会从如下一些方面先行入手: ◆ 从简单并且得到广泛应用的网络开始,如 VGG,如果可以的话使用标准的损失 函数。 ◆ 暂时去掉所有的 trick, 如数据增强(Data Augmentation)和正则化(regularization)。 ◆ 如果是微调(finetuning)模型,再次检查数据的预处理,保证其和原始网络训练 时一致。 ◆ 检查输入数据是正确的。 ◆ 从很少量的数据开始(2-20 样本),使其过拟合,然后逐渐增加样本。 ◆ 逐渐增加 trick,数据增强,正则化,新的损失函数,更复杂的网络等等。 如果上面的仍然不 work 的话,请按照下面的逐条实验。