最小化权重描述长度以保持神经网络的简单性

内容概要：本文提出了一种新的方法来保持前馈神经网络中权值的简单性，从而减少对训练数据过拟合的问题。具体而言，该方法是在神经网络学习过程中考虑将加性高斯噪声加入权值，然后逐步适应这个噪声水平，使得权值在预测精度与信息复杂度之间达到最优点。通过限制权值信息量以及采用一种特殊的编码策略（即MDL准则下的噪声权重视觉编码方式），可以在小样本情况下仍使非线性模型得到良好推广能力。 适用人群：深度学习研究者、博士研究生及以上阶段的学习群体，有一定机器学习和神经网络建模经验的研发人员。 使用场景及目标：适用于解决高维特征空间下的小规模样本训练难题，通过自适应调节的噪声权重视觉编码来减低权值的信息复杂度及其编码开销，在保证泛化的条件下找到最佳权重量化点并提升模型的总体性能。 其他：这种最小化权重信息复杂性的手段为复杂网络设计开辟了新的思路——允许某些权值具有非常低的精确度却不会显着损害网络的整体表现。目前的方法还处于初期测试阶段，虽然已经展现了一定的优越性但仍需要进一步研究来验证其有效性。