谈谈如何训练一个性能不错的深度神经网络
分类: 深度学习 机器学习 caffe CNN 心得 2015-05-18 16:25 649 人阅读 评论(6) 收藏 举报
深度学习大火,将各个数据集的 state of the art 不断地刷新,到了开
源代码一放出,有种全民皆可刷排名的节奏。
不过可别把刷数据想的那么简单,不然大家去哪发 paper,怎么混饭
吃= = 但是我不想发 paper 就想占坑刷数据怎么办,看到 cifar10 都
尼玛刷到了 95%了,我这用 caffe 自带的小 demo 才得出 78%的结
果,caffe 你确定不是在骗我?
caffe 确实没在骗你= =今天我给大家介绍一下如何刷出一个性能接近
paper 的神经网络
以 CNN 为例,基本分为三步:
第一步使用 leaky relu,dropout(具体参见
blog.kaggle.com/2015/01/02/cifar-10-competition-winners-
interviews-with-dr-ben-graham-phil-culliton-zygmunt-zajac/)
第二步,数据扰动,将数据上下左右平移,放大缩小,泛绿,泛红,
反色等等,做很多的合理的扰动,
第三步,固定步长学习,直到训练不动,找一个高精度的 solverstate
作为起点,将学习率下降再训练,按理说降到 1e-4 就训练的差不多了
评论0