基于随机梯度下降（SGD）的优化算法的困局：之前在学校的时候，我曾试图利用内网的论坛给学生洗脑，批判当下深度学习的几个瓶颈和未来TDA可以带来的贡献和突破。说实在，现在看来，那时是tooyoungtoosimple了：深度学习的梅开二度是有坚实的使用场景和卓越的效果来支撑的。在自己也玩了一阵子一些开源的深度学习框架后，回顾当初的论断（训练的封闭性，数据／信号的单向流动－非双向互动的学习，以及学习流程相对的静态和局部性），虽然仍然难以推翻，但是当下研究的火热的强化学习，主动／线上学习和迁移学习（transfer／generativelearning）的发展方向，都在试图突破这些深度学习先天的局限
