admm_4776.pdf

ADMM最基本情形的推导还是比较经典的。这里介绍这份著名讲义里的treatment：Boyd S, Parikh N, Chu E, et al. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends® in Machine learning, 2011, 3(1): 1-122.开始介绍前多说几句。Stephen Boyd作为一名优化科学家，除了自己的一些研究，这辈子最杰出的贡献就是广泛地将优化理论严谨地介绍给了工程界。其中，ADMM，或者说交替乘子法，就是一个很重要的例子。这个方法其实理论优化界早就研究了几十年（何炳生老师语），但是也只是到了最近几年，如Boyd包括Stanford的Yinyu Ye老师等人，才对这方面的研究进行了“再挖掘”，引起了大家的广泛注意。