交替方向乘子法（ADMM）是解决多 block 凸优化问题的重要算法，在实际应用中，有很多(大规模)凸优化问题可以写成上述 N-block 形式。而 N-block ADMM 的直接推广并不平凡。那为什么ADMM在求解(分布式)凸优化问题上还有那么广泛的应用呢？是如何被使用的呢？
点击蓝字标题，即可阅读《优化 | 浅谈交替方向乘子法(ADMM)的经典使用》
其他
优化 | 生活中难以察觉的高科技：海量数据实时处理靠的是什么数学？
提出的梯度跟踪法首次解决了长期以来分布式优化算法无法在时变异步网络下达到线性收敛的难题，并得到分布式优化和机器学习领域学者的广泛采用。
理想是用全梯度
在分布式场景下没法获得——因为是全部函数之和
只要步长足够小
启发：改变 Lagrangian 函数，应用AHU算法，是不是能得到一些新的算法
例子：
