Si-Bao Chen, Chris Ding, Bin Luo and Ying Xie. Uncorrelated Lasso. AAAI, 2013.
第一作者是安徽大学陈思宝副教授。
第二作者 Chris Ding 是德克萨斯大学阿灵顿分校的教授，Google Scholar 上他引超过 15700 次。
这篇文章考虑 Lasso 做特征选择时特征之间的相关性，使选出来的特征尽量不相关以减少冗余。
优化形式是在原 Lasso 后加入一相关系数矩阵（平方）的凸项，如下图：
其中矩阵 C 是相关系数平方的矩阵，是对称半正定的。
当 λ2=0 时，退化为一般的 Lasso；
当 C 为单位阵时，退化为 elastic-net。
这个优化形式三部分都是凸的，所以这是个凸问题，有唯一的全局最优解。
文章给出了迭代算法：
算法的收敛性：证明了目标函数是非增的（non-increasing），即 L(α(t+1)) ≤ L(α(t)) 。
先证明了两个引理。
第一个引理定义了一个辅助函数
并证明 G(β(t+1)) ≤ G(β(t))。
第二个引理证明 L(β(t+1)) - L(β(t)) ≤ G(β(t+1)) - G(β(t)).
结合两个引理得出：L(β(t+1)) - L(β(t)) ≤ 0.
接下来，文章讨论了一下特征选择后如何分类。
以二分类为例，得到 β 后，可选取对应绝对值最大的 q 个特征，然后拟合一个一般的最小二乘。
然后用贝叶斯最优决策确定 prediction bound。
然后推导了考虑截距项（intercept term）t 时的算法。
然后讨论了β 初始化的问题。
考虑了 5 种初始化方法，分别是 U(0,1), N(0,1), 1/p, least square, ridge regression。
在 Colon Cancer Data 画出曲线，表明用 ridge regression 初始化收敛最快。
最后在两个基因数据（Colon Cancer Data 和 Leukemia Dataset）上实验。