zoukankan      html  css  js  c++  java
  • 2013 AAAI: Uncorrelated Lasso

    Si-Bao Chen, Chris Ding, Bin Luo and Ying Xie. Uncorrelated Lasso. AAAI, 2013.

    第一作者是安徽大学陈思宝副教授。

    第二作者 Chris Ding 是德克萨斯大学阿灵顿分校的教授,Google Scholar 上他引超过 15700 次。

    这篇文章考虑 Lasso 做特征选择时特征之间的相关性,使选出来的特征尽量不相关以减少冗余。

    优化形式是在原 Lasso 后加入一相关系数矩阵(平方)的凸项,如下图:

    其中矩阵 C 是相关系数平方的矩阵,是对称半正定的。

    当 λ2=0 时,退化为一般的 Lasso;

    当 C 为单位阵时,退化为 elastic-net。

    这个优化形式三部分都是凸的,所以这是个凸问题,有唯一的全局最优解。

    文章给出了迭代算法:

    算法的收敛性:证明了目标函数是非增的(non-increasing),即 L(α(t+1)) ≤ L(α(t)) 。

    先证明了两个引理。

    第一个引理定义了一个辅助函数

    并证明 G(β(t+1)) ≤ G(β(t))。

    第二个引理证明 L(β(t+1)) - L(β(t))  ≤ G(β(t+1)) - G(β(t)).

    结合两个引理得出:L(β(t+1)) - L(β(t)) ≤ 0.

    接下来,文章讨论了一下特征选择后如何分类。

    以二分类为例,得到 β 后,可选取对应绝对值最大的 q 个特征,然后拟合一个一般的最小二乘。

    然后用贝叶斯最优决策确定 prediction bound。

    然后推导了考虑截距项(intercept term)t 时的算法。 

    然后讨论了β 初始化的问题。

    考虑了 5 种初始化方法,分别是 U(0,1), N(0,1), 1/p, least square, ridge regression。

    在 Colon Cancer Data 画出曲线,表明用 ridge regression 初始化收敛最快。

    最后在两个基因数据(Colon Cancer Data 和 Leukemia Dataset)上实验。

  • 相关阅读:
    排序-计数-优化版
    排序-计数-基础版
    排序-归并
    Unity战斗模块之角色继承设计---1.1
    Unity中保存和读取数据的类---PlayerPrefs
    《计算机图形学》 第一章 基础知识--02向量(二维)
    《计算机图形学》 第一章 基础知识--01下载和安装DirectX,配置VS编辑器
    第四章 002-条件语句
    第四章 001-复合语句
    第三章 004-运算符
  • 原文地址:https://www.cnblogs.com/shalijiang/p/4249773.html
Copyright © 2011-2022 走看看