zoukankan      html  css  js  c++  java
  • 论文阅读笔记之ICML2012::The Landmark Selection Method for Multiple Output Prediction 基于代表性特征选取的多维度回归方法

    论文目标:

    做high dimensional regression的问题,即 clip_image002[4]

    一般做回归的时候y的维度会比x低,甚至是一维的,比如一般用回归来做分类、预测。

    但是y的维度如果比较高,而x可以是高维也可以是低维,回归问题可能需要有不一样的角度去思考。

    主要idea:

    假设y中的feature是有冗余的,可以用一部分feature来拟合出整个y,我们需要找到那一些“好”的少量的feature(文章称之为landmark)来拟合y。于是可以分两步来做regrssion,

    clip_image004[4]clip_image006[4]

    基本实现方法:

    首先解释一下landmark,其实很多其他文章中的landmark往往指的一些被选出来的样本点(sample),在这个文章中却是一些被选出来的数据特征(feature)。不过总是可以理解的。

    实现方法分为三步

    S1: 也是去完成文章假设的一步,去挑一些landmark feature,怎么挑?求解下面这个目标函数:

    clip_image008

    总的来看,(3)的意思是说用Y里面的一部分feature来进行线性组合,组合出来的y的表达要和原来的y尽可能的相似(F-norm)。其中clip_image010项是group sparse约束,他的意思是先对A的每一行做norm约束,然后对norm vector做L1的sparse约束,得到的结果就是A的某一些行全为0。 第三项clip_image012是对A整体做sparse 约束,得到的结果就是A的很多元素为0。Sparse的约束就是为了去找到那些最有用的landmark。这个思想在machine learning,computer vision很多研究里面都有体现。

    S2:计算clip_image004[5],通过A我们可以看到哪些feature被挑出来了,组成了yL

    然后用一般regression的方法根据training data来做回归,算出yL

    S3:用y来还原出y

    这一部分文章中写的很隐晦,可能作者觉得很好理解就没有具体讲。就我个人理解是得到了yL以后得到y可以直接用下面的方法:

    y用y *A 拟合,但是test集合y是需要我们计算的,不知道的。回顾第一步的假设,组合出来的y的表达要和原来的y尽可能的相似。而A是sparse的,于是实际上真正用来拟合的只是yL,所用用第二步预测出来的yL*A即可预测出整个test集合的y。

    总结:

    这篇文章解决问题的思路值得借鉴,把一个复杂问题简化成两个有关联又相对简单的问题来解。

    文章中解第一步的优化问题的方法具体就不展开了,如果真的需要去解类似的group sparse问题的朋友可以去读读论文。

    自由是什么:想做什么就做什么,不想做什么就不做什么?还是不想做什么可以不做什么?
    ********:该做什么就做什么,不该做什么就不做什么?还是不该做什么可以不做什么?
  • 相关阅读:
    jvm基本结构和解析
    多态的意思
    java中对象的简单解读
    double类型和int类型的区别
    python 解析xml文件
    win10不能映射Ubuntu共享文件
    Qt程序打包
    Ubuntu boot分区文件误删,系统无法启动,怎么解
    ubuntu Boot空间不够问题“The volume boot has only 5.1MB disk space remaining”
    Ubuntu 分辨率更改 xrandr Failed to get size of gamma for output default
  • 原文地址:https://www.cnblogs.com/yihaha/p/7265347.html
Copyright © 2011-2022 走看看