zoukankan      html  css  js  c++  java
  • 主动学习-1

    http://videolectures.net/icml09_dasgupta_langford_actl/

       

    主动学习目的:

    尽可能少的标注,获取尽可能好的训练结果

    一般来说我们希望我们训练的模型能够对于natural distribution也就是说truly underlying distribution表现最好

       

    对于数据集合的随机抽取标注能够做到这一点,但是对于主动学习比如上面的策略,我们会倾向选取靠近分类面的点,那么我们的训练集合的数据点就会集中在分类面两侧,也就是说随着我们主动学习策略不断迭代,我们选取的训练集合会离truly underlying distribution越来越远

       

    我们真的需要对这样一个训练集合进行训练 optimize?

       

    这就引出了Biased Sampling

       

    The labeled points are not representative of the underlying distribution

       

       

    提问: 这会是主动学习的本质带来的?主动学习是要选取choosing instance而不是随机选取instance

    回答: 我们是要选取最有信息量的点,于此同时我们期望选取的训练集合能够在随机数据也就是truly underling distribution上表现最好,因此看上去这里有一些tradeoff或者说是conflict,因此我们这里就是要解决这个问题。

       

       

    这里主动学习策略会误认为5%绿色是红色。。 但事实不是这样的

       

    因此这里的主动学习算法不是consistant

       

    consistant的定义:

    当你选取的点集趋近无穷的时候,对应的训练集合的训练出来的模型应该是趋近最优的

       

    Even with infinitely many labels, converges to a classifier with 5%

    error instead of the best achievable, 2.5%. Not consistent!

       

       

    Adaptive query能否解决这个问题?

       

    There are two distinct narratives for explaining how adaptive

    querying can help.

    Case I: Exploiting (cluster) structure in data

    Case II: Efficient search through hypothesis space

       

    Case I: Exploiting (cluster) structure in data

       

    这里的问题是定义不清晰,聚类本身存在粒度问题,5个cluster,6个,7个。。。?

    另外每个cluster内部的label可能是不一致的

       

  • 相关阅读:
    java基本数据类型
    解决Eclipse导入项目工程出现The project was not built since错误
    解决java错误“编码 GBK 的不可映射字符”
    helloworld每一个程序员的开始!
    java环境变量path也配置了,但还是显示javac不是内部或外部命令的解决办法
    WAS8.5.5根据CVE-2019-4279漏洞升级
    ansible 配置数据源源头为163
    升级openssh
    ansible-1 参数常用模块
    xlsxwriter模块详解
  • 原文地址:https://www.cnblogs.com/rocketfan/p/4067570.html
Copyright © 2011-2022 走看看