zoukankan      html  css  js  c++  java
  • 机器学习-加权采样算法简介

    场景
    用户画像的构造中,想象一个场景:你经过辛辛苦苦抓数据,清洗数据,收集用户行为,目的就是给用户计算兴趣标签。

    这时候你可能会遇到一个两难的问题:如果给用户计算出兴趣标签的权重了,那应该保留多少标签呢?保留太多的话,每次召回候选集时,计算复杂度可不低,只保留少部分吧,那真是手心手背都是肉,生怕丢弃的标签才是用户的真爱。

    怎么办?这时候,你需要的一个简单的加权采样算法,每次召回时并不使用全部用户标签,而是按照权重采样一部分标签来使用,这样做的好处当然很明显:

    大大减少召回时的计算复杂度;
    可以保留更多的用户标签;
    每次召回计算时还能有所变化;
    虽然有变化,但是依然受标签的权重相对大小约束。
    加权采样的应用不只这一个地方,比如在热门排行榜展示时,也可以用加权采样,而不仅仅按照排行榜分数顺序展示,采用加权采样的展示方法,会让排行榜每次刷新都略有变化,人民群众也会更加喜闻乐见。
    下面介绍几种常用的加权采样算法及其原理,供你日常随手拿来使用。
    加权采样

    (1)加权采样有两种情况,一种是能够已知全部样本的个数。这需要遍历整个样本,比如说用户标签采样输出,那么每次采样时仍然需要遍历所有的标签,来依次决定每一个标签输出的概率。

    (2)另一种是不知道总量样本是多大,或者总量很大,以至于你不愿意全部遍历之后再输出采样结果,这样的数据就是数据流,对应的就是流采样。

    下面分别讲这两种采样方法
    1.有限的数据集
    等概率采样的方法非常简单,任意编程语言中都有伪随机数实现,就不在本文讨论范围内了。
    现在假设你有用户标签若干,每一个标签都有个权重 w,权重高低反映了用户对这个标签的感兴趣程度高低。你希望每次输出一部分标签用于召回推荐候选集,每次输出时都不一样,但是又能反映用户标签的权重,输出的概率和权重成正比。

    这时候你需要一个公式:

    解释一下这个公式:
    wi 是每个样本的权重,比如用户标签权重;
    R 是遍历每个样本时产生的 0 到 1 之间的随机数;
    Si 就是每个样本的采样分数
    遍历之后,按照采样分数排序,输出前 k 个结果就是你得到的采样结果。可以编程简单做个模拟,比如下面有这样几个简单样本。
    样本 权重
    a 0.4
    b 0.1
    c 0.5
    * 模拟10000次以后,三个样本被采样的次数如下:

    样本 权重 次数
    a 0.4 4025
    b 0.1 1040
    c 0.5 4935
    * 你可以看到,每个样本采样概率和它的权重成正比。

    还有另一种加权采样方法,是利用指数分布。

    我先给忘记了指数分布的人复习一下什么是指数分布。

    假设你到银行去办业务,每个人办理业务的时间是不确定的,那每个人办理业务时间的概率分布就是指数分布,用教科书上的话说,就是两个事件发生的时间间隔。

    指数分布的概率密度函数是

    指数分布的参数 Lambda,它的倒数,1/λ 就是事件发生时间间隔的期望。把指数分布的这个意义放进标签中来考虑,标签的权重其实反映一个直觉:权重越大的标签,用户消费它就越频繁,也就是间隔时间就会短。

    所以根据这个原理,就有另一个加权采样的办法:为每一个标签构造一个指数分布随机数,这个指数分布的参数 Lambda 就是标签权重,然后用这个指数分布的产生一个随机数,再输出随机数最大的 k 个标签作为采样结果, 是不是很完美?

    还是上面的权重,再来模拟 10000 次。

    样本 权重 次数
    a      0.4    3393
    b      0.1    980
    c      0.5   5027
    依然完美符合权重的相对大小

    2. 无限数据集
    上面的两种采样都是针对有限数据集的,也就是采样之前都要遍历一遍所有样本。那么如果面对的数据集无限大,或者不知道多大时,该怎么做加权采样呢?这就要讲到另一个采样算法了,名字叫蓄水池采样(也叫蓄水池抽样)。

    蓄水池采样可以用在推荐系统的哪些地方呢?比如可以再模型融合之后加一层蓄水池抽样,或者在召回阶段加一层蓄水池采样,这样在不影响整个推荐流程和转化概率的前提下,降低计算复杂度和提升推荐多样性。
    或者,在线阶段要使用用户的反馈行为做实时推荐,对于不同的用户,活跃程度不同,产生的反馈行为数量不同,你也可以用蓄水池采样,为每个用户取出固定数量的行为用于更新推荐结果。

    下面,我先讲蓄水池采样,再讲加权蓄水池采样。

    假如有一个数据集合,一共有 n 条,要从中采样取出 k 个,那么每个样本被选中的概率就是 k/n 。蓄水池采样的做法是:

    1.直接先取出前 k 个样本留着,这 k 个就是随时准备最终要输出的;
    2.从第 k+1 个开始,每个都以 k/n 的概率去替换那留着的 k 个样本中的一个。
    这个过程,随时可以取用那 k 个集合作为输出结果,任意时刻,当总样本遍历了 n 个时,他们的概率都是 k/n 。这就是蓄水池采样,蓄水池采样,顾名思义,k 个元素的样本集合就是个蓄水池,是任意时刻的采样结果,可以随时取用。

    现在回到我们今天的主题来,实际上更需要的是加权蓄水池采样。加权蓄水池采样利用的依然是在前面说的第一种加权采样方法,只不过结合了蓄水池采样的思想。
    * 要从大数据集中采样 k 个,其具体做法是这样的:
    1.为没一个样本生成一个分数,分数还是采用这个公式:

    2.如果结果不足 k 个,直接保存到结果中
    3.如果结果中已经有 k 个了,如果 Si 比已有的结果里最小那个分数大,就替换它
    总结:
    当面对的数据需要采样、需要有所变化时,加权采样本质上来说就是让权重影响采样概率

  • 相关阅读:
    Linux内核分析 期中总结
    Linux内核分析第四章读书笔记
    Linux内核分析作业 NO.8 完结撒花~~~
    Linux内核分析作业 NO.7
    Linux内核分析第三章读书笔记
    Linux内核分析作业 NO.6
    20145124 《Java程序设计》课程总结
    20145124 陈威名 关于同学们第七周博客后的问题汇总和小结
    20145124实验五 Java网络编程及安全
    20145124 《Java程序设计》第10周学习总结
  • 原文地址:https://www.cnblogs.com/itboys/p/9825138.html
Copyright © 2011-2022 走看看