zoukankan      html  css  js  c++  java
  • 数据算法 --hadoop/spark数据处理技巧 --(7.共同好友 8. 使用MR实现推荐引擎)

     七,共同好友。

      在所有用户对中找出“共同好友”。

      eg:     

        a    b,c,d,g

        b    a,c,d,e

        map()-》  <a,b>,<b,c,d,g> ;<a,c>,<b,c,d,g>;.....

              <a,b>,<a,c,d,e>

        reduce()->    <a,b>,<c,d>   也就是a,b的共同好友是c,d。

      上述就是思想。

    八,使用MR实现推荐引擎

      1.购买过该商品的顾客还购买了哪些商品。

        这里,利用MR的两次迭代实现CWBTIAB功能。

          阶段1:生成同一个用户购买的所有商品列表。分组由HAdoop框架处理,其中映射器和规约器都会完成一个恒等函数。

          阶段2:解决列表商品的共现问题。使用Stripes(条纹)设计模式,只发出5个最常见的商品。

                             

      2.经常一起购买的商品(FBT)

        

      3.推荐连接

        

      解决方案(实现思路):

             

  • 相关阅读:
    404、500、502等HTTP状态码介绍
    Linux系统信息查看命令
    SVN clean up 无法继续
    gitlab使用
    Git SSH Key 生成步骤
    gitlab 杂记
    JS函数
    MySQL基础
    WEB测试方法
    操作系统的发展史
  • 原文地址:https://www.cnblogs.com/dhName/p/11378322.html
Copyright © 2011-2022 走看看