Hive学习小记-（6）collect_set与笛卡尔积使用

 场景

有两张表，一张活动清单表actv_evt：记录了所有的活动，包括活动id，活动名称及活动相关配置信息；一张客户活动参与表cust_actv，记录了客户参与活动信息。

cust_actv中参与了活动的客户定义为活跃客户，现在公司想对活跃客户做推广，将没参与过的活动推送给他们

举例：共有actv1, actv2, actv3, actv4，客户cust1参与了actv2, actv4，客户cust2参与了actv1，那么需要找出这样的目标数据：

cust1：actv1,actv3

cust2：actv2,actv3,actv4

原脚本

-- 5.按uid,通过collect_set将每个客户未参加的活动行程组合，如cust1，[actv1, actv3]
select 
     a.cust_uid
    ,concat_ws(',',collect_set(concat_ws(':',actv_id,actv_nm))) as actv
from (
    -- 4.拿步骤3做出来的全客户全活动对应表与b表关联，关联不上的数据就是cust_uid未真实参加的活动，如cust1对应没关联上的记录为cust1，actv1；cust1，actv3
    select
         a.actv_id,a.actv_nm,a.cust_uid
    from (
        -- 3.每个活跃客户与每个活动做笛卡尔积，数据量会很大，目的是做出每个客户与每个活动对应的数据，如对客户1：cust1,actv1;cust1,actv2;cust1,actv3;cust1,actv4
        select
             a.actv_id,a.actv_nm,b.cust_uid
        from (
            -- 2.筛出所有活动清单
            select distinct a.actv_id,a.actv_nm from tb_actv_evt
        ) as a
        left join (
                -- 1.筛选出活跃客户
                select distinct cust_uid from tb_cust_actv
                ) as b
        on 1=1  --笛卡尔积
    ) as a
    left join tb_cust_actv as b
    on a.actv_id=b=actv_id
    and a.cust_uid=b.cust_uid
    where b.actv_id is null
) as a
group by cust_uid

优化一：

可以看出原脚本第1、2步骤两个distinct，3笛卡尔积是消耗资源多的点。本题的笛卡尔积不可避免，但可以减少笛卡尔积的数据量。

-- 3.拿步骤2的所有活动与步骤1参与的活动做差集运算
select 
     b.cust_uid
    ,a.actv_all-b.actv_usd   -- 这里指的是差集运算
from (
-- 1.筛选出活跃客户参与过的活动清单.如客户1：cust1，[actv2, actv4]
    select 
         cust_uid 
        ,collect_set(concat_ws(':',b.actv_id,b.actv_nm) as actv_usd
    from tb_cust_actv as b
    group by cust_uid 
    ) as b
left join (
-- 2.筛出所有活动清单,即[actv1, actv2, actv3, actv4],这时候再笛卡尔积其实相当于b表中每条客户数据只需要与[actv1，actv2，actv3，actv4]这一条数据笛卡尔积
    select 
         collect_set(concat_ws(':',a.actv_id,a.actv_nm) as actv_all
    from tb_actv_evt
    -- group by collect_set(concat_ws(':',a.actv_id,a.actv_nm) collect_set是类似sum,avg的UDAF聚合函数，这里不用group by
    ) as a
on 1=1  --笛卡尔积

 优化二：

优化一的本质是减少笛卡尔积处理的数据量，但是因为笛卡尔积是单条处理的，类似orderby的全局问题，在活跃客户量比较大时，大量客户逐条join一条活动处理仍然很慢，优化程度仍然不够。

 

附：笛卡尔积常用场景

1.常用于给表的每条记录加上一些通用性质(都是单一取值)，如本题中整体活动清单(对所有cust活动清单都是一样的，只有单一取值)就是通用的，也可以用于加一些汇总值，通用时间属性等之类。

eg:查看每个项目的营业收入，并且每条数据要附上总营收

select  
     a.proj_name
    ,a.income
    ,b.all_income
    ,b.avg_income
from tb_proj_income
inner join (        -- 在这里添加通用属性。一个优化思路：如果上面的主select语句中有很多通用重复计算，也可以采用将其固定下来在inner join的子查询中
    select 
        sum(income) as all_income
        avg(income) as avg_income  --注意这里sum、avg的取值都是单一的
    from tb_proj_income
    ) as b

--因为除聚合函数,其余字段要加group by, select proj_name,sum(income)实现不了

2.计算留存率等