sql也能做分析？
常见的数据清洗，预处理，数据分类，数据筛选，分类汇总，以及数据透视等操作，用SQL一样可以实现（除了可视化，需要放到Excel里呈现）。SQL不仅可以从数据库中读取数据，还能通过不同的SQL函数语句直接返回所需要的结果，从而大大提高了自己在客户端应用程序中计算的效率。
但是，这个过程需要很熟练掌握SQL！
本文就利用提取MySQL的数据，通过写SQL的数据处理方式，来对一份淘宝数据进行用户分析。
01. 数据来源及说明
本文从数据集中选取包含了2014年11月18日至2014年12月18日之间，8477名随机用户共1048575条行为数据，数据集的每一行表示一条用户行为，共6列。
列字段包含以下：
user_id：用户身份item_id：商品IDbehavior_type：用户行为类型（包含点击、收藏、加购物车、购买四种行为，分别用数字1、2、3、4表示）user_geohash：地理位置（有空值）item_category：品类ID（商品所属的品类）time：用户行为发生的时间
02. 提出问题
1. 整体用户的购物情况
pv（总访问量）、日均访问量、uv（用户总数）、有购买行为的用户数量、用户的购物情况、复购率分别是多少？
2. 用户行为转化漏斗
点击— 加购物车— 收藏— 购买各环节转化率如何？购物车遗弃率是多少，如何提高？
3. 购买率高和购买率为 0 的人群有什么特征
4. 基于时间维度了解用户的行为习惯
5. 基于RFM模型的用户分析
03. 数据清洗
1. 导入数据
由于数据量有100多万，通过数据库管理工具 Navicat 将数据集导入 MySQL 数据库会表较慢，我这里使用ETL工具kettle进行导数，能够提高导数效率，也方便后续实现报表自动化处理，数据库的表名为user。
2. 缺失值处理
item_category 列表示地理位置信息，由于数据存在大量空值，且位置信息被加密处理，难以研究，因此后续不对item_category列进行分析。
3. 数据一致化处理
由于 time 字段的时间包含（年-月-日）和小时，为了方便分析，将该字段分成 2 个字段，一个日期列（date）和一个小时列（time）。
{!-- PGC_COLUMN --}
由于 behavior_type 列的四种行为类型分别用 1，2，3，4 表示点击、收藏、加购物车、购买四种行为，为了方便查看数据，将1，2，3，4替换为 ‘pv'、’fav‘，’cart'，‘buy' 。
通过查询表结构，可以看到 date 列日期列不是日期类型：
将date 列改成 date 类型：
04. 构建模型和分析问题
1. 总体用户购物情况
-
pv（总访问量）
-
日均访问量
-
uv（用户总数）
-
有购买行为的用户数量
-
用户的购物情况
-
复购率：产生两次或两次以上购买的用户占购买用户的比例
2. 用户行为转化漏斗
在购物环节中收藏和加入购物车两个环节没有先后之分，所以将这两个环节可以放在一起作为购物环节的一步。最终得到用户购物行为各环节转化率，如下：
不同的行业转化率会有差异，据2012年的一项研究表明，在整个互联网范围内，平均转化率为2.13%（数据来源于《精益数据分析》），图中所示购买行为的转化率为1.04%，与行业平均值存在较大差异，淘宝移动端用户行为的转化率还有很大的增长空间。
3. 购买率高和购买率为低的人群有什么特征
购买率高用户特征：
由以上结果可以看出，购买率高的用户点击率反而不是最多的，这些用户收藏数和加购物车的次数也很少，一般不点击超过5次就直接购买，由此可以推断出这些用户为理智型消费者，有明确的购物目标，属于缺啥买啥型，很少会被店家广告或促销吸引。
购买率为低用户特征：
由以上结果可以看出，购买率为低用户分为两类，
第一类是点击次数少的，一方面的原因是这类用户可能是不太会购物或者不喜欢上网的用户，可以加以引导，另一方面是从商品的角度考虑，是否商品定价过高或设计不合理；
第二类用户是点击率高、收藏或加购物车也多的用户，此类用户可能正为商家的促销活动做准备，下单欲望较少且自制力较强，思虑多或者不会支付，购物难度较大。
4. 基于时间维度了解用户的行为习惯
(1)一天中用户的活跃时段分布
可以看出，每日0点到5点用户活跃度快速降低，降到一天中的活跃量最低值，6点到10点用户活跃度快速上升，10点到18点用户活跃度较平稳，17点到23点用户活跃度快速上升，达到一天中的最高值。
（2）一周中用户活跃时段分布
由于第一周和第五周的数据不全，因此这两周的数据不考虑到此次数据分析中。
由以上结果可以看出，每周用户活跃度较稳定，每周五活跃度会有小幅降低，但是周末会慢慢回升。其中周五用户活跃度突增，这是由双十二电商大促销活动引起。
5. 基于 RFM 模型找出有价值的用户
RFM模型是衡量客户价值和客户创利能力的重要工具和手段，其中由3个要素构成了数据分析最好的指标，分别是：
-
R-Recency（最近一次购买时间）
-
F-Frequency（消费频率）
-
M-Money（消费金额）
由于数据源没有相关的金额数据，暂且通过 R 和 F 的数据对客户价值进行打分。
（1）计算R-Recency
由于数据集包含的时间是从2014年11月18日至2014年12月18日，这里选取2014年12月19日作为计算日期，统计客户最近发生购买行为的日期距离2014年12月19日间隔几天，再对间隔时间进行排名，间隔天数越少，客户价值越大，排名越靠前。
（2）计算F-Frequency
先统计每位用户的购买频率，再对购买频率进行排名，频率越大，客户价值越大，排名越靠前。
（3）对用户进行评分
对4330名有购买行为的用户按照排名进行分组，共划分为四组，对排在前四分之一的用户打4分，排在前四分之一到四分之二（即二分之一）的用户打3分，排在前四分之二到前四分之三的用户打2分，剩余的用户打1分，按照这个规则分别对用户时间间隔排名打分和购买频率排名打分，最后把两个分数合并在一起作为该名用户的最终评分。
计算脚本如下：
'''SELECT r.user_id,r.recent,r.recent_rank,f.frequency,f.freq_rank,CONCAT( -- 对客户购买行为的日期排名和频率排名进行打分CASE WHEN r.recent_rank <= (4330/4) THEN '4'WHEN r.recent_rank > (4330/4) AND r.recent_rank <= (4330/2) THEN '3'WHEN r.recent_rank > (4330/2) AND r.recent_rank <= (4330/43) THEN '2'ELSE '1' END,CASE WHEN f.freq_rank <= (4330/4) THEN '4'WHEN f.freq_rank > (4330/4) AND f.freq_rank <= (4330/2) THEN '3'WHEN f.freq_rank > (4330/2) AND f.freq_rank <= (4330/43) THEN '2'ELSE '1' END) AS user_valueFROM-- 对每位用户最近发生购买行为的间隔时间进行排名（间隔天数越少，客户价值越大）(SELECT a.,(@rank := @rank + 1) AS recent_rankFROM -- 统计客户最近发生购买行为的日期距离'2014-12-19'间隔几天(SELECT user_id,DATEDIFF('2014-12-19',MAX(date)) AS recentFROM userWHERE behavior_type = 'buy'GROUP BY user_idORDER BY recent) AS a,(SELECT @rank := 0) AS b)AS r,-- 对每位用户的购买频率进行排名（频率越大，客户价值越大）(SELECT a.,(@rank2 := @rank2 + 1) AS freq_rankFROM -- 统计每位用户的购买频率(SELECT user_id,COUNT(behavior_type) AS frequencyFROM userWHERE behavior_type = 'buy'GROUP BY user_idORDER BY frequency DESC) AS a,(SELECT @rank2 := 0) AS b)AS fWHERE r.user_id = f.user_id;'''
通过打分可以了解每位顾客的特性，从而实现差异化营销。比如对于 user_value = 44 的用户，为重点用户需要关注；对于user_value = 41 这类忠诚度高而购买能力不足的，可以可以适当给点折扣或捆绑销售来增加用户的购买频率。
（4）kettle制作报表自动化
为了实现监测每个月用户的评分变化，推测客户消费的异动状况，结合数据库使用ETL工具kettle实现定时输出评分结果：
这里kettle实现过程不做详细描述。
05. 结论
1. 总体转化率只有 1%，用户点击后收藏和加购物车的转化率在 5% ，需要提高用户的购买意愿，可通过活动促销、精准营销等方式。
2. 购买率高且点击量少的用户属于理智型购物者，有明确购物目标，受促销和广告影响少；而购买率低的用户可以认为是等待型或克制型用户群体，下单欲望较少且自制力较强，购物难度较大。
3. 大部分用户的主要活跃时间在10点到23点，在19点到23点达到一天的顶峰。每周五的活跃度有所下降，但周末开始回升。可以根据用户的活跃时间段精准推送商家的折扣优惠或促销活动，提高购买率。
4. 通过 R 和 F 的数据对用户行为进行打分，对每位用户进行精准化营销，还可以通过对R 和 F 的数据监测，推测客户消费的异动状况，挽回流失客户。
End.
作者：数据分析不是个事儿
来源：简书