03.网站点击流数据分析项目_模块开发_数据预处理

4 模块开发—数据预处理

4.1 主要目的：　

　　过滤“不合规”数据

　　格式转换和规整

　　根据后续的统计需求，过滤分离出各种不同主题(不同栏目path)的基础数据

4.2  实现方式：

　　开发一个MapReduce程序WeblogPreProcess来实现逻辑；

　　运行mr对数据进行预处理：hadoop jar click.jar cn.itcast.bigdata.hive.mr.pre.WeblogPreProcess /azaz /fenazaz

　　如上步骤即就是：将采集的日志文件access.log,进行清洗；

4.3 点击流模型数据梳理

　　由于大量的指标统计从点击流模型中更容易得出，所以在预处理阶段，可以使用mr程序来生成点击流模型的数据

　　4.3.1 点击流模型pageviews表(按session聚集的访问页面信息)

　　hadoop jar click.jar cn.itcast.bigdata.hive.mr.ClickStreamThree /fenazaz /pageviews

　　

　　4.3.2 点击流模型visit信息表：用MR程序从pageviews数据中，梳理出每一次visit的起止时间、页面信息

　　hadoop jar click.jar cn.itcast.bigdata.hive.mr.ClickStreamVisit /pageviews /visitout

　　

　　这就是点击流模型。当WEB日志转化成点击流数据的时候，很多网站分析度量的计算变得简单了，这就是点击流

的“魔力”所在。基于点击流数据我们可以统计出许多常见的网站分析度量

　　然后，在hive仓库中建点击流visit模型表:

drop table if exist click_stream_visit;
create table click_stream_visit(
session     string,
remote_addr string,
inTime      string,
outTime     string,
inPage      string,
outPage     string,
referal     string,
pageVisits  int)
partitioned by (datestr string);

　　然后，将MR运算得到的visit数据导入visit模型表

　　load data inpath '/visitout' into table click_stream_visit partition(datestr='2013-09-18');

　　

 

　　

　　

load data inpath '/weblog/visitout' into table click_stream_visit partition(datestr='2013-09-18');