zoukankan      html  css  js  c++  java
  • 新增访客数量MR统计之数据库准备

    关注公众号:分享电脑学习
    回复"百度云盘" 可以免费获取所有学习文档的代码(不定期更新)
    云盘目录说明:
    tools目录是安装包
    res 目录是每一个课件对应的代码和资源等
    doc 目录是一些第三方的文档工具

    承接上一篇文档《新增访客数量MR统计之Reduce和Runner相关准备

    创建StatsUserNewInstallUserCollector类和StatsDeviceBrowserNewInstallUserCollector类

    新增访客数量MR统计之数据库准备

     

    编写StatsDeviceBrowserNewInstallUserCollector类

    新增访客数量MR统计之数据库准备

     

    需要创建一个ICollector

    新增访客数量MR统计之数据库准备

     

    编写代码

    新增访客数量MR统计之数据库准备

     

    需要创建IDimensionConverter和一个实现类DimensionConverterImpl

    新增访客数量MR统计之数据库准备

     

    编写IDimensionConverter

    新增访客数量MR统计之数据库准备

     

    编写DimensionConverterImpl

    新增访客数量MR统计之数据库准备

     

    填写缓存器

    新增访客数量MR统计之数据库准备

     

    构造函数,默认无参构造函数

    新增访客数量MR统计之数据库准备

     

    完成继承方法

    新增访客数量MR统计之数据库准备

     

    填写代码

    新增访客数量MR统计之数据库准备

     

    完成buildCacheKey方法

    根据不同数据类型创建对于的cache key值

    新增访客数量MR统计之数据库准备

     

    如果cache值为空,那么直接抛出异常

    返回cache key值

    新增访客数量MR统计之数据库准备

     

    继续编写getDimensionIdByValue

    创建sql语句数组,包括查询语句和插入数据语句,第一条为查询语句,第二条为插入数据语句

    新增访客数量MR统计之数据库准备

     

    编写上面那四个方法

    buildDateSql

    新增访客数量MR统计之数据库准备

     

    buildPlatformSql

    新增访客数量MR统计之数据库准备

     

    buildBrowserSql

    新增访客数量MR统计之数据库准备

     

    buildKpiSql

    新增访客数量MR统计之数据库准备

     

    继续完成getDimensionIdByValue

    获取数据库连接

    并发控制,每次只允许一个维度进行id获取操作

    返回结果

    新增访客数量MR统计之数据库准备

     

    完成getConnection方法

    获取数据库连接

    如果在当前线程的缓存中没有找到对于的数据库连接,那么进行新建操作

    从缓存中获取对应的数据库连接值

    创建hadoop上下文,上下文中保存了jdbc的数据库连接信息

    新增访客数量MR统计之数据库准备

     

    开始获取数据库连接

    将新生成的连接保存到当前线程所属的cache中

    新增访客数量MR统计之数据库准备

     

    添加close方法

    新增访客数量MR统计之数据库准备

     

    添加setArgs方法

    新增访客数量MR统计之数据库准备

     

    下面的部分

    新增访客数量MR统计之数据库准备

     

    添加executeSql方法

    新增访客数量MR统计之数据库准备

     

    下面的部分

    新增访客数量MR统计之数据库准备

     

    接着的部分

    新增访客数量MR统计之数据库准备

     

    接着部分

    新增访客数量MR统计之数据库准备

     

    继续完成StatsDeviceBrowserNewInstallUserCollector

    新增访客数量MR统计之数据库准备

     

    完成collect方法

    新增访客数量MR统计之数据库准备

     

    完成后续的部分

    新增访客数量MR统计之数据库准备

     

    完成StatsUserNewInstallUserCollector

    新增访客数量MR统计之数据库准备

     

    完成collect方法

    新增访客数量MR统计之数据库准备

     

    下面的部分

    新增访客数量MR统计之数据库准备

     

    output-collector.xml

    新增访客数量MR统计之数据库准备

     

    query-mapping.xml

    新增访客数量MR统计之数据库准备

     

    新增访客数量MR统计之数据库准备

     

    导入数据库文件

    新增访客数量MR统计之数据库准备

     

    代码已上传到云盘

    新增访客数量MR统计之数据库准备
  • 相关阅读:
    Web API系列(三)统一异常处理
    Web API系列(二)接口安全和参数校验
    Web API系列(一)设计经验与总结
    文件并发(日志处理)--队列--Redis+Log4Net
    Jquery手机下拉刷新,下拉加载数据
    nginx 几个参数
    op cache config
    历史问题回顾
    第三方服务的使用
    nginx+php-fpm json_encode 到client pages 截断
  • 原文地址:https://www.cnblogs.com/bqwzy/p/12873019.html
Copyright © 2011-2022 走看看