zoukankan      html  css  js  c++  java
  • 新增访客数量MR统计之MR数据输出到MySQL

    关注公众号:分享电脑学习
    回复"百度云盘" 可以免费获取所有学习文档的代码(不定期更新)
    云盘目录说明:
    tools目录是安装包
    res 目录是每一个课件对应的代码和资源等
    doc 目录是一些第三方的文档工具

    承接上一个文档《新增访客数量MR统计之数据库准备

    首先将MR数据输出到MySQL

    创建TransformerOutputFormat和ICollector,文件位置如下:

    新增访客数量MR统计之MR数据输出到MySQL

     

    完成ICollector的代码

    新增访客数量MR统计之MR数据输出到MySQL

     

    完成TransformerOutputFormat代码如下:

    自定义的数据输出格式器,要求: 1. 数据输出到mysql 2. 要体现代码的公用性

    新增访客数量MR统计之MR数据输出到MySQL

     

    接着下面的部分

    新增访客数量MR统计之MR数据输出到MySQL

     

    使用的是FileOutputFormat中默认的方式

    新增访客数量MR统计之MR数据输出到MySQL

     

    自定义的具体将reducer输出数据输出到mysql表的输出器

    新增访客数量MR统计之MR数据输出到MySQL

     

    构造方法

    新增访客数量MR统计之MR数据输出到MySQL

     

    Write方法

    新增访客数量MR统计之MR数据输出到MySQL

     

    Close方法

    新增访客数量MR统计之MR数据输出到MySQL

     

    修改Runner类,配置方法加入所需要的配置文件

    新增访客数量MR统计之MR数据输出到MySQL

     

    将reduce的输出类型更改为MapWritableValue

    job.setOutputValueClass(MapWritableValue.class);

    新增访客数量MR统计之MR数据输出到MySQL

     

    给定自定义的outputformat类

    job.setOutputFormatClass(TransformerOutputFormat.class);

    新增访客数量MR统计之MR数据输出到MySQL

     

    如果全改了,可以测试运行下

    先看下HDFS上有没有数据

    新增访客数量MR统计之MR数据输出到MySQL

     

    下载下来查看下

    新增访客数量MR统计之MR数据输出到MySQL

     

    再看下数据库有没有数据,发现有数据,本地环境就没有问题了,现在看下打包到Linux上之后是否有问题。

    新增访客数量MR统计之MR数据输出到MySQL

     

    先打包程序运行一下

    新增访客数量MR统计之MR数据输出到MySQL

     

    新增访客数量MR统计之MR数据输出到MySQL

     

    运行jar包,查看屏幕信息

    新增访客数量MR统计之MR数据输出到MySQL

     

    查看屏幕输出信息

    新增访客数量MR统计之MR数据输出到MySQL

     

    查看HDFS上是有数据的

    新增访客数量MR统计之MR数据输出到MySQL

     

    代码已经上传到云盘了,可以下载调试一下

    新增访客数量MR统计之MR数据输出到MySQL
  • 相关阅读:
    JS第一次课
    第四课:盒子模型+浮动+定位
    第三课:CSS
    第二课:HTML和CSS
    第一节课!HTML
    大家好
    MVC5 Views文件夹访问不了css,js
    数据挖掘之关联分析七(非频繁模式)
    数据挖掘之关联分析六(子图模式)
    数据挖掘之关联分析五(序列模式)
  • 原文地址:https://www.cnblogs.com/bqwzy/p/12879616.html
Copyright © 2011-2022 走看看