zoukankan      html  css  js  c++  java
  • 新增访客数量MR统计之MR数据输出到MySQL

    关注公众号:分享电脑学习
    回复"百度云盘" 可以免费获取所有学习文档的代码(不定期更新)
    云盘目录说明:
    tools目录是安装包
    res 目录是每一个课件对应的代码和资源等
    doc 目录是一些第三方的文档工具

    承接上一个文档《新增访客数量MR统计之数据库准备

    首先将MR数据输出到MySQL

    创建TransformerOutputFormat和ICollector,文件位置如下:

    新增访客数量MR统计之MR数据输出到MySQL

     

    完成ICollector的代码

    新增访客数量MR统计之MR数据输出到MySQL

     

    完成TransformerOutputFormat代码如下:

    自定义的数据输出格式器,要求: 1. 数据输出到mysql 2. 要体现代码的公用性

    新增访客数量MR统计之MR数据输出到MySQL

     

    接着下面的部分

    新增访客数量MR统计之MR数据输出到MySQL

     

    使用的是FileOutputFormat中默认的方式

    新增访客数量MR统计之MR数据输出到MySQL

     

    自定义的具体将reducer输出数据输出到mysql表的输出器

    新增访客数量MR统计之MR数据输出到MySQL

     

    构造方法

    新增访客数量MR统计之MR数据输出到MySQL

     

    Write方法

    新增访客数量MR统计之MR数据输出到MySQL

     

    Close方法

    新增访客数量MR统计之MR数据输出到MySQL

     

    修改Runner类,配置方法加入所需要的配置文件

    新增访客数量MR统计之MR数据输出到MySQL

     

    将reduce的输出类型更改为MapWritableValue

    job.setOutputValueClass(MapWritableValue.class);

    新增访客数量MR统计之MR数据输出到MySQL

     

    给定自定义的outputformat类

    job.setOutputFormatClass(TransformerOutputFormat.class);

    新增访客数量MR统计之MR数据输出到MySQL

     

    如果全改了,可以测试运行下

    先看下HDFS上有没有数据

    新增访客数量MR统计之MR数据输出到MySQL

     

    下载下来查看下

    新增访客数量MR统计之MR数据输出到MySQL

     

    再看下数据库有没有数据,发现有数据,本地环境就没有问题了,现在看下打包到Linux上之后是否有问题。

    新增访客数量MR统计之MR数据输出到MySQL

     

    先打包程序运行一下

    新增访客数量MR统计之MR数据输出到MySQL

     

    新增访客数量MR统计之MR数据输出到MySQL

     

    运行jar包,查看屏幕信息

    新增访客数量MR统计之MR数据输出到MySQL

     

    查看屏幕输出信息

    新增访客数量MR统计之MR数据输出到MySQL

     

    查看HDFS上是有数据的

    新增访客数量MR统计之MR数据输出到MySQL

     

    代码已经上传到云盘了,可以下载调试一下

    新增访客数量MR统计之MR数据输出到MySQL
  • 相关阅读:
    微信redirect_uri 回调错误,scope权限错误
    对“空间数据库”的理解
    空间数据库2
    PostgreSQL和MySQL
    shp文件和地理数据库文件的区别
    分布式 空间数据库
    Git使用教程
    栅格投影
    mapnik渲染原理
    高斯消元——浮点数模板
  • 原文地址:https://www.cnblogs.com/bqwzy/p/12879616.html
Copyright © 2011-2022 走看看