zoukankan      html  css  js  c++  java
  • 097实战 关于ETL的几种运行方式

    一:代码部分

    1.新建maven项目

    2.添加需要的java代码  

    3.书写mapper类

    4.书写runner类

    二:运行方式

    1.本地运行

    2.集群运行

    3.本地提交集群运行

    三:本地运行方式

    1.解压hadoop到本地

      

    2.修改配置文件HADOOP_HOME

      

    3.解压common的压缩包

      

     4.将压缩包的内容拷贝到bin下

      

    5.前提

      在resource中必须存在core和Hbase的site文件

      

    6.上传数据

      新建目录/eventLogs/2015/12/20

      上传到linux

      

      上传到HDFS

      

    7.上传qqwey.dat到ips文件

       新建文件夹

      上传

      

    8.启动服务

      hdfs

      yarn

      hbase

      zookeeper

    9.运行

      

    9.需要修改linux与Windows环境下不兼容的代码

      只需要重新新建一个包,将源程序添加进去,并修改。

    10.结果

      

    四:集群运行

    1.需要将ip的解析文件改成HDFS

      

    2.打包方式一(mvn)

      )查找源码位置

      

      )打包(local)

      

      )结果

      

      

      )打包(dev)

      mvn -Pdev clean package

      )结果

      

      

    3.打包方式二(eclipse)

      )run as—》mav build...

      

      )结果

      

      

      )打包二(run configuration)

       

      )结果

      

    4.上传

      

    5.添加jar(mapred在集成hbase时需要的jar包)

      

    6.运行

      

    五:本地提交集群运行

    1.修改集群需要的参数configuration

      

    2.

      

      

  • 相关阅读:
    js、css引用文件的下载方式
    前端参考
    Mac配置
    chrome devtools调试Android Webview再也不FQ了!URL映射 + appspot devtools镜像解决chrome调试安卓前端HTML5页面时白屏的问题
    MyBatis 日志输出
    MyBatis 简单原理介绍
    MyBatis resultType 的使用
    sql必知必会笔记
    MyBatis基础:使用java提供的ThreadLocal类优化代码
    Mybatis基础(2)
  • 原文地址:https://www.cnblogs.com/juncaoit/p/6266524.html
Copyright © 2011-2022 走看看