zoukankan      html  css  js  c++  java
  • MapReduce几种提交方式

    本地模式运行

     1.在Windows里的IDE直接运行main方法,会将job提交给本地执行器localjobrunner执行

      ---本地存放Hadoop安装包

      ---输入输出数据可以放在本地路径下(c:/wc/srcdata/)

      ---输入输出数据也可以放在hdfs中(hdfs://CentOS7One:9000/wc/output3)

    2.在Linux的IDE直接运行main方法,会将job提交给本地执行器localjobrunner执行

      ---输入输出数据可以放在本地路径下(/usr/local/wc/srcdata/)

      ---输入输出数据也可以放在hdfs中(hdfs://CentOS7One:9000/wc/output3)

    集群模式运行

    1.将工程打成jar包,上传到服务器,用Hadoop命令提交,hadoop jar wc.jar

    2.在Linux的IDE中运行,需要添加mapred-site.xml和yarn-site.xml

    3.在Windows的IDE中运行,本地存放Hadoop安装包,需要将lib和bin目录替换成编译出的文件

  • 相关阅读:
    JDBC JAVA数据库插入语句
    uri与url
    struts标签库
    jdbc使用
    mysql安装配置
    Json Web Token
    实现一个简单vue
    vue v2.5.0源码-双向数据绑定
    vue v2.5.0源码-初始化流程
    webpack
  • 原文地址:https://www.cnblogs.com/Java-Starter/p/10508564.html
Copyright © 2011-2022 走看看