zoukankan      html  css  js  c++  java
  • MapReduce两种执行环境介绍:本地测试环境,服务器环境

    本地测试环境(windows):
    1、在windows下配置hadoop的环境变量
    2、拷贝debug工具(winutils.exe)到hadoop目录中的bin目录,注意winutils.exe的版本要与hadoop版本对应,否则可能会报错。
    3、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib

    4、MapReduce调用的代码需要改变:
      a、src不能有服务器的hadoop配置文件
      b、在调用是使用:
      Configuration config = new  Configuration();
      config.set("fs.defaultFS", "hdfs://node7:8020");//指定namenode的主机名和端口号,因为文件是放在hdfs上的需要从hdfs上读取。
      config.set("yarn.resourcemanager.hostname", "node7");//resourcemanager的主机名。

    5、可以进行Debug调试。

    服务器环境:首先需要在src下放置服务器上的hadoop配置文件

    1、在本地直接调用,执行过程在服务器上(真正企业运行环境)
      a、把MapReduce程序打包jar包,直接放到本地
      b、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
      c、增加一个属性:
        config.set("mapred.jar", "D:\wc.jar");//第一个参数:jar包名加后缀,第二个参数jar存放的位置。
      d、本地执行main方法,servlet调用MapReduce。


    2、直接在服务器上,使用命令的方式调用,执行过程也在服务器上
      a、直接new Configuration对象,不用再配置其它信息。会自动从服务器上加载。
      b、把mapreduce程序打包成jar包,传送到服务器上
      c、通过: hadoop jar jar路径  类的全限定名

    注:修改hadoop的源码

      orgapachehadoopio ativeio下NativeIO.java文件,复制包名和文件到项目中,修改access方法返回值为true。

      

  • 相关阅读:
    vault验证导出领域对象导入新的shecma是否生效
    开启vault下如何使用expdp
    vault创建领域不让sys/system访问,但是可以让其他用户访问
    vault应用例子(禁止sys用户访问其他用户下的表)
    11g关闭vault
    11g配置vault
    11g单节点配置em
    vue中 js获取图片尺寸 设置不同样式
    vue 模块化 路由拆分配置
    vue 弹窗时 监听手机返回键关闭弹窗(页面不跳转)
  • 原文地址:https://www.cnblogs.com/erbing/p/9870626.html
Copyright © 2011-2022 走看看