zoukankan      html  css  js  c++  java
  • MR执行环境有两种

    本地测试环境(windows):

    在windows的hadoop目录bin目录有一个winutils.exe
    1、在windows下配置hadoop的环境变量
    2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin
    3、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
    4、MR调用的代码需要改变:
    a、src不能有服务器的hadoop配置文件
    b、在调用是使用:
    Configuration config = new Configuration();
    config.set("fs.defaultFS", "hdfs://node7:8020");
    config.set("yarn.resourcemanager.hostname", "node7");

    服务器环境:

    1)在本地直接调用,执行过程在服务器上(真正企业运行环境)

    a、把MR程序打包(jar),直接放到本地
    b、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
    c、增加一个属性:config.set("mapred.jar", "C:\Users\Administrator\Desktop\wc.jar");
    d、hadoop配置文件hdfs-site.xml、 mapred-site.xml、 yarn-site.xml、 core.site-xml 放到src目录下
    e、本地执行main方法调用MR。


    2)、直接在服务器上,使用命令的方式调用,执行过程也在服务器上
    a、把MR程序打包(jar),传送到服务器上
    b、通过: hadoop jar jar路径 类的全限定名

  • 相关阅读:
    神代码
    初读《代码大全》
    单词频度统计
    AFO
    bzoj4816: [Sdoi2017]数字表格
    bzoj4006: [JLOI2015]管道连接
    bzoj4774: 修路
    bzoj3209: 花神的数论题
    bzoj4521: [Cqoi2016]手机号码
    COGS2314. [HZOI 2015] Persistable Editor
  • 原文地址:https://www.cnblogs.com/scl1314/p/7495291.html
Copyright © 2011-2022 走看看