zoukankan      html  css  js  c++  java
  • MR执行环境有两种

    本地测试环境(windows):

    在windows的hadoop目录bin目录有一个winutils.exe
    1、在windows下配置hadoop的环境变量
    2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin
    3、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
    4、MR调用的代码需要改变:
    a、src不能有服务器的hadoop配置文件
    b、在调用是使用:
    Configuration config = new Configuration();
    config.set("fs.defaultFS", "hdfs://node7:8020");
    config.set("yarn.resourcemanager.hostname", "node7");

    服务器环境:

    1)在本地直接调用,执行过程在服务器上(真正企业运行环境)

    a、把MR程序打包(jar),直接放到本地
    b、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
    c、增加一个属性:config.set("mapred.jar", "C:\Users\Administrator\Desktop\wc.jar");
    d、hadoop配置文件hdfs-site.xml、 mapred-site.xml、 yarn-site.xml、 core.site-xml 放到src目录下
    e、本地执行main方法调用MR。


    2)、直接在服务器上,使用命令的方式调用,执行过程也在服务器上
    a、把MR程序打包(jar),传送到服务器上
    b、通过: hadoop jar jar路径 类的全限定名

  • 相关阅读:
    Java 方法重载 (Overload)
    Java 向数组中添加一个元素
    Java 三目运算符
    代理池的维护
    代理设置
    验证码识别
    使用Selenium爬取淘宝商品
    Splash API 调用
    Android ListView中Item点击事件失效解决方案
    mapreduce框架详解
  • 原文地址:https://www.cnblogs.com/scl1314/p/7495291.html
Copyright © 2011-2022 走看看