zoukankan      html  css  js  c++  java
  • hadoop单节点配置

    首先按照官网的单机去配置,如果官网不行的话可以参考一下配置,这个是配置成功过的.但是不一定每次都成功

    http://hadoop.apache.org/docs/r2.6.5/

    centos 6.7 hadoop2.6.5

    yarn-site.xml

     <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>

    yarn-env.sh 使用默认的

    mapred-site.xml

       <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>

    hdfs-site.xml

        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>

    hadoop-env.sh

    export JAVA_HOME=/opt/jdk7

    core-site.xml

     <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hbase:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/hadoop_root</value>
        </property>

    判断是否成功的方法是执行自带的wc程序.之前遇到过一个问题,就是jps5个进程都在,但是在mr程序时一直处于已经accepted状态,但是不能running,后台日志也看不到执行mr的情况页面上也没有,也没有报错

    所以要可以执行mr程序才能说明这个单机环境正常可以用

  • 相关阅读:
    通过HTTP请求Websocket
    理解C#中的“静态”
    C#垃圾回收机制详解
    详说C#中的结构struct
    readonly和const区别
    深入理解C#中this/partial/null的使用
    面向对象的几个基本概念的理解
    C#中out和ref使用
    C#中params使用
    值类型引用类型详解
  • 原文地址:https://www.cnblogs.com/rocky-AGE-24/p/7205296.html
Copyright © 2011-2022 走看看