zoukankan      html  css  js  c++  java
  • hadoop分布式安装


    1、上传
    2、解压

    tar -zxvf hadoop-2.6.5.tar.gz -C apps/

    3、重命名

    mv hadoop-2.6.5/ hadoop

    4、配置hadoop环境变量
    5、修改配置文件
    5.1、编辑hadoop-env.sh,修改JAVA_HOME

    export JAVA_HOME=/usr/jdk1.7.0_79 

    5.2、编辑core-site.xml修改如下

    <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://m1:9000</value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/apps/hadoop/tmp</value>
    </property>
    <property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
    </property>
    <property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
    </property>
    </configuration>

    5.3、修改hdfs-site.xml,如下

    <configuration>
    <property>
    <name>dfs.replication</name>
    <value>2</value>
    </property>
    </configuration>

    5.4、修改mapred-site.xml,如下

    <configuration>
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    </configuration>

    5.4、修改yarn-site.xml,如下

    <configuration>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>m1</value>
    </property>
    </configuration>

    5.5、修改slaves,执行DataNode节点,一行一个

    m2
    m3

    6、分发到其他机器

    scp -r hadoop/ m2:$PWD
    scp -r hadoop/ m3:$PWD

    7、由于是第一次启动,因此在启动前需要格式化(NameNode节点上格式化)

    hdfs namenode -format
    

      


    8、启动hdfs, start-dfs.sh
    9、启动yarn, start-yarn.sh
    10、访问 http://m1:50070, 查看hdfs是否启动正常
    11、访问 http://m1:8088, 查看yarn是否启动正常

  • 相关阅读:
    MVC 4 异步编程简化了
    Plextor 浦科特M7VC性能
    epson Robot 指令集合
    在MFC下面实际演示CCriticalSection 的使用
    如何看MFC程序
    SCADA 必备函数之 :关于消息的函数
    SCADA必备函数 实际测试。
    (转)extern关键字两种场景的使用
    (转)全局变量、extern/static/const区别与联系
    (转 )C++ static、const和static const 以及它们的初始化
  • 原文地址:https://www.cnblogs.com/heml/p/6760827.html
Copyright © 2011-2022 走看看