zoukankan      html  css  js  c++  java
  • 4.Hadoop集群搭建之启动

    配置好Hadoop、HDFS、YARN、Zookeeper集群后,需要按照顺序启动。

    前期准备

    • 配置好Hadoop、HDFS、YARN、Zookeeper集群

    • 先stop掉所有的hadoop服务

      使用jps命令查看进程,确保只有Jps进程存在,没有其他的Hadoop服务进程。若存在Hadoop服务进程,使用命令kill -9 进程id来关闭进程。

    1. 启动zookeeper集群(分别在master、slave1、slave2上启动zk)

    • ~/zookeeper-3.4.5/bin/下执行

        ./zkServer.sh start
      
    • 验证:分别在节点上执行

       ./zkServer.sh status
      

    可以查看节点状态,一个leader,两个follower。

    2. 启动journalnode(分别在在master、slave1、slave2上执行)

    • 使用命令hadoop-daemon.sh start journalnode

    • 验证:运行jps命令检验,master、slave1、slave2上多了JournalNode进程

    3. 格式化HDFS(在master上执行即可)

    • 执行命令hdfs namenode -format

    • 验证:格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件,这里我配置的是/home/hadoop/app/hadoop-2.4.1/data,然后将/usr/local/hadoop-2.4.0/data拷贝到slave1的/home/hadoop/app/hadoop-2.4.1/

        scp -r data/ slave1:/home/hadoop/app/hadoop-2.4.1
      

    4. 格式化ZK(在master上执行即可)

          hdfs zkfc -formatZK
    

    5. 启动HDFS(在master上执行即可)

          start-dfs.sh
    

    注:namenode进程如果启动失败,手动执行命令hadoop-daemon.sh start namenode启动namenode进程。

    6. 启动YARN(在master上操作)

          start-yarn.sh
    

    至此,Hadoop2.4.1配置完毕,可以统计浏览器访问

    http://192.168.1.201:50070
    NameNode '192.168.1.201' (tandby)
    http://192.168.1.202:50070
    NameNode '192.168.1.202:9000' (actives)
  • 相关阅读:
    CF676E:The Last Fight Between Human and AI
    BZOJ2079: [Poi2010]Guilds
    BZOJ4518: [Sdoi2016]征途
    BZOJ2216: [Poi2011]Lightning Conductor
    51nod1766 树上的最远点对
    洛谷P1257 平面上的最接近点对
    BZOJ2144: 跳跳棋
    BZOJ4773: 负环
    BZOJ4552: [Tjoi2016&Heoi2016]排序
    The Falling Leaves(建树方法)
  • 原文地址:https://www.cnblogs.com/liminghuang/p/9074409.html
Copyright © 2011-2022 走看看