zoukankan      html  css  js  c++  java
  • hadoop问题解决(七)日志/重启/开机自启动

    6.1hadoop日志

    Master节点

     

    Slave节点

     

    6.2 hadoop排错

    (待补充)

    6.3 spark

     

    6.4 zookeeper

     

    6.5 hive

     

    6.6 kafka

     

    7重启命令

    7.1 hadoop

    a.dfs启动停止

    #start-dfs.sh

    #stop-dfs.sh

    亦或

    # /usr/local/hadoop/sbin/start-dfs.sh

    # /usr/local/hadoop/sbin/stop-dfs.sh

    执行完后,jps 进程有DataNode NameNode SecondaryNameNode

     

    端口开放9870

    b.yarn启动停止

    #start-yarn.sh

    #stop-yarn.sh

    亦或

    # /usr/local/hadoop/sbin/start-yarn.sh

    # /usr/local/hadoop/sbin/stop-yarn.sh

    执行完后,jps 进程有ResourceManager ResourceManager

     

    端口开放80888032

     

    注意:zookeeper必须提前启动

    c.hdfs 安全模式

    当前模式

    hdfs dfsadmin -safemode get

    开启安全模式

    hdfs dfsadmin -safemode enter

    关闭安全模式

    hdfs dfsadmin -safemode leave

    7.2 zookeeper

    #/usr/local/zookeeper/bin/zkServer.sh start

    #/usr/local/zookeeper/bin/zkServer.sh stop

    执行完后,jps 进程有QuorumPeerMain

     

    端口2181开放

     

    7.3 spark

    /usr/local/spark/sbin/start-all.sh

    执行完后,jps 进程有Worker Master

     

    /usr/local/spark/sbin/start-history-server.sh

    执行完后,jps 进程有HistoryServer

     

    netstat -anltup |grep 18080

     

    注意:依次启动Hadoopstart-dfs.shSparkstart-all.sh后,再运行start-history-server.sh

    7.4 hive

    后台启动

    #nohup hive –service hiveserver2 &

     

    Jps初见进程RunJar

     

    10002端口为GUIbeeline界面

     

    8开机自启动

    Vim /etc/rc.local

    source /etc/profile

    start-all.sh

    /usr/local/zookeeper/bin/zkServer.sh start

    /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

    /usr/local/spark/sbin/start-all.sh

    /usr/local/spark/sbin/start-history-server.sh

    nohup hive --service hiveserver2 &

    chmod +x /etc/rc.local

  • 相关阅读:
    最大团问题
    树的重心与相关性质
    2020年牛客算法入门课练习赛3 B
    牛客练习赛66 E
    浅谈后缀数组SA
    [随机化算法] 听天由命?浅谈Simulate Anneal模拟退火算法
    “优美的暴力”——树上启发式合并
    [线段树系列] LCT打延迟标记的正确姿势
    [Tarjan系列] Tarjan算法与有向图的SCC
    [Tarjan系列] 无向图e-DCC和v-DCC的缩点
  • 原文地址:https://www.cnblogs.com/duxingren/p/12368538.html
Copyright © 2011-2022 走看看