zoukankan      html  css  js  c++  java
  • hadoop问题解决(七)日志/重启/开机自启动

    6.1hadoop日志

    Master节点

     

    Slave节点

     

    6.2 hadoop排错

    (待补充)

    6.3 spark

     

    6.4 zookeeper

     

    6.5 hive

     

    6.6 kafka

     

    7重启命令

    7.1 hadoop

    a.dfs启动停止

    #start-dfs.sh

    #stop-dfs.sh

    亦或

    # /usr/local/hadoop/sbin/start-dfs.sh

    # /usr/local/hadoop/sbin/stop-dfs.sh

    执行完后,jps 进程有DataNode NameNode SecondaryNameNode

     

    端口开放9870

    b.yarn启动停止

    #start-yarn.sh

    #stop-yarn.sh

    亦或

    # /usr/local/hadoop/sbin/start-yarn.sh

    # /usr/local/hadoop/sbin/stop-yarn.sh

    执行完后,jps 进程有ResourceManager ResourceManager

     

    端口开放80888032

     

    注意:zookeeper必须提前启动

    c.hdfs 安全模式

    当前模式

    hdfs dfsadmin -safemode get

    开启安全模式

    hdfs dfsadmin -safemode enter

    关闭安全模式

    hdfs dfsadmin -safemode leave

    7.2 zookeeper

    #/usr/local/zookeeper/bin/zkServer.sh start

    #/usr/local/zookeeper/bin/zkServer.sh stop

    执行完后,jps 进程有QuorumPeerMain

     

    端口2181开放

     

    7.3 spark

    /usr/local/spark/sbin/start-all.sh

    执行完后,jps 进程有Worker Master

     

    /usr/local/spark/sbin/start-history-server.sh

    执行完后,jps 进程有HistoryServer

     

    netstat -anltup |grep 18080

     

    注意:依次启动Hadoopstart-dfs.shSparkstart-all.sh后,再运行start-history-server.sh

    7.4 hive

    后台启动

    #nohup hive –service hiveserver2 &

     

    Jps初见进程RunJar

     

    10002端口为GUIbeeline界面

     

    8开机自启动

    Vim /etc/rc.local

    source /etc/profile

    start-all.sh

    /usr/local/zookeeper/bin/zkServer.sh start

    /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

    /usr/local/spark/sbin/start-all.sh

    /usr/local/spark/sbin/start-history-server.sh

    nohup hive --service hiveserver2 &

    chmod +x /etc/rc.local

  • 相关阅读:
    为什么说性别字段不适合做索引?
    过程数据的记录(事务问题)
    两个系统操作同一条表记录涉及的事务的坑(依护系统)
    mybatis插件自动生成代码报错。
    ORACLE使用plsql和其他工具进行表结构和数据迁移
    ORACLE获取建表SQL
    学习英语的技巧
    Oracle的用户管理
    Jmeter做压力测试
    强烈推荐(原创亲测)!!!Fiddler抓取https设置详解(图文)
  • 原文地址:https://www.cnblogs.com/duxingren/p/12368538.html
Copyright © 2011-2022 走看看