zoukankan      html  css  js  c++  java
  • Slave2: no datanode to stop(HADOOP_PID_DIR)

    HADOOP_PID_DIR

    本想在环境变量里设置,在相关文件里直接尹用,但是我想起来那时候的JAVA_HOME都不行,还是一个一个设置吧。

    有时候,我们对运行几天或者几个月的hadoop或者hbase集群做停止操作,会发现,停止命令不管用了,
    因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录下,进程名命令规则一般是  框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次,所以把pid文件放在这里面,并不是长久之计,为了安全起见,我们还是放到一个固定的目录下最好,当然不能放在/tmp下 

    如何配置避免把进程文件写到临时目录下面呢? 

    一:Hadoop配置: 

    (1)修改hadoop-env.sh 
    修改如下,如果没有下面的设置,可以直接添加: 

    export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase 
    export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

    上述配置,影响 
    NameNode 
    DataNode 
    SecondaryNameNode 
    进程pid存储 



    (2)修改mapred-env.sh 
    修改 
    export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase 

    上述配置,影响 
    JobHistoryServer 
    进程pid存储 

    (3)修改yarn-env.sh 
    修改或者添加(不存在此项配置时),这里面我没有找到pid的环境设置变量,所以就直接添加了 

    export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

    上述配置,影响 
    NodeManager 
    ResourceManager 
    进程pid存储 

  • 相关阅读:
    Linux 线程池的简单实现
    m3u8(HLS) 抓包
    一个面试问题的思考
    简单实现无需密码 sudo
    转: NAT 穿透
    一个平均分配算法
    raft 算法扫盲
    20210615 JVM 优化
    20210614. 并发编程
    20210606 Java 并发编程之美
  • 原文地址:https://www.cnblogs.com/hxsyl/p/6027273.html
Copyright © 2011-2022 走看看