zoukankan      html  css  js  c++  java
  • Hadoop中pid文件存储

      我的hadoop集群部署在自己电脑虚拟机上,有时候我是挂起虚拟机,第二天再打开发现有些线程就挂了,比如namenode,好奇怪,当时看了一些帖子说是和pid存储有关,找到log看到找不到pid。因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录,进程名命令规则一般是框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次。

      其实每次不用的时候挂壁,用的时候开启就行,只不过很麻烦,我写了脚本没成功,才挂机,一般不要挂起。

    一、Hadoop配置

      (1)修改hadoop-env.sh 
      修改如下,如果没有下面的设置,可以直接添加: 

    export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase 
    export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

      上述配置,影响 
      NameNode 
      DataNode 
      SecondaryNameNode 
      进程pid存储 

      (2)修改mapred-env.sh 

    export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase 

      上述配置,影响 
      JobHistoryServer 
      进程pid存储 

      (3)修改yarn-env.sh 
      修改或者添加(不存在此项配置时),这里面我没有找到pid的环境设置变量,所以就直接添加了 

    export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

      上述配置,影响 
      NodeManager 
      ResourceManager 
      进程pid存储

    二、Hbase的配置 

      修改hbase-env.sh 

    export HBASE_PID_DIR=/ROOT/server/pids_hadoop_hbase 

      上述配置,影响 
      HMaster 
      HRegionServer 
      进程pid存储 

  • 相关阅读:
    数据比赛实现的细节
    matlab 构建数据集实用 api
    matlab 构建数据集实用 api
    新技能 get —— 如何校验 md5(windows)
    新技能 get —— 如何校验 md5(windows)
    中间件 —— 消息中间件(MOM)
    中间件 —— 消息中间件(MOM)
    详细说明svn分支与合并---命令行
    SVN 分支及合并的介绍和实践---命令行
    SVN中的Branches分支以及Merge 应用举例
  • 原文地址:https://www.cnblogs.com/hxsyl/p/6212333.html
Copyright © 2011-2022 走看看