zoukankan      html  css  js  c++  java
  • Hadoop中pid文件存储

      我的hadoop集群部署在自己电脑虚拟机上,有时候我是挂起虚拟机,第二天再打开发现有些线程就挂了,比如namenode,好奇怪,当时看了一些帖子说是和pid存储有关,找到log看到找不到pid。因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录,进程名命令规则一般是框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次。

      其实每次不用的时候挂壁,用的时候开启就行,只不过很麻烦,我写了脚本没成功,才挂机,一般不要挂起。

    一、Hadoop配置

      (1)修改hadoop-env.sh 
      修改如下,如果没有下面的设置,可以直接添加: 

    export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase 
    export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

      上述配置,影响 
      NameNode 
      DataNode 
      SecondaryNameNode 
      进程pid存储 

      (2)修改mapred-env.sh 

    export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase 

      上述配置,影响 
      JobHistoryServer 
      进程pid存储 

      (3)修改yarn-env.sh 
      修改或者添加(不存在此项配置时),这里面我没有找到pid的环境设置变量,所以就直接添加了 

    export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

      上述配置,影响 
      NodeManager 
      ResourceManager 
      进程pid存储

    二、Hbase的配置 

      修改hbase-env.sh 

    export HBASE_PID_DIR=/ROOT/server/pids_hadoop_hbase 

      上述配置,影响 
      HMaster 
      HRegionServer 
      进程pid存储 

  • 相关阅读:
    Vue(小案例_vue+axios仿手机app)_go实现退回上一个路由
    nyoj 635 Oh, my goddess
    nyoj 587 blockhouses
    nyoj 483 Nightmare
    nyoj 592 spiral grid
    nyoj 927 The partial sum problem
    nyoj 523 亡命逃窜
    nyoj 929 密码宝盒
    nyoj 999 师傅又被妖怪抓走了
    nyoj 293 Sticks
  • 原文地址:https://www.cnblogs.com/hxsyl/p/6212333.html
Copyright © 2011-2022 走看看