zoukankan      html  css  js  c++  java
  • CDH 删除Agent节点(退役节点)

    1、登录web管理界面

      执行: 主机->所有主机->勾选主机->已选定的操作:停止主机上的角色
      执行: 主机->所有主机->勾选主机->从群集中删除:勾选"解除授权角色"和"跳过管理角色"
      执行: 主机->所有主机->勾选主机->Remove From Cloudera Manager

        注意 3 点

    • 尤其是运行了 hdfs datanode、kafka broker 这样的数据节点,退役节点所需时间和数据量线性正相关;
    • 请勿同时下线 2 台或者以上的数据节点,可能会造成数据丢失;
    • 必须要等待这一步执行完成才可以进行下一步操作;

    2、停止服务

    主节点服务停止 (只有主节点有的任务,退役子节点时不需要执行该命令

    service cloudera-scm-server stop

    agent服务停止

    service cloudera-scm-agent stop

    服务停止之后查看有没有服务未停止(两个命令任选一个执行

    jps    或
    pssh -h list_cm_agent -P "ps aux | grep 'cloudera-scm-agent.pid' | grep -v grep"

    3.从集群中删除主机

    此时在 Cloudera Manager 管理控制台中任然能看到删除的节点,这是因为CHD还未检测到agent下线,操作如下:

    1.) 检测节点会找到已停止服务的节点

    2.) 删除对应的节点

     至此CDH管理平台中已经找不到了删除的节点

    4.清理目录服务

     取消目录挂载

    umount /var/run/cloudera-scm-agent/process
    或者
    umount cm_processes

    删除安装包

    yum remove -y 'cloudera-manager-*' enterprise-debuginfo* oracle-j2sdk1.7
    yum clean all

    删除目录

    rm -rf /usr/share/cmf /var/lib/cloudera /var/cache/yum/cloudera /var/log/cloudera /var/run/cloudera /etc/cloudera* /var/log/cloudera*

    删除库数据

    第一种:使用mysql, 对于 CM Manager 来说,它会把主机元数据全部存放在 DB 里,对应的表为 ${DATABASE}.HOSTS ,我们只要删除对应的僵尸机器记录即可,数据库名称一般是默认的 cm

    DELETE FROM cm.HOSTS WHERE HOST_ID='${HOST_ID}';

    第二种:PostgreSQL,操作时注意有没有其他应用使用PostgreSQL库

    yum remove -y postgres*
    rm -rf /var/lib/cloudera-scm-server-db

    删除其他目录(有则修改)

    rm -rf /tmp/.scm_prepare_node.lock
    rm -rf /var/lib/navigator /var/lib/solr /var/lib/zookeeper /var/lib/flume-ng /var/lib/hadoop /var/lib/hue /var/lib/oozie /var/lib/solr /var/lib/sqoop /var/lib/impala /var/lib/hbase /var/lib/hive /var/lib/kudu /var/lib/sentry /var/lib/spark /var/lib/hadoop-yarn /var/lib/pgsql
    rm -rf /usr/lib/hadoop /usr/lib/hadoop /usr/lib/hive /usr/lib/hbase /usr/lib/oozie /usr/lib/sqoop /usr/lib/zookeeper /usr/lib/bigtop /usr/lib/flume-ng /usr/lib/hcatalog /usr/lib/hue
    rm -rf /etc/hadoop /etc/zookeeper /etc/hive /etc/hue /etc/impala /etc/sqoop /etc/oozie /etc/hbase /etc/hcatalog /etc/cloudera-scm-agent /etc/cloudera-scm-server /etc/spark
    rm -rf /usr/bin/hadoop* /usr/bin/zookeeper* /usr/bin/hbase* /usr/bin/hive* /usr/bin/hdfs /usr/bin/mapred /usr/bin/yarn /usr/bin/sqoop* /usr/bin/oozie
    rm -rf /dfs/ /yarn/
    rm -rf /var/run/hadoop-/ /var/run/hdfs-/

    删除日志目录

    rm -rf /var/log/cloudera-manager-installer
    rm -rf /var/log/cloudera-scm-server
    rm -rf /var/log/cloudera-scm-agent 
    rm -rf /var/log/{hadoop-hdfs,impalad,impala-minidumps}

    清空数据目录(安装根位置

    rm -rf ${data_drive_path}/{dfs,mapred,yarn,impala,kudu}
    rm -rf /opt/cloudera*
  • 相关阅读:
    删除指定字符
    Palindromes _easy version
    统计元音
    查找最大元素
    首字母变大写
    Intent加强
    GUI_键盘事件
    GUI_鼠标事件
    GUI_事件监听机制与ActionListener演示
    GUI概述与Frame演示
  • 原文地址:https://www.cnblogs.com/zyanrong/p/13161885.html
Copyright © 2011-2022 走看看