zoukankan      html  css  js  c++  java
  • 企业生产环境集群稳定性-HA就行吗?

    在企业生产中,集群一旦运行,是要尽可能的将损失降到最低,现在所有的大数据技术都有HA,spark的、Hadoop的、HBase的等等,

    HA分冷备和热备,热备是集群自带的,冷备就是硬件的。

    这样一种情况:晚上了,人睡着了,突然的大数据量来了,nameNode、master崩了,HA启动了另一台备用节点,然而数据量依然很大,另一台也崩了,好吧集群废了?

    咋办?

    这就是冷备的需要,进程掉了,在服务器运行的情况下:

    有一种机制可以启动进程服务,crontab+shell

    五分钟之内检查进程情况,没有启动(时间自定义)

    ################################################################
    #!/bin/bash
    #该脚本用于监控Linux主机上的进程,由于某些情况进程丢失,而人员没有
    #即时发觉得情况
    #下面例子是jps->RunJar进程的监管
    #在Linux服务器上创建一个crontab任务定时检查
    #作者:舆
    #时间:2016年
    ################################################################
    ab=`jps | awk '{print $2=="RunJar"}'`
    res=0
    OLD_IFS="$IFS" 
    IFS=" " 
    arr=($ab) 
    IFS="$OLD_IFS" 
    for s in ${arr[@]} 
    do 
        if [ "$s" = "1" ]
        then
           ((res++))
        fi 
    done
    echo $res
    if [ $res > 0 ]
    then
       echo "进程存在"
    else
       echo "进程不存在"
       hive --service metastore &
    fi

    本脚本以hive进程测试成功

    是想,生产环境下,上述情况是不是可以缓解,脚本写日志文件处理是不是也可以。

  • 相关阅读:
    对于python中的self,cls,decorator的理解
    获得平台无关的文件锁
    Python 字符编码判断
    Flex 减肥
    Reporting Service报表开发
    JavaScript 中的单例模式 (singleton in Javascript)
    asp.net MVC 权限设计
    c# IO&&线程 打造 定时打开指定程序
    JavaScript 实现接口 (Interfaces In JavaScript)
    C#温故而知新—闲话.Net
  • 原文地址:https://www.cnblogs.com/gnool/p/5651312.html
Copyright © 2011-2022 走看看