企业生产环境集群稳定性-HA就行吗？

在企业生产中，集群一旦运行，是要尽可能的将损失降到最低，现在所有的大数据技术都有HA，spark的、Hadoop的、HBase的等等，

HA分冷备和热备，热备是集群自带的，冷备就是硬件的。

这样一种情况：晚上了，人睡着了，突然的大数据量来了，nameNode、master崩了，HA启动了另一台备用节点，然而数据量依然很大，另一台也崩了，好吧集群废了？

咋办？

这就是冷备的需要，进程掉了，在服务器运行的情况下：

有一种机制可以启动进程服务，crontab+shell

五分钟之内检查进程情况，没有启动（时间自定义）

################################################################
#!/bin/bash
#该脚本用于监控Linux主机上的进程，由于某些情况进程丢失，而人员没有
#即时发觉得情况
#下面例子是jps->RunJar进程的监管
#在Linux服务器上创建一个crontab任务定时检查
#作者：舆
#时间：2016年
################################################################
ab=`jps | awk '{print $2=="RunJar"}'`
res=0
OLD_IFS="$IFS" 
IFS=" " 
arr=($ab) 
IFS="$OLD_IFS" 
for s in ${arr[@]} 
do 
    if [ "$s" = "1" ]
    then
       ((res++))
    fi 
done
echo $res
if [ $res > 0 ]
then
   echo "进程存在"
else
   echo "进程不存在"
   hive --service metastore &
fi

本脚本以hive进程测试成功

是想，生产环境下，上述情况是不是可以缓解，脚本写日志文件处理是不是也可以。