ELK 错误: retrying failed action with response code: 403, kibana无log显示

今天10点时候同事报出kibana突然不显示log了，开始紧急排查

　　1. 从数据源头查起,先看被filebeat监视的log文件是否在更新(一般只要log对应服务在正常运行，log文件中就会有数据持续更新)

　　    tail -f log.log

　　　发现log中数据在持续更新，说明数据源头没有问题

　　2. 查看filebeat服务的log

　　　　filebeat 服务的log输出在nohup中

　　　　tail -f nohup.out

　　　　

　　　　filebeat 正常，没有问题

　　3. 检查logstash

　　　查看logstash是否在运行

          

　　　在运行，但是是否logstash和ES的通信是否正常呢?

　　　看logstash 的log

　　　tail -f nohup.out

         

　　what？ [FORBIDDEN/12/index read-only / allow delete (api)];"})  

 　　索引被置为了只读。。。。

　　官网对这个问题介绍：

　　

　　　　　进入kibana Dev Tools

　　　　　

　　　　  再次查看discover并刷新，log开始更新了`````````````

总结：

　　这个问题出现的原因就是ES存储磁盘空间不足导致，控制洪水阶段水印。它默认为95%,这意味着Elasticsearch执行一个只读索引块(index.blocks.read_only_allow_delete)每个指标都有一个或多个碎片分配的节点上,至少有一个磁盘超过限额。这是最后一招,以防止节点耗尽磁盘空间。一旦有足够的磁盘空间用于允许索引操作，索引块必须手动释放。

　　leader同志 多给点硬盘空间不行吗？？？