故障表现
mdc相关服务无法访问,接口请求返回404
故障排查
从日志分析出mdc服务后端个别接口出现内存溢出的错误日志和空指针的异常日志。
内存溢出是直接原因,此异常可重现。多个内存溢出的异常导致触发了熔断机制(一种避免持续异常拖垮整体系统的保护机制),导致MDC服务下线无法访问。
空指针异常由于接口请求超时未获取到必要数据引起,此异常不是直接原因。
服务异常,提示 数量量超过es的1w查询量
解决方法,把es的查询量增加,可以正常使用
后续 mdc服务经常奔溃
原因:数量量过大,无法处理
就算增加实例每个实例也就几分钟时间可使用时间
这件事是有先兆的1.es查询报错 .这时候应该先解决根本问题.数据量过大,而不是修改查询量