这是一个在cdh的yarn集群上无法运行mr程序的错误,linux的监控平台的错误如下图:
在yarn的web页面上报的错如下图:
一开始以为是yarn的权限问题,后来装了spark2以后,启动spark-shell会报如下错误:
然后根据https://blog.csdn.net/weixin_33801856/article/details/91907365这位博主的提示修改了以下参数以后,以上的问题全部解决:
解决方法:
修改yarn.scheduler.maximum-allocation-mb
和 yarn.nodemanager.resource.memory-mb
的默认值为2G
重启集群
因为自己在这个地方被被坑了好久,所以一定要记下来,希望能帮助到小伙伴们!