zoukankan      html  css  js  c++  java
  • CDH 无法查看history log

    1.配置(core-site.xml)

    <property>
      <name>hadoop.http.staticuser.user</name>
      <value>hdfs</value>
    </property>

    2.发现8041端口无法查看日志(8041 是服务node manager拥有),而log 写入的用户是hdfs 所属组是supergroup

    3.hadoop master 或者slave 的linux中都没有supergroup组

    注意:cdh5.5.2 默认已经开启日志聚合功能

    资料显示:History Server 在Job运行时,日志的显示直接从本地文件读取,在运行结束且聚合日志到hdfs中,会有专门的服务从hdfs读取并且渲染

      (中间会有跳转,判断对应的containner 是否存在,如果存在说明job还在运行,日志还没有聚合,如果不存在,说明日志已经聚合到hdfs,所以需要从hdfs读取)

    处理:

    groupadd supergroup

    usermod -a -G supergroup yarn

    usermod -a -G supergroup mapred

    在每个节点上执行

  • 相关阅读:
    单元测试
    软件测试计划
    软件杯A9的设计与实现
    阅读笔记7
    阅读笔记6
    阅读笔记5
    阅读笔记4
    阅读笔记3
    阅读笔记2
    阅读笔记1
  • 原文地址:https://www.cnblogs.com/yako/p/5342171.html
Copyright © 2011-2022 走看看