zoukankan      html  css  js  c++  java
  • hadoop配置历史服务器&&配置日志聚集

    配置历史服务器

    1、在mapred-site.xml中写入一下配置

    <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop101:10020</value>
    </property>
    <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop101:19888</value>
    </property>

    2、查看启动历史服务器文件目录

      在Hadoop安装目录中的sbin中有mr-jobhistory-daemon.sh命令

    3、启动历史服务器

      mr-jobhistory-daemon.sh start  historyserver

    4、查看历史服务器是否启动

      jps

      是否有

      historymanager进程

    5、查看 jobhistory

      http://192.168.1.101:19888/jobhistory

    -----------------------------------------------------------------------------------------

    配置日志聚集

    1、配置yarn-site.xml文件

    <!-- 日志聚集功能使能 -->
    <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    </property>
    <!-- 日志保留时间设置 7 天 -->
    <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
    </property>

    2、关闭nodemanager、resourcemanager、historymanager

      yarn-daemon.sh stop resourcemanager

      yarn-daemon.sh stop nodemanager

      mr-jobhistory-daemon.sh stop historyserver

    3、启动nodemanager、resourcemanager、historymanager

      yarn-daemon.sh start resourcemanager

      yarn-daemon.sh start nodemanager

      mr-jobhistory-daemon.sh start historyserver

  • 相关阅读:
    DataGrid 应用合集
    [转]UBB C#完全版
    IE 7中的快捷键
    DataGrid 单击变色,鼠标经过变色 部分代码
    17种正则表达式
    单无格内强制换行
    图片上传,并自动生成缩略图!
    layout_weight学习心得
    android 手势
    java陷进一
  • 原文地址:https://www.cnblogs.com/dongxiucai/p/9664385.html
Copyright © 2011-2022 走看看