zoukankan      html  css  js  c++  java
  • cloudera learning3:Hadoop配置和守护进程logs

    Services:Haddoop cluster上可以部署的组件,比如HDFS,YARN,HBase等。

    Roles:在service配置时,由Cloudera Manager创建。比如NameNode是HDFS service的一个role。

    Role Group:对Role的管理,可以将相同类别的Role(如DataNode)划分到不同的角色组。每个Role Group可以有属于自己的一系列配置。

    Role Instance:组成服务最基本的单一实例(可以认为是进程)。一个HDFS服务有NameNode角色和DataNode角色等组成。而DataNode角色又含有N个DataNode实例。

    configuration priority: Role Instance > Role Group > Service

    Cloudera Manager会基于resource availability自动创建role groups。Role可以在Role group之间移动。

    每个通过cloudera manager管理的service都有两个配置文件。一个是service默认的配置文件,CM称之为client configuration,存放在/etc/hadoop/conf;一个是cloudera agent运行时需要访问的配置文件存,放在/var/run/cloudera-scm-agent/process/目录下。

    Hadoop守护进程的log主要包括NameNode,DataNodes,NodeManager,JobHistory Server的log.

    Application log包括YARN containers的log,以及spark,Hive等service的log

    .out文件:包含进程启动时的stdout和stderr。

    .log文件:service的log文件。

  • 相关阅读:
    Codeforces Round #541 (Div. 2) D 并查集 + 拓扑排序
    Educational Codeforces Round 60 D dp + 矩阵快速幂
    Educational Codeforces Round 60 C 思维 + 二分
    Codeforces Round #544 (Div. 3) dp + 双指针
    Codeforces Round #542(Div. 2) CDE 思维场
    UVA
    UVA
    UVA
    UVA
    UVA
  • 原文地址:https://www.cnblogs.com/zhq1007/p/5918149.html
Copyright © 2011-2022 走看看