zoukankan      html  css  js  c++  java
  • CDH 6.0.1 集群搭建 「After install」

    集群搭建完成之后其实还有很多配置工作要做,这里我列举一些我去做的一些。

    首先是去把 zk 的角色重新分配一下,不知道是不是我在配置的时候遗漏了什么在启动之后就有报警说目前只能检查到一个节点。去将 zk 角色调整到三个节点。

    上一张目前的角色图

    下面我将分别列出各应用的各个简写代表的意义:

    Hbase: 

    M: Master | RS: RagionServer

    HDFS: 

    B: Balance | DN: DataNode | FC: Failover Controller | JN: JournalNode | NN: NameNode

    Hive:

    G: Gateway | HMS: Hive Master Server | HS2: Hive Server 2

    Hue:

    LB: LoadBalancer | HS: HueServer

    Impala:

    ICS: Impala Catalog  Server | ISS: StateStore | ID: Daemon

    Oozie:

    OS: Oozie Server

    Spark:

    G: Spark Gateway |  HS: History Server 

    YARN:

    JHS: JobHistory Server | RM: ResourceManager | NM: NodeManager

    ZK:

    S: Zk Server 

    CloueraManager:

    AP: Alert Publish | ES: EventServer  | HM: HostMonitor | SM: ServiceMonitor

    角色按需分配,分配完成之后可能会有一些相关的报警或者是警告,最常见的可能是 HDFS 的副本分配,默认会是两份,如果我们拥有 datanode 节点有3个+ 的时候我们可以设置为三份。当我们设置为三份之后可能会遇到一个 waning 提示说没有足够的备份副本和块丢失的问题可以参看下面的 reference 「how-to-fix-corrupt-hdfs-files」 解决这个问题。

    另外就是一些根据自己需要的配置这里就不再赘述了。

    使用 Hive 的话需要使用 Hadoop 的 Hdfs 功能。需要在 yarn2 上安装包, YARN (MR2 Included) -> action -> Install YARN MapReduce frame jar 即可。

    CDH 官方文档「after install」 提供了很多 enhancement 配置。包括对后期升级的支持,如何更新 CDH 等操作还有安全配置等。关心这些点可以前往查看。

    Reference:

    https://www.cloudera.com/documentation/enterprise/6/6.0/topics/after_install.html

    https://www.cloudera.com/documentation/enterprise/6/6.0/topics/cm_ig_ports_cm.html#cm_cn_ports  集群端口详情

    https://stackoverflow.com/questions/19205057/how-to-fix-corrupt-hdfs-files

    https://community.hortonworks.com/questions/189402/why-are-there-drwho-myyarn-applications-running-an.html  解决 yarn cpu 高占用问题

  • 相关阅读:
    关于LEA指令(单周期就可以做简单的算术计算)
    说说字符集和编码(非常形象,非常有意思)
    类依赖项的不透明性和透明性
    构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统(6)-Unity 2.x依赖注入by运行时注入[附源码]
    大端和小端
    Google C++测试框架系列:入门
    随机森林中的数学基础之大数定律
    K-means Algorithm
    JavaScript插件——按钮
    分布式系统设计(8)
  • 原文地址:https://www.cnblogs.com/piperck/p/9957272.html
Copyright © 2011-2022 走看看