CDH 6.0.1 集群搭建 「After install」

集群搭建完成之后其实还有很多配置工作要做，这里我列举一些我去做的一些。

首先是去把 zk 的角色重新分配一下，不知道是不是我在配置的时候遗漏了什么在启动之后就有报警说目前只能检查到一个节点。去将 zk 角色调整到三个节点。

上一张目前的角色图

下面我将分别列出各应用的各个简写代表的意义：

Hbase: 

M: Master | RS: RagionServer

HDFS: 

B: Balance | DN: DataNode | FC: Failover Controller | JN: JournalNode | NN: NameNode

Hive:

G: Gateway | HMS: Hive Master Server | HS2: Hive Server 2

Hue:

LB: LoadBalancer | HS: HueServer

Impala:

ICS: Impala Catalog  Server | ISS: StateStore | ID: Daemon

Oozie:

OS: Oozie Server

Spark:

G: Spark Gateway |  HS: History Server 

YARN:

JHS: JobHistory Server | RM: ResourceManager | NM: NodeManager

ZK:

S: Zk Server 

CloueraManager:

AP: Alert Publish | ES: EventServer  | HM: HostMonitor | SM: ServiceMonitor

角色按需分配，分配完成之后可能会有一些相关的报警或者是警告，最常见的可能是 HDFS 的副本分配，默认会是两份，如果我们拥有 datanode 节点有3个+ 的时候我们可以设置为三份。当我们设置为三份之后可能会遇到一个 waning 提示说没有足够的备份副本和块丢失的问题可以参看下面的 reference 「how-to-fix-corrupt-hdfs-files」 解决这个问题。

另外就是一些根据自己需要的配置这里就不再赘述了。

使用 Hive 的话需要使用 Hadoop 的 Hdfs 功能。需要在 yarn2 上安装包， YARN (MR2 Included) -> action -> Install YARN MapReduce frame jar 即可。

CDH 官方文档「after install」 提供了很多 enhancement 配置。包括对后期升级的支持，如何更新 CDH 等操作还有安全配置等。关心这些点可以前往查看。

Reference:

https://www.cloudera.com/documentation/enterprise/6/6.0/topics/after_install.html

https://www.cloudera.com/documentation/enterprise/6/6.0/topics/cm_ig_ports_cm.html#cm_cn_ports  集群端口详情

https://stackoverflow.com/questions/19205057/how-to-fix-corrupt-hdfs-files

https://community.hortonworks.com/questions/189402/why-are-there-drwho-myyarn-applications-running-an.html  解决 yarn cpu 高占用问题