CDH6.2扩容

参考:

yum方式扩容:

https://www.cnblogs.com/yinzhengjie/articles/11104776.html

二进制包方式扩容:

https://www.cnblogs.com/yinzhengjie/articles/11102924.html

CDH5.12扩容

https://blog.51cto.com/flyfish225/2118098

1/ 加入host前准备

a. 在CM服务器上:

改hostname, 并加到/etc/hostname:

hostname  xx

>/etc/hostname

echo "xx"  >/etc/hostname

 cat /etc/hostname

改cm的/etc/hosts, 推到每个hosts

可用ansible-playbook  hosts_copy.yml     #脚本在CDH6.2扩容ansible脚本/hosts_copy.yml，注意改脚本中hosts的范围

---
- hosts: client
  tasks:
    - name: copy /etc/hosts to client hosts
      copy:
        src: "/etc/hosts"
        dest: "/etc/hosts"
        force: yes
        backup: yes

从CM到新节点的免密

b. 节点服务器：

优化: ucloud的话只做透明大页就可以了 , 脚本在CDH6.2扩容ansible脚本big_page1.yml

https://www.cnblogs.com/hongfeng2019/p/11271915.html

ansible newclient -m shell -a "echo never > /sys/kernel/mm/transparent_hugepage/defrag"
 ansible newclient -m shell -a "echo never > /sys/kernel/mm/transparent_hugepage/enabled"

如果用的ufile还需要传ufile配置文件，脚本在CDH6.2扩容ansible脚本ufile_config.yml

#这个在加完节点以后做

还需要传ufile的jar包，脚本在CDH6.2扩容ansible脚本ufile_jar.yml

#如果网络环境好的话，这步可以略过，CDH6.2支持在线安装JDK和agent

安装配置和CM一样的JDK环境

安装agent并启用

2/ 查看数据库原有节点

use scm;

show tables;

SELECT * FROM HOSTS;

mysql> select * from HOSTS;

+---------+-------------------------+--------------------------------------+----------------------------+----------------+----------+--------+---------------------+-------------------+--------------------+------------+-----------+----------------------+-------------+-------------------+----------------+

| HOST_ID | OPTIMISTIC_LOCK_VERSION | HOST_IDENTIFIER                      | NAME                       | IP_ADDRESS     | RACK_ID  | STATUS | CONFIG_CONTAINER_ID | MAINTENANCE_COUNT | DECOMMISSION_COUNT | CLUSTER_ID | NUM_CORES | TOTAL_PHYS_MEM_BYTES | PUBLIC_NAME | PUBLIC_IP_ADDRESS | CLOUD_PROVIDER |

+---------+-------------------------+--------------------------------------+----------------------------+----------------+----------+--------+---------------------+-------------------+--------------------+------------+-----------+----------------------+-------------+-------------------+----------------+

|       1 |                       7 | 3f195fb0-1188-4269-b03a-256bf5e38cd8 | zhep-opay-temp-1.novalocal | 195.189.142.89 | /default | NA     |                   1 |                 0 |                  0 |          1 |         8 |          67387305984 | NULL        | NULL              | NULL           |

|       2 |                       7 | aaf4c239-43a2-4c29-b1ad-6003f2c2df41 | zhep-opay-temp-2.novalocal | 195.189.142.83 | /default | NA     |                   1 |                 0 |                  0 |          1 |         8 |          33566556160 | NULL        | NULL              | NULL           |

|       3 |                       7 | d3883094-032f-4d25-80a2-9253cf9f39e4 | zhep-opay-temp-3.novalocal | 195.189.142.86 | /default | NA     |                   1 |                 0 |                  0 |          1 |         8 |          33566556160 | NULL        | NULL              | NULL           |

|       4 |                       7 | 237a4360-b29f-4058-9ec0-ba1cded874bf | zhep-opay-temp-4.novalocal | 195.189.142.88 | /default | NA     |                   1 |                 0 |                  0 |          1 |         8 |          33566547968 | NULL    

3/ 在CM管理界面上点击主机:

点添加主机

选择你要加的集群:

 

 由于做了免密,上面会扫描出要新添加的主机:

选安装JDK和JDK认证

#JDK如果装了，可以跳过，最好选由CM安装

上传SSH私钥：

 

#自动安装agent#

#Install Parcels里如果有自己的yum, 填自己的地址，没有用公网的

主机检测可能要1分钟

#主机模板选无，完成后再去CM添加

#也可建一个base-role的，选一些基础的角色

 最后点完成

恭喜您，在cm界面已看到新加的节点：

完成后，调整主机模板：注意Balancer角色一个集群有一个就行了。JobHistory Server只有一个。JournalNode有三个了也可以不用

节点添加下面基本角色就可以了：

 选择主机，应用上面编辑好的主机模板：

#如果用ufile的还需要在新节点配jar包:

https://www.cnblogs.com/hongfeng2019/p/11284616.html

遇到的坑:

CDH上新节点hive服务装不上,但节点上hive命令行正常

mkdir -p /etc/hive/auxlib

tailf cloudera-scm-server.log  看报错也没有什么有用的信息,只是说hive服务失败

没有目录,在节点上建立一个,重启成功

mkdir -p /etc/hive/auxlib