环境:CentOS 7.4 (1708 DVD)
工具:MobaXterm
一、 节点的动态增加
1. 为新增加的节点(主机)配置免密码登录。使用ssh-keygen和ssh-copy-id命令(详见前面的操作)。
2. 编辑所有主机的/etc/hosts文件,将新主机的域名添加到映射。
3. 关闭新主机的防火墙和SELinux。
4. 使用scp命令将Hadoop安装目录和profile拷贝到新节点(主机)并source一下profile。
5. 编辑slaves文件,将新主机的域名添加进去。
6. 在新主机上启动Hadoop。
7. 刷新节点。
二、 节点的动态删除
1. 编辑hdfs-site.xml文件。将dfs.repliation减少到需要的数量,添加dfs.hosts.exclude选项,指定存放待删除的datanode的文件。
2. 在hdfs下创建excludes文件,将待删除节点的IP或域名写入。
3. 刷新Hadoop的节点。