Hadoop基础之新节点的服役与旧节点的退役
Hadoop基础之新节点的服役与旧节点的退役
修改节点之停止服务修改
- 停止服务
- 配制ssh免密登录
- 修改同步脚本
- 修改hosts文件
- 修改slaves文件
- 格式化
- 重新启动服务
修改节点之热部署修改
- 服役新节点
- 创建一个新节点、修改IP、主机名
- 配制ssh免密登录
- 修改hosts文件，同步到所有节点
- 创建一个文件，文件名自拟，放置在想放的路径下
- 编辑文件，文件内容为已经上线的DataNode节点名，以及要添加的全部节点
- 修改hdfs-size.xml文件
- dfs.hosts
<property>
<name>dfs.hosts</name>
<value>a文件的路径</value>
</property>
- 修改slaves文件，将新节点名写入
- 同步修改过的文件
- 刷新节点
- hdfs dfsadmin -refreshNodes
- yarn rmadmin -refreshNodes
- 在新节点启动服务
- hadoop-daemon.sh start datanode
- 验证
- 在WebUI界面查看新节点是否处于In Service 状态
- 如果数据不均衡
- start-balancer.sh
- 退役旧节点
- 创建一个文件，文件名自拟，放置在想放的路径下
- 编辑文件，文件内容为要退役节点的节点名
- 修改hdfs-size.xml文件
- dfs.hosts.exclude
<property>
<name>dfs.hosts.exclude</name>
<value>文件的路径</value>
</property>
- 修改slaves文件，删除要退役的节点
- 同步修改过的文件
- 刷新节点
- hdfs dfsadmin -refreshNodes
- yarn rmadmin -refreshNodes
- 验证
- 退役的节点进入正在退役状态
- 正在退役的节点将已有数据分配给其他节点
- 当退役节点从正在退役状态转变成已退役状态，数据迁移已经完成，节点变成不可用状态
- 此时，退役节点对其他节点具有可见性，但退役节点不再可用，有数据上传也不会向退役节点进行存储
- 如果集群重启服务，退役节点将不具有可见性，彻底脱离集群
- 关闭退役节点的服务
- hadoop-daemon.sh stop datanode