Hadoop扩容
概述
Hadoop存储容量或计算能力不能满足日益增长的需求时,就需要扩容。
扩容有两个方案:
1) 增加磁盘
2) 增加节点
方案一:扩大虚拟磁盘
扩大容量
将虚拟的Linux关闭,扩大磁盘容量
将空间增大20G
建立分区
增加空间后Linux并不会识别出新增加的磁盘空间
需要为这块新增的空间建立分区
新建分区
打开Linux
fdisk /dev/sda#调整磁盘分区
m #进入帮助引导模式
n #新增分区
p #指定新分区为基本分区
一路回车 #但要记住分区号
w #保存并执行刚才的分区操作
reboot #重启
查看新增分区
fdisk -l
格式化
找到新增加的分区,还记得刚才的分区号吗?
mkfs.xfs /dev/sda9#将数字换成刚才分配的分区号
挂载
Linux没有盘符,所以增加分区之后,需将分区映射到某一个文件夹上,以便使用。
新建文件夹
如果使用现有文件夹,则文件夹中的文件在挂载后将无法访问
mkdir /newdisk
临时挂载
mount /dev/sda9 /newdisk
挂载成成功后可以查看挂载情况(没有挂载时用这个命令看不到)
df -lhT
#l表示列出
#h表示使用可读性更好的方式打印磁盘大小
#T表示列出文件类型
开机自动挂载
打开 /etc/fstab
增加 /dev/sda9/newdiskxfsdefaults00
扩容datanode
配置
在hdfs-site.xml中增加配置项
<property>
<name>dfs.datanode.data.dir</name>
<value>${hadoop.tmp.dir}/dfs/data, /newdisk</value>
</property>
/newdisk就是指定datanode使用新增的磁盘作为存储空间!可以指定多个存储位置
注意:将${hadoop.tmp.dir}替换成当前的hadoop临时目录
重启
stop-dfs.sh
start-dfs.sh
注意:如果在集群模式下,只需要重启该datanode即可!
验证
访问Hadoop浏览站点,可以看到该datanode存储空间增加了。
方案二:新增磁盘
以上适用于虚拟机所在的物理磁盘还有多余空间的情况。而生产环境中,还有一种情况是增加全新的硬盘(相当于买一块新硬盘插到主板上),用虚拟机也能模式出这种情况。
增加新磁盘
添加磁盘之后,启动Linux,新磁盘对应的是
/dev/sdb #第一块磁盘是sda,第二块是sdb,第三块是sdc…
然后从上面的【格式化】步骤继续进行就可以了