教程:http://dblab.xmu.edu.cn/blog/2441-2/
创建hadoop用户
切换到hadoop用户
更新apt
安装vim
前面忘切换成hadoop用户,已经安装了vim,所以
SSH登录本机
SSH配置无密码登录
安装jdk
在.bashrc文件开头添加内容
安装Hadoop
hadoop单机配置
Hadoop伪分布式配置
修改core-site.xml为如下内容
修改hdfs-site.xml为如下内容
执行 NameNode 的格式化
可以将结果取回到本地
Hadoop集群搭建
教程:http://dblab.xmu.edu.cn/blog/2775-2/
修改主机名,当前主机定为Master(以下其实是改过重启后的)
在其他节点上创建hadoop用户、更新apt、安装vim,然后修改主机名(依次为Slave1~3)
即分别执行以下:
分别都重启后可以观察到主机名都变化了,这里都又hadoop用户登录了
32
33
35
此外
34
现在再为各Slave节点安装SSH服务端、安装java(都同Master步骤,这里省略)
这时再回到Master节点在hosts文件中添加如下内容,Slave节点也要添加
然后重启各个从节点,开始ping
Master的:
Slave1的:
另外两个从节点也没问题,能ping通
重新为Master生成SSH免密登录公钥
在Master节点将上公匙传输到其他Slave节点
然后在各个从节点上将公钥加入授权
此时Master节点就可以免密登入Slave节点了
修改/usr/local/hadoop/etc/hadoop文件夹下各文件内容:
(1)slaves
注意这里hadoop3.0后slaves文件才更名为workers
在slaves中添加内容
(2)
(3)
(4)
(5)
清除伪分布式下产生的临时文件,然后将Master节点上的“/usr/local/hadoop”文件夹复制到各个节点上
然后从节点上如下操作:
现在在Master节点上仅执行一次名称节点的格式化,以后不需再次操作
Master节点上启动!
Slave节点上
执行分布式实例
至此,顺利完成了Hadoop 集群搭建!