hadoop集群搭建

1-> 集群的准备工作

1）关闭防火墙(进行远程连接)

systemctl stop firewalld
systemctl -disable firewalld

2）永久修改设置主机名

vi /etc/hostname

注意：需要重启生效->reboot

3）配置映射文件
vi /etc/hosts

#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.50.183 hd09-01
192.168.50.184 hd09-02
192.168.50.185 hd09-03

2-> 安装jdk

1）上传tar包
alt+p

2）解压tar包
tar -zxvf jdk

3）配置环境变量

vi /etc/profile

export JAVA_HOME=/root/hd/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin

注意：加载环境变量 source /etc/profile

4）发送到其它机器

scp -r hd/jdk1.8.0_141/ hd09-03:hd/jdk1.8.0_141
scp -r /etc/profile hd09-02:/etc

注意：加载环境变量 source /etc/profile

5）配置ssh免密登录

ssh-keygen 生成密钥对
 ssh-copy-id 自己
ssh-copy-id 其它
ssh-copy-id 其它

3-> 安装HDFS集群

1) 修改hadoop-env.sh

export JAVA_HOME=/root/hd/jdk1.8.0_141

2) 修改core-site.xml

<configuration>
//配置hdfs
<property>
<name>fs.defaultFS</name>
<value>hdfs://hd-01:9000</value>
</property>
</configuration>

3) 修改hdfs-site.xml

<configuration>
//配置元数据存储位置
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hd/dfs/name</value>
</property>
//配置数据存储位置
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hd/dfs/data</value>
</property>
</configuration>

4)格式化namenode

hadoop namemode -format

5)分发hadoop到其它机器

scp -r ~/hd/hadoop-2.8.4/ hd09-02:/root/hd/
scp -r ~/hd/hadoop-2.8.4/ hd09-03:/root/hd/

6)配置hadoop环境变量

export JAVA_HOME=/root/hd/jdk1.8.0_141
export HADOOP_HOME=/root/hd/hadoop-2.8.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6)分发hadoop环境变量

scp -r /etc/profile hd09-02:/etc

注意：加载环境变量 source /etc/profile

7)启动namenode

hadoop-daemon.sh start namenode

8)启动datanode

hadoop-daemon.sh start datanode

9)访问namenode提供的web端口：50070


4-> 自动批量的启动脚本

1）修改配置文件slaves
hd09-02
hd09-03

2）执行启动命令

start-dfs.sh
start-dfs.sh