hadoop完全分布式配置过程详解

Hadoop全分布搭建

一.今日任务

hadoop完全分布式系统搭建

二.任务内容

1.准备软件

hadoop-2.6.0-cdh5.7.0.tar.gz

jdk-8u161-linux-x64.tar.gz

Centos-6.5

VirtualBox-5.2.18-124319-Win.exe

1. 配置过程

第一步：配置免密登录

1. 新建虚拟机，设置静态ip地址，主机名master，ip以及主机名映射

 

1. 配置免密登陆
   1. 启动ssh服务

Service sshd start

1. 配置免密登录，更新公钥

 

第二步：复制虚拟机，更改ip

 

主机名和ip映射，分别配置56.2 主机名master，56.3 主机名 slaver1,56.4 主机名slaver2

 

第三步：上传jdk和hadoop到 hadoop用户目录

使用sftp上传jdk和hadoop的压缩包到hadoop用户目录下

 

第四步：jdk和hadoop配置

1. 解压文件  

 

 

1. 配置环境变量

 

 

1. 配置hadoop文件
   1. core-site.xml

 

2.hdfs-site.Xml

 

1. mapred-site.xml

 

1. Yarn-site.xml

 

1. Slaver

 

1. 将jdk和hadoop文件分发到slaver1 和slaver2

 

 

1. 在master格式化hdfs的namenode 并且启动hdfs，使用jps验证启动

 

 

 

三.遇到问题

1.复制虚拟机后需要一个个更改ip包括映射等

2.配置好之后启动 slaver1 和slaver2 均没有Java环境，但是jdk已配好

四．处理方式

Slaver1 和slaver2 配置成功环境变量但是启动时提示没有java环境的问题，解决方式是在master配置好之后，启动时显示6个进程，表示master主机hadoop文件已经全部配置，然后使用远程将 master配置好的 hadoop文件分发到slaver1和slaver2

总结：

1. 此处配置主机名和ip映射时，直接将所有的全部配置，以便复制虚拟机时不需要继续修改
2. 配置java环境时，确保系统本身没有已经安装好的jdk安装包，有则删除
3. 配置好环境变量，需要使用 source使其生效
4. 分发文件时，最好是将master配置好的hadoop文件分发过去，避免出现其他问题
5. 启动成功后，master有5个进程，slaver都只有2个进程