使用VMware搭建3台一模一样的Linux虚拟机 搭建hadoop集群环境

虚拟机名称      机器名               IP                         作用

namenode     master      192.168.50.131            Namenode、master、jobtracker

datanode01   slave1       192.168.50.128            Datanode、slave、tasktracker

datanode02   slave2       192.168.50.129            Datanode、slave、tasktracker

1.首先，克隆另外两台完全一模一样的虚拟机。

分别在3台虚拟机上做一下更新：#yum - y update   后面要安装软件时，如果没有更新，在安装所需软件时，可能会说找不到软件，安装不上。注意选择软件源时不要仅仅是一个网站，建议使用 “中国 的服务器”。

2.修改机器名和hosts文件。

第一步：修改三台虚拟机的机器名。

#vim /etc/profile    #source /etc/profile  将namenode的机器名改为master  

#vim /etc/profile    #source /etc/profile  将datanode01的机器名改为slave1

#vim /etc/profile    #source /etc/profile  将datanode02的机器名改为slave2

可以使用hostname来查看。

第二步：修改三台虚拟机的/etc/hosts文件。

分别在master、slave1、slave2下修改：

#vim /etc/profile

　　进入文件后原内容删除加入如下内容。

    127.0.0.1 localhost

    192.168.50.131 master master

    192.168.50.128 slave1 slave1

    192.168.50.129 slave2 slave2

3.在三台虚拟机上分别配置ssh无密码登录。

在三台虚拟机的/home/hadoop目录下都建立一个.ssh目录(隐藏的)

a.[root@master ~]#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

b.[root@master ~]#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
验证ssh，#ssh localhost，不需要输入密码即可登录。 
c.//将id_dsa.pub 文件传送到slave1 这台虚拟机上。slave2 同理。
scp ~/.ssh/id_dsa.pub hadoop@slave1:/home/hadoop/.ssh/

scp ~/.ssh/id_dsa.pub hadoop@slave2:/home/hadoop/.ssh/

d.到slave1 这台虚拟机上执行b的操作。slave2 同理。至此master就可以无密码登录到slave1 和slave2 上了。如果想要slave1 和slave2 都可以无密码登录到master上必须在slave1 和slave2上也生成自己的密钥对而且要将密钥对追加到三台机器的authorized_keys文件里。

至此各个机器上的SSH配置已经完成，可以测试一下了，比如master向slave1发起ssh连接

4.在三台虚拟机上分别安装jdk1.8.0_45

a.将jdk-8u45-linux-x64.gz拷到/home/hadoop目录下。

b.查看当前jdk版本。

　　　　#java -version

　　

　　　　这里我卸载了自带的openjdk：　

　　[root@master ~]# rpm -qa|grep jdk
　　java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
　　java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64

　　[root@master ~]# rpm -qa|grep gcj
　　java-1.4.2-gcj-compat-1.4.2.0-40jpp.115  
　　libgcj-4.1.2-48.el5  

　　[root@master ~]# yum -y remove java java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
　　[root@master ~]# yum -y remove java java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
　　[root@master ~]# yum -y remove java java-1.4.2-gcj-compat-1.4.2.0-40jpp.115  
　　[root@master ~]# yum -y remove libgcj-4.1.2-48.el5  

c.解压准备的JDK文件，解压路径/opt。

　　　　[root@master ~]# tar -zxvf /home/hadoop/jdk-8u45-linux-x64.gz -C /opt

d.修改配置系统变量。

　　　　[root@master ~]#vim /etc/profile

　　　　#set jdk

　　　　export JAVA_HOME=/opt/jdk1.8.0_45

　　　　export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib

　　　　export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

　　　　保存退出，运行。

　　　　#source /etc/profile

　　

e.运行命令。

update-alternatives --install /usr/bin/java java /opt/jdk1.8.0_45/bin/java 60
update-alternatives --config java

　　输入新配置的jdk序号:1

　　至此，JDK安装完成。

　　你可以在slave1和slave2 上执行同样的操作，也可以使用$

　　scp –r 将jdk1.8.0_45文件夹拷到其它两台虚拟机上，然后配置环境变量就OK了。

　　这里我选择分别在slave1、slave2上面按上面方法配置。

5.在三台虚拟机上分别安装Hadoop-1.2.1

第一步：将hadoop-1.2.1-bin.tar.gz文件拷贝到/home/hadoop目录下。
第二步：解压Hadoop，解压路径/opt。
[root@master ~]#tar -zxvf /home/hadoop/hadoop-1.2.1-bin.tar.gz -C /opt
第三步：配置系统变量

[root@master ~]#vim /etc/profile

　　　　#set hadoop path

　　　　export HADOOP_HOME=/opt/hadoop-1.2.1

　　　　export PATH=$PATH:$HADOOP_HOME/bin

　[root@master ~]#source /etc/profile

第四步：更改conf目录下的conf/core-site.xml, conf/hdfs-site.xml, conf/mapred-site.xml,conf/hadoop-env.sh,conf/masters,conf/slaves 文件。

[root@master ~]#vim /opt/hadoop-1.2.1/conf/hadoop-env.sh

　　　　添加内容:

　　　　export JAVA_HOME=/opt/jdk1.8.0_45

　　　　export PATH=$JAVA_HOME/bin:$PATH

　　　　export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar

　　保存退出。

　　

[root@master ~]#vim /opt/hadoop-1.2.1/conf/masters

　　进入文件加入如下信息：192.168.50.131

　　

[root@master ~]#vim /opt/hadoop-1.2.1/conf/slaves

　　进入文件加入如下信息：

　　192.168.50.128

　　192.168.50.129

　　

[root@master ~]#vim /opt/hadoop-1.2.1/conf/core-site.xml

　　进入文件加入如下信息。  

　　　　<configuration>

     　　　　<property>

      　　　　　　<name>hadoop.tmp.dir</name>

     　　　　　　 <value>/home/hadoop/tmp</value>

      　　　　　　<description>A base for other temporary directories.</description>

　　　　　　</property>

　　　　　　<!-- file system properties -->

　　　　　　<property>

      　　　　　　<name>fs.default.name</name>

      　　　　　　<value>hdfs://192.168.50.131:9000</value>

　　　　　　</property>

　　　　</configuration>

[root@master ~]#vim /opt/hadoop-1.2.1/conf/hdfs-site.xml

　　进入文件加入如下信息。(replication默认是3，如果不修改，datanode少于三台就会报错)。

　　　　<configuration>

     　　　　<property>

      　　　　　　<name>dfs.replication</name>

      　　　　　　<value>2</value>

     　　　　</property>

　　　　</configuration>

[root@master ~]#vim /opt/hadoop-1.2.1/conf/mapred-site.xml

　　进入文件加入如下信息。

　　　　<configuration>

　　　　　　<property>

      　　　　<name>mapred.job.tracker</name>

      　　　　<value>192.168.50.131:9001</value>

　　　　　　</property>

　　　　</configuration>

　　第五步：可以使用scp将hadoop-1.2.1拷贝到其它两个虚拟机上。但是这里我选择在slave1和slave2上按上述方法配置。

至此hadoop安装完成。

6.运行hadoop自带的例程 wordcount。

第一步： hadoop namenode –format

//格式化文件系统，新建一个文件系统。

 

第二步： start-all.sh

//启动hadoop的所有守护进程。

 

第四步： jps   

//查看进程，master虚拟机上的结果。

  

在slave1 和 slave2 虚拟机上 jps

    

    第四步：(1)先在本地磁盘建立两个输入文件file01 和file02:

 

第五步： echo “Hello World Bye World” > file01

 echo “Hello Hadoop Goodbye Hadoop” > file02

//在本地磁盘建立两个输入文件file01 和file02。将Hello World Bye World语句和Hello Hadoop Goodbye Hadoop语句分别加到file01文件和file02 文件里面。

 

第六步：在hdfs 中建立一个input 目录

 

第七步：将file01 和file02 拷贝到hdfs 中。

第八步： hadoop jar hadoop-1.2.1-examples.jar wordcount input output

//执行wordcount。

    

第九步： hadoop fs -cat output/part-r-00000

//完成之后，查看结果：

Bye 1

Goodbye 1

Hadoop 2

Hello 2

World 2

 

 

至此hadoop运行环境已经全部搭建完成。