VM环境下基于多台CentOS虚拟机的Hadoop分布式集群环境搭建

　　作者：jiangchao

　　完成时间：2013年12月1日

　　版本：v1.0

　　主机：CentOS 6.4

　　VM版本:9.0.0 build-812388

　　ubuntu虚拟机jdk版本：1.6.0_45

　　ubuntu虚拟机hadoop版本：1.2.1

　　关键词： VM  CentOS  hadoop分布式环境 

一、总体概述

      本篇主要介绍笔者使用虚拟机vm9.0在CentOS 6.4环境下搭架3台hadoop分布式环境的过程，hadoop版本使用最新的apache官网上稳定的版本1.2.1，笔者一理科男，准备以后把工作学习上的经历通过博客记录下来，文章有不足和欠缺之处，希望各位大神不吝赐教：）

1、CentOS 6.4 链接：http://mirrors.163.com/centos/6.4/isos/x86_64/

2、jdk  链接：http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-419409.html

3、VM9.0.0 链接：http://dl.pconline.com.cn/html_2/1/59/id=457&pn=0.html

4、hadoop1.2.1   链接：http://mirror.esocc.com/apache/hadoop/common/hadoop-1.2.1/    （具体版本：hadoop-1.2.1.tar.gz）

二、详细步骤

　　在上面准备好环境和相关软件之后，下面开始安装，首先安装jdk，因为各个节点要求jdk版本一致，可以先在一台机器上安装好jdk，准备好hadoop集群软件，然后通过VM自带的系统克隆（clone）功能来进行克隆整个系统，克隆两份系统，这样我们就有3分一模一样的CentOS6.4系统啦。

1、  CentOS安装jdk

　　首先我们下载linux系统使用的jdk版本bin文件，我的版本是jdk1.6.0_45，我将下载的jdk1.6.0_45.bin文件置于/usr/lib/jvm/java中。

（1）然后再shell中执行

sudo chmod u+x /usr/lib/jvm/java/jdk1.6.0_45.bin

修改bin文件权限，使其具有可执行权限

（2）

sudo /usr/lib/jvm/java/jdk1.6.0_45.bin

安装jdk,安装完毕之后，在相同目录下得到文件夹jdk1.6.0_45，下面进行jdk配置工作

（3）

sudo vi /etc/environment

在/etc/environment文件中添加以下环境变量

PATH＝"......:/usr/lib/jvm/java/jdk1.6.0_45/bin"
CLASSPATH=.:/usr/lib/jvm/java/jdk1.6.0_45/lib
JAVA_HOME=/usr/lib/jvm/java/jdk1.6.0_45

（4）执行

sudo source /home/hadoop/.bashrc

此时，jdk环境变量设置成功。

（5）由于CentOS环境下可能有默认的jdk,如openjdk,所以为了使用我们默认的jdk需要进行以下工作

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java/jdk1.6.0_45/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java/jdk1.6.0_45/bin/javac 300

通过这一步将我们的 jdk加入java选单中。

（6）然后执行

sudo update-alternatives --config java

通过这一步选择系统默认的jdk

（7）jdk安装测试

java -version

我们在shell中可以看到当前使用的默认jdk是“java version "1.6.0_45"”的字样，这样jdk安装完毕。

2、修改主机名

由于安装hadoop集群环境，每个节点都有自己功能，例如有的是namenode,有的是datanodeXX,以及secondnamenode等等，笔者搭建的分布式hadoop环境中，namenode及secondnamenode为一台主机，另外两台主机是datanode01及datanode02，为了方便识别各台主机，以及今后方便查看各个节点日志，我们将各个主机的主机名修改为hadoop

环境中各个节点的名称，例如我的分别为namenode，datanode01，datanode02。

(1)sudo hostname 主机名

[hdp@localhost hadoop]$ sudo hostname namenode

 但是这种方法只是暂时的，根本的修改主机名还需要修改network文件中的主机名。

（2）修改network文件：

 [hdp@localhost hadoop]$ sudo vi /etc/sysconfig/network

将里面的hostname改成你自己想要设置的。然后重启终端，主机名已经修改完成！对于集群中的其他主机修改办法相同。

3、设置集群中主机的别名

       为了便于操作，我们将每台主机设置一个别名，这样就可以避免敲ip的痛苦，例如我将虚拟机集群中的三台主机的别名分别设置为namenode,datanode01和

datanode02, 这个与相应的主机名一样，方便辨认和输入。下面介绍如何设置主机别名。以namenode为例：

修改/etc/hosts文件：

[hdp@namenode ~]$ sudo vi /etc/hosts

 打开hosts文件之后，清空里面的内容，写入以下内容：

127.0.0.1 localhost localhost.localdomain localhost
192.168.1.111 namenode namenode.localdomain namenode
192.168.1.112 datanode01
192.168.1.113 datanode02

类似可以修改其他主机datanode01和datanode02。所以hosts文件中的内容，对于datanode01，就是第二行“192.168.1.111 namenode”后面没有内容，第三行修改为

192.168.1.112 datanode01 datanode01.localdomain datanode01

三、ssh无密码通信

1、将各主机之间密钥进行交换

     例如在namenode主机中执行：

 $scp ~/.ssh/id_rsa.pub hdp@datanode01:/home/hdp/.ssh/id_rsa.pub.namenode
 $scp ~/.ssh/id_rsa.pub hdp@datanode01:/home/hdp/.ssh/id_rsa.pub.namenode

     从而将namenode的密钥交给了datanode01和datanode02,对于datanode01和datanode02需要做同样的处理。在处理完成之后，.ssh文件下会有三个密钥，根据后缀名可以分辩，然后将所有密钥，包括自己的密钥加入到授权密钥authorized_keys中。下面以namenode为例：

 $cat id_isa.pub >> authorized_keys;
 $cat id_isa.pub.datanode01 >> authorized_keys;
 $cat id_isa.pub.datanode02 >> authorized_keys;

其他节点使用类似的方法进行操作。

备注：可能会出现的问题及解决方法：
错误：Agent admitted failure to sign using the key.
[hdp namenode]$ssh-add   ~/.ssh/id_rsa 

四、hadoop安装

1、将下载到的hadoop-1.2.1.tar.gz移动到个人目录/home/hdp/，执行安装操作

$tar -xzvf hadoop-1.2.1.tar.gz

2、会在当前路径生成hadoop文件夹，接着修改文件夹所有者

$sudo chown hdp:hdp hadoop-1.2.1

3、随后把hadoop的环境变量加入到/etc/profile中，添加如下内容

export HADOOP_INSTALL=/home/hdp/hadoop-1.2.1
export PATH=$HADOOP_INSTALL/bin:$PATH

4、接下来需要修改hadoop/conf/目录下的配置文件，共有6个文件需要修改，分别是masters、slaves、core-site.xml、mapred-site.xml、hdfs-site.xml、          hadoop-env.sh，修改如下：

[masters]
    namenode

[slaves]
   datanode01
   datanode02

[core-site.xml]

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value>
<description>As you like</description>
</property>

<!--file system properties-->
<property>
<name>fs.default.name</name>
<value>hdfs://namenode:54310</value>
</property>
</configuration>

[mapred-site.xml]

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>namenode:54311</value>
</property>
</configuration>

[hdfs-site.xml]

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

[hadoop-env.sh]
添加：
export JAVA_HOME=/usr/lib/jvm/java/jdk1.6.0_45

 5、这样所有配置完成之后，首先进行文件系统格式化：

$hadoop namenode -format

6、然后启动hadoop进程：

$start-all.sh

对各个主机进行简单的监控基本方法：

（1）使用jps命令查看各个主机相关进程的启动与否

（2）在web页面中输入namenode:50030查看mapreduce运行状态；输入namenode:50070查看hdfs运行状态。

（3）在client中输入hadoop dfsadmin -report来查看各个节点的运行状态和参数。

五、wordcount样例运行

（1）在适合的当前目录新建一个文件夹，例如为input

$mkdir input

（2）在file01和file02两个文件中分别写入以下内容

$echo "Hello World Hadoop World" > file01
$echo "Hello Hadoop Goodbye Bye World" >file02

（3）将input文件夹上传到HDFS（hadoop分布式文件系统）中

$hadoop fs -put ./input  /user/hadoop

(4)在HADOOP_INSTALL目录下执行以下命令，运行wordcount例程

$hadoop jar hadoop-examples-1.2.1.jar  wordcount input output

<-------笔者的运行过程------>
[hadoop@namenode hadoop-1.2.1]$ hadoop jar hadoop-examples-1.2.1.jar  wordcount input output 
13/12/14 15:58:24 INFO input.FileInputFormat: Total input paths to process : 2
13/12/14 15:58:24 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/12/14 15:58:24 WARN snappy.LoadSnappy: Snappy native library not loaded
13/12/14 15:58:25 INFO mapred.JobClient: Running job: job_201312031710_0049
13/12/14 15:58:26 INFO mapred.JobClient:  map 0% reduce 0%
13/12/14 15:58:37 INFO mapred.JobClient:  map 50% reduce 0%
13/12/14 15:58:38 INFO mapred.JobClient:  map 100% reduce 0%
13/12/14 15:58:45 INFO mapred.JobClient:  map 100% reduce 4%
13/12/14 15:58:46 INFO mapred.JobClient:  map 100% reduce 20%
13/12/14 15:58:47 INFO mapred.JobClient:  map 100% reduce 54%
13/12/14 15:58:48 INFO mapred.JobClient:  map 100% reduce 62%
13/12/14 15:58:49 INFO mapred.JobClient:  map 100% reduce 75%
13/12/14 15:58:53 INFO mapred.JobClient:  map 100% reduce 87%
13/12/14 15:58:59 INFO mapred.JobClient:  map 100% reduce 100%

13/12/14 15:59:04 INFO mapred.JobClient: Job complete: job_201312031710_0049
13/12/14 15:59:04 INFO mapred.JobClient: Counters: 30
13/12/14 15:59:04 INFO mapred.JobClient:   Job Counters 
13/12/14 15:59:04 INFO mapred.JobClient:     Launched reduce tasks=8
13/12/14 15:59:04 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=23409
13/12/14 15:59:04 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
13/12/14 15:59:04 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
13/12/14 15:59:04 INFO mapred.JobClient:     Rack-local map tasks=1
13/12/14 15:59:04 INFO mapred.JobClient:     Launched map tasks=2
13/12/14 15:59:04 INFO mapred.JobClient:     Data-local map tasks=1
13/12/14 15:59:04 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=88164
13/12/14 15:59:04 INFO mapred.JobClient:   File Output Format Counters 
13/12/14 15:59:04 INFO mapred.JobClient:     Bytes Written=41
13/12/14 15:59:04 INFO mapred.JobClient:   FileSystemCounters
13/12/14 15:59:04 INFO mapred.JobClient:     FILE_BYTES_READ=241
13/12/14 15:59:04 INFO mapred.JobClient:     HDFS_BYTES_READ=278
13/12/14 15:59:04 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=574934
13/12/14 15:59:04 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=41
13/12/14 15:59:04 INFO mapred.JobClient:   File Input Format Counters 
13/12/14 15:59:04 INFO mapred.JobClient:     Bytes Read=56
13/12/14 15:59:04 INFO mapred.JobClient:   Map-Reduce Framework
13/12/14 15:59:04 INFO mapred.JobClient:     Map output materialized bytes=319
13/12/14 15:59:04 INFO mapred.JobClient:     Map input records=2
13/12/14 15:59:04 INFO mapred.JobClient:     Reduce shuffle bytes=319
13/12/14 15:59:04 INFO mapred.JobClient:     Spilled Records=16
13/12/14 15:59:04 INFO mapred.JobClient:     Map output bytes=92
13/12/14 15:59:04 INFO mapred.JobClient:     CPU time spent (ms)=37540
13/12/14 15:59:04 INFO mapred.JobClient:     Total committed heap usage (bytes)=6923026432
13/12/14 15:59:04 INFO mapred.JobClient:     Combine input records=9
13/12/14 15:59:04 INFO mapred.JobClient:     SPLIT_RAW_BYTES=222
13/12/14 15:59:04 INFO mapred.JobClient:     Reduce input records=8
13/12/14 15:59:04 INFO mapred.JobClient:     Reduce input groups=5
13/12/14 15:59:04 INFO mapred.JobClient:     Combine output records=8
13/12/14 15:59:04 INFO mapred.JobClient:     Physical memory (bytes) snapshot=5602529280
13/12/14 15:59:04 INFO mapred.JobClient:     Reduce output records=5
13/12/14 15:59:04 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=48544591872
13/12/14 15:59:04 INFO mapred.JobClient:     Map output records=9

（5）查看运行结果

$hadoop fs -cat /user/hadoop/output/*

<-----结果输出------>
Goodbye 1
Hello 2
World 3
Bye 1
Hadoop 2

 至此，整个hadoop分布式环境搭建完成，开始自己的hadoop之旅吧！！