hadoop2.2.0编译、安装和测试

搭建环境：单机64位CentOS6.5 、jdk1.6.0_45、Hadoop2.2.0

1、准备编译环境

从http://www.apache.org/dyn/closer.cgi/hadoop/common/上下载的编译好的tar包是32位的，不能用，

否则启动Hadoop时会警告不能加载本地库，导致nodemanager启动不了，必须自己编译Hadoop源码。

在CentOS6.5环境下编译源代码之前，需进行以下准备工作：

1.1 必要的包

yum install svn

yum install autoconfautomake libtool cmake

yum install ncurses-devel

yum install openssl-devel

yum install gcc*

1.2 安装maven

下载，并解压

http://maven.apache.org/download.cgi 版本需在3.0.2以上；

解压到：/usr/lib/apache-maven-3.2.1

vi /et/profile

export MAVEN_HOME=/usr/lib/apache-maven-3.2.1

export PATH=$PATH:$ANT_HOME/bin

输入一下命令使配置生效：

source /etc/profile

验证：mvn -version

1.3 安装protobuf

下载：https://code.google.com/p/protobuf/downloads/list 该地址很难打开，用代理翻墙才行。

请从这里http://download.csdn.net/detail/wenjin_gu/7095597下载。

解压后进入/protobuf-2.5.0

./configure

make

make check

make install

2、编译Hadoop源码

从http://www.apache.org/dyn/closer.cgi/hadoop/common/上下载源码。并确认可以连接互联网（Maven要从代码库下载依赖包）。

新建用户hadoop，并将源码解压到/home/hadoop/下。

在上述目录下编译：mvn package -Pdist,native -DskipTests -Dtar，该过程很耗时，请耐心等待。

可能会报如下错误：

[ERROR] 找不到org.mortbay.component.AbstractLifeCycle的类文件 

解决方案：
vi hadoop-common-project/hadoop-auth/pom.xml
在

     org.mortbay.jetty
     jetty
     test 

这段之前加一段：

       org.mortbay.jetty
       jetty-util
       test

重新编译：mvn package -Pdist,native -DskipTests -Dtar。

如果你还遇到其他问题，请参考：http://blog.sina.com.cn/s/blog_6baac06c0101gvxr.html

当看到[INFO] BUILD SUCCESS提示信息时表示编译成功完成了。

编译后的路径在:hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0。

3、配置

3.1 修改hostname和hosts

hostname master

vi   /etc/hosts

192.168.*.*  master

3.2 部署

将编译后的hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0文件夹拷贝到/home/hadoop/hadoop2.2

3.3 修改环境变量

vi  /etc/profile

export HADOOP_HOME=/home/hadoop/hadoop2.2
export PATH=$PATH:$HADOOP_HOME/bin

3.4 修改配置文件，进入/home/hadoop/hadoop2.2/etc/hadoop目录

3.4.1 vi hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.6.0_45

3.4.2 vi mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

3.4.3 vi core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.20.50:8020</value>
</property>
</configuration>

3.4.5 vi yarn-site.xml

<property>
　　<name>yarn.resourcemanager.address</name>
　　<value>master:8032</value>
</property>

<property>
　　<name>yarn.resourcemanager.scheduler.address</name>
　　<value>master:8030</value>
</property>

<property>
　　<name>yarn.resourcemanager.resource-tracker.address</name>
　　<value>master:8031</value>
</property>

<property>
　　<name>yarn.resourcemanager.admin.address</name>
　　<value>master:8033</value>
</property>

<property>
　　<name>yarn.resourcemanager.webapp.address</name>
　　<value>master:8088</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

3.4.6 vi hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

4、 启动

进入/home/hadoop/hadoop2.2目录

4.1 格式化HDFS

bin/hadoop namenode -format

4.2 启动HDFS

可分别启动NameNode和DataNode

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

也可以同时启动

sbin/start-dfs.sh

4.3 启动YARN

可以分别启动ResourceManager和NodeManager

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

也可以同时启动

sbin/start-yarn.sh

4.4 验证是否成功

jps

7360 NodeManager
9532 SecondaryNameNode
10960 Jps
9253 NameNode
9373 DataNode
8265 ResourceManager

通过web界面查看

注意一般第一栏不会是全0，如果启动过程中出现问题，可通过查看日志发现问题。

或打印调试日志：export HADOOP_ROOT_LOGGER = DEBUG,Console

5、测试

5.1 测试准备

1）创建本地示例文件

首先在"/home/hadoop/hadoop2.2"目录下创建文件夹"file"。mkdir file

接着创建两个文本文件file1.txt和file2.txt，使file1.txt内容为"Hello World"，而file2.txt的内容为"Hello Hadoop"

2）在HDFS上创建输入文件夹

 在/home/hadoop/hadoop2.2目录下，

[root@master hadoop2.2]# bin/hadoop fs -mkdir /input

3）上传本地file中文件到集群的input目录下

在/home/hadoop/hadoop2.2目录下，

[root@master hadoop2.2]# bin/hadoop fs -put file/file*.txt /input

5.2 运行WordCount程序

以input作为输入目录，output目录作为输出目录。

[root@master hadoop2.2]# bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input/ /output/

查看结果:

[root@master hadoop2.2]# bin/hadoop fs -ls /output
Found 2 items
-rw-r--r-- 1 root supergroup 0 /output/_SUCCESS
-rw-r--r-- 1 root supergroup 25 /output/part-r-00000
[root@master hadoop2.2]# bin/hadoop fs -cat /output/part-r-00000
Hadoop 1
Hello 2
World 1
[root@master hadoop2.2]#

本文结束。