Apache Hadoop的安装与配置

Hadoop很火，不学不好意思。由于资料很多、书籍很多。本文简略介绍。

1.安装ubuntu(或其他linux操作系统，或虚拟机上安装)

2.安装jdk，并配置环境变量

3.下载hadoop，解压。（http://hadoop.apache.org/，我下载了0.20.2）

4.伪分布模式配置

伪分布的Hadoop是只有一个节点的集群。在这个集群中，当前计算机既是master也是slave，既是namenode也是datanode，既是jobtracker也是tasktracker。这个模式适合我们个人使用。

<!-- core-site.xml配置 -->
<configuration>
    <!-- global properties -->
    <property>
　　	<name>hadoop.tmp.dir</name>
　　	<value>/home/whuqin/tmp</value>
    </property>
    <!-- file system properties -->
　　<property>
　　	<name>fs.default.name</name>
　　  	<value>hdfs://localhost:9000</value>
　　</property>
</configuration>

<!-- hdfs-site.xml -->
<configuration>
    <property>
　　	<name>dfs.replication</name>
	<value>1</value>
　　</property>
</configuration>

<!-- mapred-site.xml -->
<configuration>
   <property>
　	<name>mapred.job.tracker</name>
　　  	<value>localhost:9001</value>
　　</property>
</configuration>

这三个配置文件均在hadoop的安装目录下的conf里。

其他模式下的关键配置属性：

设置hadoop的java路径：conf下hadoop-env.sh，增加JAVA_HOME=/home/whuqin/jdk1.6.0_26（即jdk的安装目录）

为了便于使用hadoop，可创建一个指向hadoop安装目录的环境变量:

$ export HADOOP_INSTALL=/home/whuqin/hadoop-x.y.z

$ export PATH=$PATH:$HADOOP_INSTALL/bin

5.安装ssh

6.格式化HDFS文件系统: hadoop namenode -format

7.启动hadoop: start-all.sh。关闭：stop-all.sh

具体情况参考：http://xjtom78.iteye.com/blog/1107390