hadoop-0.20.2安装配置

该环境在Vmware Workstation 12 上安装配置一共三台机器master,slave1,slave2.

操作系统：Cenos 7.0

hadoop 版本：hadoop-0.20.2，版本比较老，资料比较多，便于入门学习。

官网找不到可以在http://pan.baidu.com/s/1eQFFBH4下载。

1.基本环境准备(3台机器)

1. VMware上生成三台装有centos 7的机器，主机名分别命名为master，slave1， slave2。（时间可以通过复制的方式）
2. 网络配置：每个节点都配置静态IP。修改/etc/hosts文件：

　　　　192.168.2.1 master

　　　　192.168.2.2 slave1

　　　　192.168.2.3 slave2　

2.java环境配置（3台机器）（由于不清楚默认的java安装环境，这里重新安装配置了jdk1.6.0_45）

1. 查看本机上安装的java   java -version  rpm -qa | grep java
2. 卸载 yum  -y remove java
3. 下载安装jdk：http://download.csdn.net/download/javahr/7291125
4. 降下的修改为可执行文件：chmod +x  javaXXX.bin
5. 运行 ./jdk-6u45-linux-x64.bin
6. 便于管理，将java安装到/usr/java     mkdir /usr/java         mv  jdk1.6.0_45  /usr/java
7. 配置环境变量：在～/.bashrc 文件中加入  

　　　　export JAVA_HOME=/usr/java/jdk1.6.0_45
　　　　export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
　　　　export PATH=$PATH:$JAVA_HOME/bin

         8.javac 查看安装结果

3.ssh免密码登陆

    这是集群配置中很基础的部分，就不多写了，很简单，但是很中要。最后的结果是人任意两个节点之间可以免密码登陆，在master结点上ssh slave1 ssh slave2,ssh master...

3.Hadoop-0.20.2安装配置（在一台机器上安装配置好后复制到其他节点上，少量修改即可）

　1.hadoop的安装很简单，只需在上面的链接中下载hadoop源码，选个合适的目录解压缩就可以了。

　　tar -xzvf hadoop-0.20.2.tar.gz

       mv hadoop-0.20.2   /home/hadoop/  (我的安装目录)

   2.hadoop的配置内容比较多，这里介绍几个重要的：

          （1）vim  ~/.bashrc 增加

                export HADOOP_HOME=/home/hadoop/hadoop-0.20.2

　　　　export JAVA_HOME=/usr/java/jdk1.6.0_45

　　　　export JRE_HOME=$JAVA_HOME/jre

　　　　export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
　　　　export PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/lib:$HADOOP_HOME/bin

        （2）vim  $HADOOP_HOME/conf/hadoop-env.sh

               # The java implementation to use. Required.

　　　　export JAVA_HOME=/usr/java/jdk1.6.0_45

　　  (3)vim $HADOOP_HOME/conf/core-site.xml

　　　　<configuration>

　　　　<property><name>fs.default.name</name><value>hdfs://master:9000</value></property>         #复制
　　　　</configuration>

        （4）vim $HADOOP_HOME/conf/hdfs-site.xml   

　　　　<configuration>

　　　　<property><name>dfs.replication</name><value>2</value></property>   //副本数
　　　　<property><name>dfs.data.dir</name><value>/home/hadoop/hadoop-0.20.2/storage/data/</value></property>      //本地数据存储目录，自己设置
　　　　<property><name>dfs.name.dir</name><value>/home/hadoop/hadoop-0.20.2/storage/name/</value></property> 
　　　　</configuration>

        （5）vim  $HADOOP_HOME/conf/mapred-site.xml

　　　　<configuration>

　　　　<property><name>mapred.job.tracker</name><value>master:9001</value></property>    //复制
　　　　</configuration>

　　 (6)vim master

             master

         (7)slaves

　　　  slave1

　　　 slave2

 3.启动。在hadoop安装目录的bin子目录下有些脚本用于hadoop的启动和关闭。

   执行hadoop namenode -formate 格式化文件系统

   执行start-all.sh 启动后台进程。

  4.查看安装结果。在jdk的安装目录的bin子目录下的jps命令。可用于检查后台进程，如果进程都看启动了，表明安装成功了。

        

5.   通过hadoop安装目录下的bin子目录里的start-all.sh启动后台进程。

  运行hadoop dfsadmin -report 查看个节点运行状态

  或在浏览器上输入http：//192.168.2.1：50070（master节点IP）   http：//192.168.2.1：5530（查看jobtracker）