Linux-部署Hadoop环境

实验环境：

       主机名          IP地址              角色

master         192.168.1.201        NameNode 
node01        192.168.1.202        DataNode1 
node02        192.168.1.203        DataNode2

实验前期环境准备：

三台机器上配置hosts文件，如下：

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.1.201   master

192.168.1.202   node01

192.168.1.203   node02

scp  /etc/hosts  root@192.168.1.202:/etc/

scp  /etc/hosts  root@192.168.1.203:/etc/

创建运行hadoop用户账号和Hadoop目录。  尽量不用root帐号运行

在xshell中：

输入：useradd -u 8000 hadoop

        echo 123456 | passwd --stdin hadoop

配置在master上，可以ssh无密码登录机器master，node01，node02 ，方便后期复制文件和启动服务。因为namenode启动时，会连接到datanode上启动对应的服务。

su hadoop

ssh-keygen(一路回车)

导入公钥到其他datanode节点认证文件

ssh-copy-id 192.168.1.201

ssh-copy-id 192.168.1.202

ssh-copy-id 192.168.1.203

 

配置Hadoop环境，安装Java环境JDK：三台机器上都要配置

master安装jdk

上传jdk软件包到master

tar xf jdk-8u171-linux-x64.tar.gz

mv jdk-8u171 /usr/local/jdk

vim /etc/profile           #设置java的环境变量

在文件末尾添加以下内容：

export JAVA_HOME=/usr/local/jdk

export JAVA_BIN=/usr/local/jdk/bin

export PATH=${JAVA_HOME}/bin:$PATH

export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar

source /etc/profile       #是配置文件生效

验证：

       Java -version

将此java环境复制到node01和node02上：

scp -r /usr/local/jdk root@192.168.1.202:/usr/local/jdk

scp -r /usr/local/jdk root@192.168.1.203:/usr/local/jdk

分别修改node01和node02的/etc/profile文件：

添加：

export JAVA_HOME=/usr/local/jdk

export JAVA_BIN=/usr/local/jdk/bin

export PATH=${JAVA_HOME}/bin:$PATH

export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar

然后使配置生效：

source /etc/profile

测试：

       Java -version

 

在xuegod63安装Hadoop 并配置成namenode主节点

上传软件包到服务器并解压：

hadoop的安装目录是：/home/hadoop/hadoop-2.6.5

tar xf hadoop-2.6.5-tar.gz -C /home/hadoop/

 

创建hadoop相关的工作目录：

       mkdir -p /home/hadoop/dfs/name

       mkdir -p /home/hadoop/dfs/data

       mkdir -p /home/hadoop/tmp

ls /home/hadoop/

hadoop-2.6.5  dfs  tmp

 

配置Hadoop：需要修改7个配置文件

文件位置：/home/hadoop/hadoop-2.6.5/etc/hadoop/

文件名称： hadoop-env.sh、yarn-evn.sh、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

1、配置文件hadoop-env.sh，指定hadoop的java运行环境

cd /home/hadoop/hadoop-2.6.5/etc/hadoop/

vim hadoop-env.sh

改：25 export JAVA_HOME=${JAVA_HOME}

为：25 export JAVA_HOME=/usr/local/jdk

注：指定java运行环境变量

2、配置文件yarn-env.sh，指定yarn框架的java运行环境

该文件是yarn框架运行环境的配置，同样需要修改java虚拟机的位置。

yarn ：Hadoop 的新 MapReduce 框架Yarn是Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理。

vim yarn-env.sh

改：26   JAVA_HOME=$JAVA_HOME

为：26   JAVA_HOME=/usr/local/jdk

3、配置文件slaves ，指定datanode 数据存储服务器

将所有DataNode的机器名字写入此文件，每个主机名一行：配置如下

vim slaves

改： localhost

为：  node01

        node02

4、配置文件core-site.xml，指定访问hadoop web界面访问路径

这个是hadoop的核心配置文件，这里需要配置的就这两个属性，fs.default.name配置了hadoop的HDFS系统的命名，位置为主机的9000端口；

hadoop.tmp.dir配置了hadoop的tmp目录的根位置。这里使用了一个文件系统中没有的位置，所以要先用mkdir命令新建一下。

vim core-site.xml

在19行和20行之间插入以下内容：

<configuration>

<property>

      <name>fs.defaultFS</name>

          <value>hdfs://master:9000</value>       #修改为NameNode的主机名即本机的主机名

 </property>

 

 <property>

     <name>io.file.buffer.size</name>

         <value>131072</value>

 </property>

 

 <property>

     <name>hadoop.tmp.dir</name>

         <value>file:/home/hadoop/tmp</value>

             <description>Abase for other temporary directories.</description>

 </property>

</configuration>

 

5、配置文件hdfs-site.xml

这个是hdfs的配置文件，dfs.http.address配置了hdfs的http的访问位置；

dfs.replication配置了文件块的副本数，一般不大于从机的个数。

改：19 <configuration>

    20

 21 </configuration>

注： 在<configuration>和</configuration>中间插入以一下红色和蓝色标记内容：

为：

<configuration>

  <property>

      <name>dfs.namenode.secondary.http-address</name>

      <value>master:9001</value>   # 通过web界面来查看HDFS状态

  </property>

 

  <property>

      <name>dfs.namenode.name.dir</name>

      <value>file:/home/hadoop/dfs/name</value>

  </property>

 <property>

    <name>dfs.datanode.data.dir</name>

        <value>file:/home/hadoop/dfs/data</value>

 </property>

 

 <property>

    <name>dfs.replication</name>

    <value>2</value>    #每个Block有2个备份。

 </property>

 

 <property>

    <name>dfs.webhdfs.enabled</name>

        <value>true</value>

 </property>

 

</configuration>

 

注：

<property>

      <name>dfs.namenode.secondary.http-address</name>

      <value>master:9001</value>   # 通过web界面来查看HDFS状态

  </property>

 <property>

    <name>dfs.replication</name>

    <value>2</value>    #每个Block有2个备份。

 </property>

 

6、配置文件mapred-site.xml，

这个是mapreduce任务的配置，由于hadoop2.x使用了yarn框架，所以要实现分布式部署，必须在mapreduce.framework.name属性下配置为yarn。mapred.map.tasks和mapred.reduce.tasks分别为map和reduce的任务数，

同时指定：Hadoop的历史服务器historyserver

Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器

vim mapred-site.xml-template

改：19 <configuration>

 20

 21 </configuration>

注： 在<configuration>和</configuration>中间插入以一下红色和蓝色标记内容：

为：

<configuration>

 

 <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

 </property>

 

 <property>

     <name>mapreduce.jobhistory.address</name>

     <value>master:10020</value>

 </property>

 

 <property>

     <name>mapreduce.jobhistory.webapp.address</name>

     <value>master:19888</value>

 </property>

 

</configuration>

 

copy mapred-site.xml.template mapred-site.xml

/home/hadoop/hadoop-2.6.5/sbin/mr-jobhistory-daemon.sh  start historyserver

这样我们就可以在相应机器的19888端口上打开历史服务器的WEB UI界面。可以查看已经运行完的作业情况。

7、配置节点yarn-site.xml

该文件为yarn框架的配置,主要是一些任务的启动位置

vim yarn-site.xml

改：

<configuration>

 

<!-- Site specific YARN configuration properties -->

 

</configuration>

注： 在<configuration>和</configuration>中间插入以一下红色和蓝色标记内容：

 

为：

<configuration>

 

<!-- Site specific YARN configuration properties -->

 <property>

     <name>yarn.nodemanager.aux-services</name>

     <value>mapreduce_shuffle</value>

 </property>

 

 <property>

     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

     <value>org.apache.hadoop.mapred.ShuffleHandler</value>

 </property>

 

 <property>

    <name>yarn.resourcemanager.address</name>

    <value>master:8032</value>

 </property>

 

 <property>

     <name>yarn.resourcemanager.scheduler.address</name>

         <value>master:8030</value>

 </property>

 

 <property>

     <name>yarn.resourcemanager.resource-tracker.address</name>

     <value>master:8031</value>

 </property>

 

 <property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>master:8033</value>

 </property>

 

 <property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>master:8088</value>

 </property>

 

</configuration>

 

复制到其他datanode节点： node01和node02

scp -r /home/hadoop/hadoop-2.6.5/ hadoop@node01:~/

scp -r /home/hadoop/hadoop-2.6.5/ hadoop@node02:~/

在xuegod63上启动Hadoop

切换到hadoop用户：

hadoop namenode的初始化,只需要第一次的时候初始化，之后就不需要了

/home/hadoop/hadoop-2.2.0/bin/hdfs namenode -format

启动hdfs: ./sbin/start-dfs.sh，即启动HDFS分布式存储

/home/hadoop/hadoop-2.2.0/sbin/start-dfs.sh

 

 

查看进程，此时master有进程：namenode和 secondarynamenode进程：

node01和node02上有进程：DataNode 

在xuegod63上启动yarn:

/home/hadoop/hadoop-2.6.5/sbin/start-yarn.sh  # 即，启动分布式计算

starting yarn daemons

starting resourcemanager, logging to /home/hadoop/hadoop-2.6.5/logs/yarn-root-resourcemanager-master.out

node01: starting nodemanager, logging to /home/hadoop/hadoop-2.6.5/logs/yarn-root-nodemanager-node01.out

node02: starting nodemanager, logging to /home/hadoop/hadoop-2.6.5/logs/yarn-root-nodemanager-node02.out

查看进程：

查看master上的ResourceManager进程，node01和node02上的进程：DataNode NodeManager

注：start-dfs.sh  和 start-yarn.sh 这两个脚本可用start-all.sh代替。

启动：

/home/hadoop/hadoop-2.6.5/sbin/start-all.sh

关闭：

/home/hadoop/hadoop-2.6.5/sbin/stop-all.sh

启动：/apreduce运行状态

/home/hadoop/hadoop-2.6.5/sbin/mr-jobhistory-daemon.sh start historyserver

starting historyserver, logging to /home/hadoop/hadoop-2.2.0/logs/mapred-root-historyserver-master.out

查看HDFS分布式文件系统状态：

/home/hadoop/hadoop-2.6.5/bin/hdfs dfsadmin -report

查看文件块组成：  一个文件由哪些块组成

/home/hadoop/hadoop-2.2.0/bin/hdfs fsck / -files -blocks

 

Web查看HDFS:  

       http://192.168.1.201:50070

通过Web查看hadoop集群状态:  

http://192.168.1.201:8088 

 

附：hadoop中文文档http://hadoop.apache.org/docs/r1.0.4/cn/