Hadoop 安装之本地模式与分布式模式 北漂

一、安装环境说明

1、版本说明

1、操作系统使用centos系列，建议不要使用ubuntu系列，在生成环境中，使用ubuntu系统，系统会莫名的卡死，看大数据相关的进程，发现进程处于D状态(也就是不可中断状态),处于这种模式的话，基本上除了修改内核，打补丁，只能重启系统，这对于业务来说还是很有影响的。
2、jdk：使用1.8
3、hadoop：默认使用hadoop2.9.2

2、下载

1、jdk：   下载地址：http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz  或者请到官网下载你自己需要的版本：http://www.oracle.com/technetwork/java/javase/downloads/index.html

2、hadoop： 下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz 或者请到官网下载你所需的版本：http://hadoop.apache.org/releases.html

3、设置主机名和IP地址的映射。

(1)、修改主机名：

#vim /etc/sysconfig/network

NETWORKING=yes   #打开网络
HOSTNAME=localhost.localdomain  #在这里修改主机名，这种方式是永久修改(建议这种方式)，直接在命令行使用   hostname  主机名  这种方式是临时修改，系统重启就会失效。

添加ip和主机名的映射关系

#vim /etc/hosts

#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.4.91 master   #这一行是新添加的，master既是刚刚修改的主机名。

(2)关闭防火墙和selinux

关闭防火墙（centos 6.x）：

#/etc/init.d/iptables stop   

#chkconfig  iptables off

如果你是centos 7.x的系统，请使用：

#systemctl stop firewalld.service

#systemctl disable firewalld.service

关闭selinux：

#vim /etc/selinux/config

把SELINUX=enforcing替换成 SELINUX=disabled

(3)安装、配置jdk环境变量：

#把刚才下载的jdk包放到某一个目录里面，例如我的放到/data下面

#tar -zxvf jdk-8u181-linux-x64.tar.gz    #解压jdk

打开/etc/profile文件   #全局配置文件

export JAVA_HOME=/data/jdk1.8.0_181                          #这两行是在文件的最后添加的
export PATH=${JAVA_HOME}/bin:$PATH

# source /etc/profile     #让jdk生效

#java -version   #查看jdk是否生效，如果输入如下，说明配置成功。

java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)

二、hadoop部署模式

1、本地模式安装(各个模块运行在一台机器上，占用的jvm进程数为1)

进入到放置hadoop源码包的目录

#tar -zxvf hadoop-2.9.0.tar.gz

2、运行MapReduce认证

(1)、在本地系统创建一个文件

#cat test.txt

11 22 33

22 33 44

44 22 11

运行hadoop自带的MapReduce程序

#./hadoop jar /data/hadoop-2.9.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount test.txt test.out

这里可以看到job ID中有local字样，说明是运行在本地模式下的。

(2)查看输出的文件。在本地模式下，输出文件是在本地。

# ll test.out

输出目录中有_SUCCESS文件说明JOB运行成功；part-r-00000是输出结果文件,r说明是reduce产生的结果，如果是m的话，则是map阶段产生的。

如果要查看具体的信息：

# cat test.out/part-r-00000

2、伪分布模式安装（多个jvm进程，单台系统）

(1)、创建hadoop运行的用户

#groupadd hadoop

#useradd -g hadoop hadoop

#passwd hadoop  #给hadoop用户设置密码。

(2)、给hadoop用户sudo权限

# vim  /etc/sudoers

在root下一行添加红框这一行。

#chmod u+w /etc/sudoers

切换到hadoop用户

#su - hadoop

(3)、创建存放hadoop包的目录

♥   #mkdir /home/hadoop     拷贝包到这个目录下

#cd /home/hadoop/

#tar -zxvf  tar -zxvf hadoop-2.9.0.tar.gz

在/etc/profile最下面追加：

export HADOOP_HOME="/home/hadoop/hadoop-2.5.0"

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

#source /etc/profile    #使配置生效

验证HADOOP_HOME参数

#echo $HADOOP_HOME

/home/hadoop/hadoop-2.9.0

♥   配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh文件的JAVA_HOME参数

修改JAVA_HOME参数配置(三个文件都要修改)

#cd /home/hadoop/hadoop-2.9.0/etc/hadoop/

export JAVA_HOME=/data/jdk1.8.0_181   #去掉原先的注释，修改成这样子。

♥  配置  core-site.xml

在<configuration>下面添加

fs.defaultFS参数配置的是HDFS的地址。

<property>
<!-- hdfs 地址 -->
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>

<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.9.0/tmp</value>
</property>

hadoop.tmp.dir 是hdfs文件系统产生数据所存放的临时目录

创建目录：

#mkdir /home/hadoop/hadoop-2.9.0/tmp  

♥  配置hdfs-site.xml

在<configuration>下面添加

<property>
<name>dfs.replication</name>   #这里指定hdfs产生数据时备份的机器数量，由于只有一台机器，所以为1.
<value>1</value>
</property>

<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hadoop-2.9.0/name</value>   #指定namenode数据存放的目录
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/hadoop-2.9.0/data</value>  #指定datanode数据存放的目录

</property>

# mkdir /home/hadoop/hadoop-2.9.0/name

# mkdir /home/hadoop/hadoop-2.9.0/data

♥  接下来格式化hdfs

#./bin/hadoop namenode -format

格式化是对HDFS这个分布式文件系统中的DataNode进行分块，统计所有分块后的初始元数据的存储在NameNode中。

格式化后，查看core-site.xml里hadoop.tmp.dir（本例是/home/hadoop/hadoop-2.9.0/目录）指定的目录下是否有了dfs目录，如果有，说明格式化成功。

 # ll /home/hadoop/hadoop-2.9.0/name/current

 fsimage_XXX 是namenode元数据存满以后持久化到磁盘的文件。

fsimage*.md5 是校验文件，校验fsimage的完整性。

seen_txid 是hadoop的版本

#cat VERSION

namespaceID=271252846            #namenode的唯一id
clusterID=CID-97e864b1-262d-4ce0-93d9-9dd96953ecc5          #集群id
cTime=1533545685716
storageType=NAME_NODE             #存储类型
blockpoolID=BP-1051333686-192.168.4.91-1533545685716
layoutVersion=-63

当然，NameNode和DataNode的集群ID应该一致，表明这是一个集群，datenode的id可以到/home/hadoop/hadoop-2.9.0/data 这个目录下查看。

♥   启动namenode、datanode、SecondaryNameNode

# ./sbin/hadoop-daemon.sh start namenode

#./sbin/hadoop-daemon.sh start  datanode

#./sbin/hadoop-daemon.sh start  secondarynamenode

使用jps命令查看是否启动成功

#jps

3022 NameNode

10578 Jps

2099 DateNode

12768 SecondaryNameNode

♥ hdfs分布式文件系统测试

在hdfs上创建目录：

#./bin/hadoop fs -mkdir /test

查看目录：

# 

上传本地文件到hdfs：

./bin/hadoop fs -put wc.input /test

# 

 从hdfs分布式文件系统上面下载文件到本地系统

#./bin/hadoop fs -get /test/wc.put

♥   配置yarn

配置 mapred-site.xml

在 <configuration>下面添加

<!-- 指定mr运行在yarn框架上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

配置yarn.site.xml

在 <configuration>下面添加

<property>
<name>yarn.nodemanager.aux-services</name>     #yarn默认混洗方式

<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.hostname</name>  #指定resourcemanager的主机名称
<value>master</value>
</property>

♥启动resourcemanager

${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager

♥启动nodemanager

${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager

使用jps查看是否启动成功，如果有 resourcemanager  nodemanager 则说明成功。

♥  查看yarn的外部界面，

如果你要在Windows里面通过主机名去访问Linux里面的主机，那么你需要在Windows的hosts主机里面添加Linux主机名和其IP地址的映射关系。

这样才能正常从Windows浏览器通过主机名访问Linux，当然，你直接输入IP地址就不需要这一步了。

有时候你在修改Windows 下的/etc/hosts完成以后，保存时提示没有权限，该怎么做呢：

如图：hosts文件右键——> 安全----->指定users用户，在权限这里，把允许下面的都勾选上。

♥   允许MapReduce

在本地系统创建测试用的文件

#cat wc.put

上传到hdfs文件系统

# hadoop fs -put wc.put /

运行Wordcount MapReduce job

#cd /home/hadoop/hadoop-2.9.0

#hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount /wc.input /wc.output

查看输出结果

# hadoop fs -ls /wc.output/

有SUCCESS就代表这个job执行成功，这是一个空文件；part-r-00000既是输出结果，其中r表示是reduce阶段产生的结果，mapreduce程序执行时，可以没有reduce阶段，但是肯定会有map阶段，如果没有reduce阶段这个地方有是-m-，一个reduce会产生一个part-r-开头的文件。

•   查看结果

#  hadoop fs -cat /wc.output/part-r-00000

其结果可以看出来是按照键值排好序的。

♥   如何停止hadoop？

(1)一个一个进程慢慢停止  

#./sbin/hadoop-daemon.sh stop namenode

#./sbin/hadoop-daemon.sh stop datenode

# ./sbin/yarn-daemon.sh stop resourcemanager

# ./sbin/yarn-daemon.sh stop nodemanager

(2) hadoop有一个脚本文件，可以直接停止集群,这个脚本文件分开来的话就是停止hdfs和yarn。启动整个集群也可以使用 ./sbin/start-all.sh   

#./sbin/stop-all.sh   

♥   各个功能模块的介绍

(1) yarn

这是一个资源调度框架，在hadoop2.0中，主要就是管理整个集群资源的分配和调度，具体请查看  https://blog.csdn.net/liuwenbo0920/article/details/43304243

(2) hdfs 

hdfs分布式文件系统主要用来将大文件分块以后进行分布式存储数据的，突破了单台机器磁盘存储限制，这是一个相对独立的模块，能够为yarn、hbase等模块提供服务。

(3)MapReduce

MapReduce是一个计算框架，通过map、reduce阶段来分布式的对数据进行流处理，适用于对数据的流处理，对实时性要求高的应用不太适合，在hadoop1.0中，MapReduce是出于霸主级别，但是在hadoop2.0中，提供了一个更高效的处理引擎--spark。

♥   如何开启历史服务？

(1)   #./sbin/mr-jobhistory-daemon.sh start historyserver

开启以后通过web界面可以查看，点开下图的history，可以查看历史信息。

历史服务器的端口是19888.

♥  如果想在web界面查看日志该如何做呢？那就是开启日志聚集，日志聚集是在yarn框架的，所以在配置的时候是在yarn.site.xml文件里面配置

(1)日志聚集介绍

MapReduce是在各个机器上运行的，在运行过程中产生的日志存在于各个机器上，为了能够统一查看各个机器的运行日志，将日志集中存放在HDFS上，这个过程就是日志聚集。

(2)日志聚集默认是未开启的，通过配置yarn.site.xml来开启。

<property>
<name>yarn.log-aggregation-enable</name>     #  是否开启日志聚集
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>  #日志保存时间，以秒为单位。
<value>106800</value>          
</property>

(3)配置完以后重启yarn进程

# stop-yarn.sh

# start-yarn.sh

(4)现在就可以去web界面查看map、reduce阶段产生的日志。

当然，在执行这一步的时候，是因为我们上面刚刚跑过MapReduce程序，如果你没有跑MapReduce，则这个界面不会有这些信息。

如果是在完全分布式或者ha完全分布式集群里面，当配置完成以后，需要把配置文件拷贝到其他节点在重新启动yarn进程。

下节在记录hadoop完全分布式安装、ha、以及Federation （联邦）。

*** 刚开始写博文，可能还有很多需要改进的地方，望见谅***