Linux上安装Hadoop集群（centOS7+Hadoop2.6.5+JDK1.8.0）

本文将介绍在Linux机器上创建Hadoop集群的全部过程，以及可能会遇到的问题的解决的方法。超详细！！

1 下载Hadoop

本博文使用的是Hadoop2.6.5

下载链接如下

https://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz

2安装3台机器并实现ssh免密登录

2.1安装3台机器

这里使用的Linux系统是centos，具体的安装过程请参考https://www.cnblogs.com/zrs123/p/14324518.html

三台机器的名称分别为Master、Slave1、Slave2

 说明：为了免去后面一系列授权的麻烦，这里直接使用root账户登录和操作了。

三台机器可以先创建一台，然后通过克隆的方式，克隆出新的两台，VMware上克隆虚拟机的过程可参考https://blog.csdn.net/ju_362204801/article/details/88077419

使用ifconfig命令，查看这3个机器的IP。我的机器名和ip的对应关系是:

192.168.152.131 Master

192.168.152.132 Slave1 

192.168.152.133 Slave2

2.2修改主机的名称

使用以下的命令

vim /etc/hostname

然后在文件中插入对应主机的名称

 其他的两台机器，重复上述操作，重启机器后即可生效

2.3修改/etc/hosts文件

使用以下命令

vim /etc/hosts

然后再文件中插入如下内容

 三台机器执行相同的操作

配置完成后，可以使用ping命令检查，这3台机器是否可以相互ping通

这里以Master为例，执行以下命令

ping -c3 Slave1

ping -c3 Slave2 

 输出如上图所示这说明三台机器已经可以互通

2.4给三个机器生成秘钥文件

以Master为例，执行命令，生成空字符串的秘钥(后面要使用公钥)，命令是：

ssh-keygen -t rsa -P ''

命令执行过程中需要敲两次回车

因为我现在用的是root账户，所以秘钥文件保存到了/root/.ssh/目录内，可以使用命令查看，命令是：

ls /root/.ssh

 这时候，第一个文件还不存在，这是后面创建的

使用同样的方法为hserver2和hserver3生成秘钥(命令完全相同，不用做任何修改)

2.5在Master上创建authorized_keys文件

首先使用命令，在Master的/root/.ssh/目录中生成一个名为authorized_keys的文件，命令是：

mkdir /root/.ssh authorized_keys 

可以使用ls命令查看文件是否存在

 然后将Master上的/root/.ssh/id_rsa.pub文件内容，Slave1上的/root/.ssh/id_rsa.pub文件内容，Slave2上的/root/.ssh/id_rsa.pub文件内容复制到这个authorized_keys文件中，复制的方法很多了，可以用cat命令和vim命令结合来弄，也可以直接把这3台机器上的/root/.ssh/id_rsa.pub文件下载到本地，在本地将authorized_keys文件编辑好在上载到这3台机器上。

Master上的/root/.ssh/id_rsa.pub文件内容如下图所示

 将三个文件的内容合并到authorized_keys文件中后，如下图所示

 2.6将authorized_keys文件复制到其他两台机器上

将Master中的/root/.ssh/authorized_keys文件复制到其他两台机器上，复制的方法有很多。

1、使用Xftp工具直接复制粘贴；

2、或者在其他两台机器上重复2.5的操作（比较麻烦）。

2.7测试使用ssh进行免密码登录

以Master机器为例，输入以下命令

ssh Slave1

第一次执行该命令会询问你是否连接，输入yes并回车

 测试完之后，输入exit命令退出

 其他机器上的测试操作与上述类似。

3安装JDK和Hadoop

说明，为了省去一系列获取管理员权限，授权等繁琐操作，精简教程，这里都是使用root账户登录并且使用root权限进行操作。

3.1安装JDK

安装jdk在这里不在细数，如果有需要可以参考该博文(虽然那篇博文用的是ubuntu，但是jdk安装在CentOS下也一样)：

https://www.cnblogs.com/zrs123/p/14134867.html

3.2安装Hadoop

注意： 3台机器上都需要重复下面所讲的步骤。

3.2.1上传文件并解压

在opt目录下新建一个名为hadoop的目录，并将下载得到的hadoop-2.8.0.tar上载到该目录下

执行以下命令进行 解压

tar -xzvf /opt/hadoop/hadoop-2.6.5.tar.gz

解压后得到如下图所示文件

3.2.2新建几个目录

依次执行以下几个命令

mkdir  /root/hadoop
mkdir  /root/hadoop/tmp
mkdir  /root/hadoop/var
mkdir  /root/hadoop/dfs
mkdir  /root/hadoop/dfs/name
mkdir  /root/hadoop/dfs/data

3.2.3 修改etc/hadoop中的一系列配置文件

          修改/opt/hadoop/hadoop-2.8.0/etc/hadoop目录内的一系列文件。

3.2.4 修改core-site.xml

            修改/opt/hadoop/hadoop-2.6.5/etc/hadoop/core-site.xml文件

          

在<configuration>节点内加入配置:

 <property>

        <name>hadoop.tmp.dir</name>

        <value>/root/hadoop/tmp</value>

        <description>Abase for other temporary directories.</description>

   </property>

   <property>

        <name>fs.default.name</name>

        <value>hdfs://Master:9000</value>

   </property>

</configuration>

3.2.5 修改hadoop-env.sh

         修改/opt/hadoop/hadoop-2.6.5/etc/hadoop/hadoop-env.sh文件

         将export   JAVA_HOME=${JAVA_HOME}

         修改为：

         export   JAVA_HOME=/usr/lib/jvm/java

        说明：修改为自己的JDK路径

3.2.3.3 修改hdfs-site.xml

          修改/opt/hadoop/hadoop-2.6.5/etc/hadoop/hdfs-site.xml文件

          

在<configuration>节点内加入配置:

<property>

   <name>dfs.name.dir</name>

   <value>/root/hadoop/dfs/name</value>

   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>

</property>

<property>

   <name>dfs.data.dir</name>

   <value>/root/hadoop/dfs/data</value>

   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>

</property>

<property>

   <name>dfs.replication</name>

   <value>2</value>

</property>

 

<property>

      <name>dfs.permissions</name>

      <value>false</value>

      <description>need not permissions</description>

</property>

           说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

3.2.3.4 新建并且修改mapred-site.xml

           在该版本中，有一个名为mapred-site.xml.template的文件，复制该文件，然后改名为mapred-site.xml，命令是：

cp   /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml.template     /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml

          修改这个新建的mapred-site.xml文件，在<configuration>节点内加入配置:

 

<property>

    <name>mapred.job.tracker</name>

    <value>Master:49001</value>

</property>

<property>

      <name>mapred.local.dir</name>

       <value>/root/hadoop/var</value>

</property>

 

<property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

</property>

3.2.3.5 修改slaves文件

         修改/opt/hadoop/hadoop-2.6.5/etc/hadoop/slaves文件，将里面的localhost删除，添加如下内容：

Master
Slave1
Slave2

3.2.3.6 修改yarn-site.xml文件

         修改/opt/hadoop/hadoop-2.6.5/etc/hadoop/yarn-site.xml文件，

         

在<configuration>节点内加入配置(注意了，内存根据机器配置越大越好，我这里只配2个G是因为机器不行):

<property>

        <name>yarn.resourcemanager.hostname</name>

        <value>Master</value>

   </property>

   <property>

        <description>The address of the applications manager interface in the RM.</description>

        <name>yarn.resourcemanager.address</name>

        <value>${yarn.resourcemanager.hostname}:8032</value>

   </property>

   <property>

        <description>The address of the scheduler interface.</description>

        <name>yarn.resourcemanager.scheduler.address</name>

        <value>${yarn.resourcemanager.hostname}:8030</value>

   </property>

   <property>

        <description>The http address of the RM web application.</description>

        <name>yarn.resourcemanager.webapp.address</name>

        <value>${yarn.resourcemanager.hostname}:8088</value>

   </property>

   <property>

        <description>The https adddress of the RM web application.</description>

        <name>yarn.resourcemanager.webapp.https.address</name>

        <value>${yarn.resourcemanager.hostname}:8090</value>

   </property>

   <property>

        <name>yarn.resourcemanager.resource-tracker.address</name>

        <value>${yarn.resourcemanager.hostname}:8031</value>

   </property>

   <property>

        <description>The address of the RM admin interface.</description>

        <name>yarn.resourcemanager.admin.address</name>

        <value>${yarn.resourcemanager.hostname}:8033</value>

   </property>

   <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

   </property>

   <property>

        <name>yarn.scheduler.maximum-allocation-mb</name>

        <value>2048</value>

        <discription>每个节点可用内存,单位MB,默认8182MB</discription>

   </property>

   <property>

        <name>yarn.nodemanager.vmem-pmem-ratio</name>

        <value>2.1</value>

   </property>

   <property>

        <name>yarn.nodemanager.resource.memory-mb</name>

        <value>2048</value>

</property>

 

   <property>

        <name>yarn.nodemanager.vmem-check-enabled</name>

        <value>false</value>

</property>

       说明：yarn.nodemanager.vmem-check-enabled这个的意思是忽略虚拟内存的检查，如果你是安装在虚拟机上，这个配置很有用，配上去之后后续操作不容易出问题。如果是实体机上，并且内存够多，可以将这个配置去掉。

补充说明：1、core-site.xml，mapred-site.xml，yarn-site.xml,slaves这四个配置文件 ，三台机器保持一致 2、hadoop-env.sh这两个文件的jdk版本别忘改； 3、记住etc/hosts这三台机器上最好不要存在127.0.0.1的映射地址； 4、防火墙master和slave最好关闭 systemctl stop firewalld.service。

4启动Hadoop

4.1在namenode上执行初始化

因为Master是namenode，hserver2和hserver3都是datanode，所以只需要对hserver1进行初始化操作，也就是对hdfs进行格式化。

          进入到Master这台机器的/opt/hadoop/hadoop-2.6.5/bin目录，也就是执行命令：

cd /opt/hadoop/hadoop-2.6.5/bin

然后在执行初始化脚本命令

./hadoop  namenode  -format

 如下图，如果不报错的话就是初始化成功了

 格式化成功后，可以在看到在/root/hadoop/dfs/name/目录多了一个current目录，而且该目录内有一系列文件

 4.2在namenode上执行启动命令

因为Master是namenode，Slave1和Slave2都是datanode，所以只需要再hserver1上执行启动命令即可。

           进入到Master这台机器的目录，也就是执行命令：

cd /opt/hadoop/hadoop-2.6.5/sbin

然后执行启动脚本

 ./start-all.sh

第一次执行上面的启动命令，会需要我们进行交互操作，在问答界面上输入yes回车。

我在执行这个启动命令的时候遇到以下问题：

1、

 原因是权限不够，解决方法如下：

分别到Slave1和Slave2这两台机器下，执行以下命令，为所有脚本添加对应用户的执行权限

chmod +x $HADOOP_HOME/sbin/*

2、使用./start-all.sh启动Hadoop后，DataNode进程没有被拉起

解决方法：使用如下命令拉起DataNode进程

./hadoop-daemons.sh start datanode

参考博文https://qfdeu.blog.csdn.net/article/details/107056848

5测试Hadoop

haddoop启动了，需要测试一下hadoop是否正常。

          执行命令，关闭防火墙，CentOS7下，命令是：

systemctl stop firewalld.service

Master是我们的namanode，该机器的IP是192.168.152.131，在本地电脑访问如下地址:

             http://192.168.152.131:50070/

             自动跳转到了overview页面

如图：

在本地浏览器里访问如下地址：

            http://192.168.152.131:8088/

           自动跳转到了cluster页面

如图：

至此，Hadoop集群的搭建就完成了！

部分内容参考：https://blog.csdn.net/pucao_cug/article/details/71698903

2021-01-27 15:59:43