CentOS7.2下Hadoop2.7.2的集群搭建

1.基本环境：

操作系统：

    Centos 7.2.1511

三台虚机：

    192.168.163.224  master

    192.168.163.225  node1

    192.168.163.226  node2

软件包

    hadoop-2.7.2.tar.gz

    jdk-7u79-linux-x64.tar.gz

 

2.配置系统环境

配置ntp时间同步

    参考http://bigtrash.blog.51cto.com/8966424/1826481

 

修改hostname

    192.168.163.224主机： echo "master" > /etc/hostname

 

    192.168.163.225主机：echo "node1" > /etc/hostname

 

    192.168.163.226主机：echo "node2" > /etc/hostname

 

master上修改hosts文件

echo "192.168.163.224 master" >>/etc/hosts

 echo "192.168.163.225 node1" >>/etc/hosts

 

 echo "192.168.163.225 node2" >>/etc/hosts

 

同步到node1，node2上的主机

 

 scp /etc/hosts node1:/etc/

 

 scp /etc/hosts node2:/etc/

 

各台主机上相互ping，测试是否可以通过host连通

 

 ping master

 

 ping node1

 

 ping node2

 

master，node1，node2上关闭防火墙

 

  systemctl stop firewalld

 

  systemctl disable firewalld

 

3.配置hadoop环境

master，node1，node2上安装jdk

rpm -qa|grep openjdk  #检查openjdk，存在则删除

yum remove *-openjdk-*   ####删除openjdk#####

 

安装sunjdk

#yum install glibc.i686(64位系统安装32位包，需要安装)

#tar -zxvf jdk-7u79-linux-x64.tar.gz<br>

#mv ./jdk1.7.0_79 /usr/</span>

 

master，node1，node2上创建hadoop用户

    useradd hadoop  #增加hadoop用户，用户组、home目录、终端使用默认

    passwd  hadoop  #修改密码

    建议在学习阶段将hadoop用户加入sudo权限管理，简单方法如下

        1.执行visudo命令

        2.在root    ALL=(ALL)       ALL 后加入

            hadoop    ALL=(ALL)       ALL

    master，node1，node2上进入hadoop用户：

    su - hadoop

 

master，node1，node2上无密钥连接：

    master上的hadoop用户通过rsa算法生成非对称密钥对：

 

  ssh-keygen -t rsa

  cd /home/hadoop/.ssh/

  cp id_rsa.pub  authorized_keys

  chmod go-wx  authorized_keys

 

 

master上的公钥authorized_keys拷贝到node1，node2上的hadoop用户

 

  scp authorized_keys node1:/home/hadoop/.ssh/

 

  scp authorized_keys node2:/home/hadoop/.ssh/

 

    可通过如下命令测试

        ssh node1

        ssh node2

    为方便node1，node2中hadoop用户可以同时登录master，这里我们集群中的所有用户共用一个密钥

 

 scp ~/.ssh/id_rsa node1:/home/hadoop/.ssh/

 

 scp ~/.ssh/id_rsa node2:/home/hadoop/.ssh/

  

master，node1，node2上修改环境变量

    vi /etc/profile

  JAVA_HOME=/usr/jdk1.7.0_79

 

  HADOOP_HOME=/usr/local/hadoop

 

  export PATH=$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

 

  su - hadoop  #重新读取环境变量

 

master，node1，node2上创建相关目录

 

  sudo mkdir -p /usr/local/hadoop

 

  sudo chown -R hadoop:hadoop  /usr/local/hadoop

 

  sudo mkdir -p /data/hadoop/   #创建 hadoop 数据目录结构

 

  sudo chown -R hadoop:hadoop  /data/hadoop/

 

  mkdir -p /data/hadoop/tmp/   #创建 tmp

 

  mkdir -p /data/hadoop/hdfs/   #创建hdfs

 

  mkdir -p /data/hadoop/hdfs/data  #创建datanode目录

 

  mkdir -p /data/hadoop/hdfs/name  #创建namenode目录

 

  mkdir -p /data/hadoop/hdfs/namesecondary

 

安装hadoop

 

  wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 

 

  tar -zxvf hadoop-2.7.2.tar.gz 

 

  mv hadoop-2.7.2 /usr/local/hadoop

 

  chown -R hadoop:hadoop /usr/local/hadoop/

 

4.修改配置文件

配置文件相关变量详细解释可查看官网：

http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/

 

cd $HADOOP_HOME/etc/hadoop

 

4.1  vi hadoop-env.sh

 

export HADOOP_HEAPSIZE=128  #默认为1000M，这里我们修改为128M

 

4.2  vi core-site.xml  #全局配置

<configuration>

 

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

<!--hadoop namenode 服务器地址和端口，以域名形式-->

</property>

 

<property>

<name>dfs.namenode.checkpoint.period</name>

<value>1800</value>

<!-- editlog每隔30分钟触发一次合并，默认为60分钟 -->

</property>

 

</property>

<property>

  <name>fs.checkpoint.size</name>

  <value>67108864</value>

</property>

 

<property>

<name>fs.trash.interval</name>

<value>1440</value>

<!-- Hadoop文件回收站,自动回收时间,单位分钟,这里设置是1天，默认为0。-->

</property>

 

<property>

<name>hadoop.tmp.dir</name>

<value>/data/hadoop/tmp</value>

<!-- Hadoop的默认临时路径，这个最好配置，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令。/data/hadoop/tmp这里给的路径不需要创建会自动生成.-->

</property>

 

<property>

<name>io.file.buffer.size</name>

<value>131702</value>

<!-- 流文件的缓冲区-->

</property>

 

</configuration>

4.3 vi hdfs-site.xml  #hdfs中NameNode,DataNode局部配置

<configuration>

 

<property>

<name>dfs.namenode.name.dir</name>

<value>/data/hadoop/hdfs/name</value>

<!--HDFS namenode数据镜象目录-->

<description>  </description>

</property>

 

<property>

<name>dfs.datanode.data.dir</name>

<value>/data/hadoop/hdfs/data</value>

<!-- HDFS datanode数据镜象存储路径,可以配置多个不同的分区和磁盘中,使用,号分隔 -->

<description> </description>

</property>

 

<property>

<name>dfs.namenode.http-address</name>

<value>master:50070</value>

<!---HDFS Web查看主机和端口-->

</property>

 

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>node1:50090</value>

<!--辅控HDFS web查看主机和端口-->

</property>

 

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

 

<property>

<name>dfs.replication</name>

<value>3</value>

<!--HDFS数据保存份数，通常是3-->

</property>

 

<property>

<name>dfs.datanode.du.reserved</name>

<value>1073741824</value>

<!-- datanode 写磁盘会预留 1G空间 给其他程序使用,而非写满,单位 bytes-->

</property>

 

<property>

<name>dfs.block.size</name>

<value>134217728</value>

<!--HDFS数据块大小，当前设置为128M/Blocka-->

</property>

 

<property>

<name>dfs.permissions.enabled</name>

<value>false</value>

<!-- HDFS 关闭文件权限 -->

</property>

 

</configuration>

4.4 vi etc/hadoop/mapred-site.xml  #配置MapReduce，使用yarn框架、jobhistory使用地址以及web地址

 <configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobtracker.http.address</name>

<value>master:50030</value>

</property>

<property>

<name>mapred.job.tracker</name>

<value>http://master:9001</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

</configuration>

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

4.5 vi etc/hadoop/yarn-site.xml  配置yarn-site.xml文件

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

</configuration>

 

4.6 vi hadoop-env.sh及vi yarn-env.sh

将其中的${JAVA_HOME}用/usr/jdk1.7.0_79代替

 

5.检查单机版Hadoop

 

测试hdfs中的namenode与datanode：

 

 hadoop-daemon.sh start namenode

 

 chmod go-w /data/hadoop/hdfs/data/

 

 hadoop-daemon.sh start datanode

 

测试resourcemanager：

 

yarn-daemon.sh start resourcemanager

 

测试nodemanager：

 yarn-daemon.sh start nodemanager

 

测试historyserver：

 mr-jobhistory-daemon.sh start historyserver

 

执行jps：

 

99297 Jps

 

99244 DataNode

 

98956 JobHistoryServer

 

98820 NodeManager

 

98118 NameNode

 

98555 ResourceManager

 

上述表明单机版hadoop安装成功

 

6.集群搭建

 

scp -r $HADOOP_HOME/ node1:/usr/local/

 

scp -r $HADOOP_HOME/ node2:/usr/local/

 

在master上进行配置

    vi $HADOOP_HOME/etc/hadoop/slaves

    删除localhost

    添加

    node1

    node2

    vi $HADOOP_HOME/etc/hadoop/masters

    删除localhost

    添加

    node1   #目的是为了在node1节点上存放secondnamenode

 

7.测试集群是否搭建成功

$HADOOP_HOME/bin/hdfs namenode -format

master上

开启所有节点：start-all.sh(或start-dfs及start-yarn.sh代替)

各节点执行jps

 

master：

98956 JobHistoryServer

98820 NodeManager

118806 Jps

118176 NameNode

118540 ResourceManager

 

node1：

106408 SecondaryNameNode

106602 Jps

106301 DataNode

106496 NodeManager

 

node2：

105932 Jps

105812 NodeManager

105700 DataNode

 

存在上述状态，说明集群搭建成功

关闭所有节点：stop-all.sh(或stop-dfs.sh及stop-yarn.sh代替)

 

同时可以访问网页进行查看：

http://master:50070/

http://master:8088/