hadoop完全分布式运行模式搭建

ip名称对应表

192.168.1.43	rjsoft-0001
192.168.1.99	rjsoft-0002
192.168.1.113	rjsoft-0003

配置表

	rjsoft-0001	rjsoft-0002	rjsoft-0003
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

1、配置ssh免密登录

2、 修改文件配置文件

（1）核心配置文件

配置core-site.xml

[csg@rjsoft-0001 hadoop]$ vi core-site.xml

在该文件中编写如下配置

<!-- 指定HDFS中NameNode的地址 -->
<property>
        <name>fs.defaultFS</name>
      <value>hdfs://rjsoft-0001:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

（2）HDFS配置文件

　　配置hadoop-env.sh

[csg@rjsoft-0001 hadoop]$ vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

　　配置hdfs-site.xml

[csg@rjsoft-0001 hadoop]$ vi hdfs-site.xml

　　<property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

    <!-- 指定Hadoop辅助名称节点主机配置 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>rjsoft-0003:50090</value>
    </property>
    

（3）YARN配置文件

　　配置yarn-env.sh

[csg@rjsoft-0001 hadoop]$ vi yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

　　配置yarn-site.xml

[csg@rjsoft-0001 hadoop]$ vi yarn-site.xml

　　在该文件中增加如下配置

<!-- Reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>rjsoft-0002</value>
</property>

（4）MapReduce配置文件

　　配置mapred-env.sh

[csg@rjsoft-0001 hadoop]$ vi mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

　　配置mapred-site.xml

[csg@rjsoft-0001 hadoop]$ cp mapred-site.xml.template mapred-site.xml

[csg@rjsoft-0001 hadoop]$ vi mapred-site.xml

在该文件中增加如下配置

<!-- 指定MR运行在Yarn上 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

3．在集群上分发配置好的Hadoop配置文件

[csg@rjsoft-0001 hadoop]$ xsync /opt/module/hadoop-2.7.2/

4．查看文件分发情况

[csg@rjsoft-0002 hadoop]$ cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

配置slaves

/opt/module/hadoop-2.7.2/etc/hadoop/slaves
[csg@rjsoft-0001 hadoop]$ vi slaves

文件中添加(三台机器都需要添加)

rjsoft-0001
rjsoft-0002
rjsoft-0003

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

集群启动

1、单节点启动

1.     单节点hadoop的启动与停止：
参考网址：https://www.cnblogs.com/xym4869/p/8821312.html

进入hadoop目录：

格式化NameNode：    bin/hdfs namenode -format（只有第一次启动需要进行格式化操作）

启动NameNode：      sbin/hadoop-daemon.sh start namenode

启动DataNode：       sbin/hadoop-daemon.sh start datanode

查看是否启动成功：    jps

停止NameNode：      sbin/hadoop-daemons.sh stop namenode

停止DataNode：       sbin/hadoop-daemons.sh stop dataname

使用web端进行访问：http://IP地址:50070
新版本的是9870

yarn

单节点启动YARN并运行MapReduce程序
1)    首先确保启动NameNode和DataNode
2)    启动ResourceManager    sbin/yarn-daemon.sh start resourcemanager
3)    启动NodeManager       sbin/yarn-daemon.sh start nodemanager
4)    关闭ResourceManager    sbin/yarn-daemon.sh stop resourcemanager
5)    关闭NodeManager       sbin/yarn-daemon.sh stop nodemanager
6)    YARN的浏览器页面查看：http:// IP地址:8088/cluster

2、集群启动

进入hadoop目录sbin目录下

（1）整体启动/停止HDFS

              start-dfs.sh   /  stop-dfs.sh

（2）整体启动/停止YARN

              start-yarn.sh  /  stop-yarn.sh