Hadoop运行模式

重要：信息用原生JDK坑太多了，所以卸掉，安装自己的JDK

参考博客：https://www.cnblogs.com/jpfss/p/9677827.html

官方：https://hadoop.apache.org/

文档：http://hadoop.apache.org/docs/r2.7.7/

一、本地模式(在hadoop目录下进行)

注意：output不能提前存在

1、官方Grep案例

mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep input output 'dfs[a-z.]+'
cat output/*

在自己的虚拟机上运行有点慢

2、官方WordCount案例

# 创建文件夹
mkdir wcinput
# 向文件写入内容
cd wcinput
touch wc.input
vim wc.input
    hadoop yarn
    hadoop mapreduce
    tom
    tom
    tom
# 运行
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount wcinput wcoutput

主要作用：查找wc.input 文件中 相同单词 出现的次数(wordcount)

二、伪分布式模式

A、启动HDFS并运行MapReduce程序

1、配置集群

a、配置：hadoop-nev.sh

# 获取JAVA_HOME的路径
echo $JAVA_HOME
# 修改文件
vim etc/hadoop/hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre

b、配置：core-site.xml文件

vim etc/hadoop/core-site.xml

<!-- 指定HDFS的NameNode -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.7/data/tmp</value>
    </property>

c、配置：hdfs-site.xml文件(配不配置都行)

vim etc/hadoop/hdfs-site.xml

<!--指定HDFS的副本数量-->
<property>
      <name>dfs.replication</name>
      <value>1</value>
 </property>    

注意：默认副本数是3

2、启动集群

a、格式化NameNode(第一次启动时格式化，以后就不要总格式化)

bin/hdfs namenode -format

b、启动NameNode

sbin/hadoop-daemon.sh start namenode

c、启动DataNode

sbin/hadoop-daemon.sh start datanode

d、查看进程

jps

3、运行MapReduce程序

a、访问：http://linuxip:50070

b、Browse Directory

1)、创建目录

 bin/hdfs dfs -mkdir -p /usr/tom/input

dfs后执行类linux命令

2)、执行WordCount

# push liunx的文件到HDFS
bin/hdfs dfs -put wcinput/wc.input /usr/tom/input
# 执行
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /usr/tom/input /usr/tom/output
# 查看结果
bin/hdfs dfs -cat /usr/tom/output/*

问题：

1、bash: jps: command not found...

解决方案：

# 切换到 root 用户，创建软链接
su root
ln -s /opt/module/jdk1.8.0_144/bin/jps /usr/local/bin/jps

2、访问网页50070端口失败

http://192.168.8.128:50070/

解决方案：https://www.cnblogs.com/wt7018/p/13550118.html

3、格式化NameNode

# 1、查看进程
jps
# 2、杀死 namenode 和 datanode
# 3、删除tmp文件，路径为自己修改的路径

 B、启动YARN并运行MapReduce程序

1、配置集群

a、配置 yarn-env.sh

vim etc/hadoop/yarn-env.sh

# 获取路径
echo $JAVA_HOME

# 取消注释，修改 路径
export JAVA_HOME=/opt/module/jdk1.8.0_261

b、配置 yarn-site.xml

vim etc/hadoop/yarn-site.xml

<!-- Reducer 获取数据的存储方式-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManage 的地址-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>wt.com</value>
</property>

 c、配置 mapred-env.sh

# 1.获取路径
echo $JAVA_HOME
# 2.修改配置文件
vim etc/hadoop/mapred-env.sh
# 3.取消注释和修改路径
export JAVA_HOME=/opt/module/jdk1.8.0_261

d、配置 mapred-site.xml

# 0.切换目录
cd /opt/module/hadoop-2.7.7/etc/hadoop
# 1.修改名称名称
mv mapred-site.xml.template mapred-site.xml
# 2.修改配置文件
vim mapred-site.xml
<!--指定MapReduce运行在YARN上-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

2、启动集群

前提条件 NameNode和DataNode已经启动

a、开启ResourceManage

sbin/yarn-daemon.sh start resourcemanager

b、开启nodemanage

sbin/yarn-daemon.sh start nodemanager

c、查看

jps

3、运行MapReduence

a、打开http://192.168.8.128:8088，报错，解决打开8088 port

b、运行

# 1. 创建文件夹
bin/hdfs dfs -mkdir -p /usr/tom/input
# 2. 推文件到上面
bin/hdfs dfs -put wcinput/wc.input /usr/tom/input
# 3. 运行
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /usr/tom/input /usr/tom/output

注意：运行的时候，刷新 http://192.168.8.128:8088/cluster 网页 查看变化

 3、配置历史服务器

a、配置 mapred-site.xml

<!--历史服务器端地址-->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>wt.com:10020</value>
</property>
<!--历史服务器web端地址-->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>wt.com:19888</value>
</property>

2、启动历史服务器

sbin/mr-jobhistory-daemon.sh start historyserver

3、开启端口 19888

4、查看jobhistory

http://wt.com:19888/jobhistory

C、配置日志的聚集

注意：开启日志聚集功能，需要重新启动 HistoryManager、ResourceManager、NodeManager

1、配置 yarn-site.xml

vim yarn-site.xml

<!-- 日志聚集功能使用 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置为 7 天-->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2、关闭 NodeManager、ResourceManager、HistoryManager

sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
sbin/yarn-daemon.sh stop historyserver

3、启动 NodeManager、ResourceManager、HistoryServer

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/yarn-daemon.sh start historyserver

4、删除 HDFS 上已经存在的输出文件

bin/hdfs dfs -rm -r /usr/tom/output

5、执行 WordCount 程序

6、查看日志

三、完全分布式模式

注意：

1、HDFS NmaeNode 只要有 1 个 即可， SecondaryNameNode和 NameNode 不能存储到 1 个节点

2、HDFS DataNode存储在所有节点上

3、NmaeNode 和 ResourceManager 不能存放到 1 个 节点

4、Nodemanager 存储到所有节点

A、分析

1、虚拟机准备

2、安装JDK并配置环境变量

3、安装Hadoop并配置环境变量

4、配置集群

5、单点启动

6、配置 ssh

7、群起并测试集群

B、编写集群分发脚本 xsync  看 xsync即可

1、scp(secure copy) 安全copy

a、scp定义：

scp实现服务器与服务器之间的数据拷贝

b、基本语法：

scp    -r        $pdir/$fname               $user@hadoop$host:$pdor/$fname
命令   递归      要拷贝的文件路径/名称        目的用户@主机:目的路径/名称

c、案例实操(安装JDK并配置、安装Hadoop并配置)

0)、推　　从wt.com -> wt1.com

scp -r /opt/module root@wt1.com:/opt/module

0)、拉　　wt2.com <- wt.com

sudo scp  -r  tom@wt.com:/opt/module  ./

0)、第三方(wt2.com) 操作 wt1.com -> wt3.com

scp  -r  tom@wt.com:/opt/module  root@wt3.com:/opt/module

1)、修改 文件 所有者 所有组

sudo chown tom:tom module/  -R

2)、推送 profile

scp /etc/profile root@wt1.com:/etc/profile

3)、重新加载 profile

source /etc/profile

2、rsync 远程同步工具

rsync主要用于备份和镜像。且速度快、避免复制相同内容和支持符号链接的优点

a、基本语法

rsync    -rvl         $pid/$fname              $user@hadoop$host:$pid/$fname
命令     选项参数     要拷贝的文件路径/名称      目的用户@主机:目的路径/名称


-r    递归
-v    显示过程
-l    拷贝软连接

b、案例实操

rsync  -rvl  /opt/test.txt       root@wt1.com:/opt

 区别：rsync 速度比 scp快，rsync 后面不用加 路径/文件；scp 后面加 路径/文件

3、xsync 集群分发脚本

a、/home/tom 目录下创建bin目录，并在bin目录下创建xsync文件

cd /home/tom
mkdir bin
vim xsync

b、xsync代码

#!/bin/bash
# 1.获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
# 2. 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
# 3. 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
# 4. 获取当前用户名称
user=`whoami`
# 5. 循环
for((host=1; host<3; host++)); do
    echo ------------- hadoop$host -----------------
    rsync -rvl $pdir/$fname $user@wt$host.com:$pdir
done

注意：wt是linux的主机名称

c、修改权限

chmod +777 xsync

d、运行

xsync /home/tom/bin
xsync 指定目录

 注意：把xsync放到 /home/tom/bin 目录不被识别，放到 /usr/local/bin 目录下

            wt.com         wt1.com            wt2.com                   
======================================================================
HDFS        NameNode                          SecondaryNameNode                       
            DataNode       DataNode           DataNode                                            
======================================================================
                           ResourceManager                                   
YARN                       NodeManager                                   
            NodeManager                       NodeManager            
======================================================================
注意：NameNode 和 ResourceManager 消耗内存较大，因此，不能在同一个节点上

4、集群配置

a、核心配置文件

vim core-site.xml
<!-- 指定HDFS的NameNode -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://wt.com:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.7/data/tmp</value>
</property>

b、HDFS 配置文件

1)、配置hadoop-env.sh

vim hadoop-env.sh
export JAVA_HOME=java安装路径

2)、配置hdfs-site.xml

vim hdfs-site.xml
<!-- 指定 Hadoop 辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop104:50090</value>
</property>

 c、YARN 配置文件

1)、配置 yarn-env.sh

vim yarn-env.sh
export JAVA_HOME=java路径

2)、配置 yarn-site.xml

vim etc/hadoop/yarn-site.xml
<!-- Reducer 获取数据的存储方式-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManage 的地址-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>wt1.com</value>
</property>

d、MapReduce 配置文件

1)、配置 mapred-env.sh

vim mapred-env.sh
export JAVA_HONE=java安装路径

2)、配置 mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

e、在集群上发布配置好的 Hadoop 配置文件

xsync /opt/module/hadoop-2.7.7

f、查看文件分发情况

另外两台节点的 core-site.xml

5、SSH无密登录

# wt.com (NameNode)
cd ~
ls -al
cd .ssh/
ssh-keygen -t rsa (三次回车)
ssh-copy-id wt1.com
ssh-copy-id wt2.com
ssh-copy-id wt.com
# 配置root
su root
cd ~
cd .ssh/
ssh-keygen -t rsa (三次回车)
ssh-copy-id wt1.com
ssh-copy-id wt2.com
ssh-copy-id wt.com
 
# wt1.com (ResourceManager)
cd ~
ls -al
cd .ssh/
ssh-keygen -t rsa (三次回车)
ssh-copy-id wt2.com
ssh-copy-id wt.com
ssh-copy-id wt1.com

6、集群单节点启动

1、删除所有节点的 data logs
rm -rf data/ logs/
2、格式化NameNode
bin/hdfs namenode -format
3、启动
sbin/start-dfs.sh 

7、群起集群

# a、配置slaves
# 打开slaves文件
vim etc/hadoop/slaves
# 增加相应的节点, 不允许有空格，不允许有空行
wt.com
wt1.com
wt2.com
# b、同步更新
xsync slaves
# c、群起，启动dfs 在NmaeNode的节点； 启动Yarn 在ResourceManager的节点
sbin/start-dfs.sh
sbin/start-yarn.sh

 8、集群基本测试

# 集群文件存储路径
1、上传小文件
bin/hdfs dfs -put wcinput.wc,input /
2、上传大文件
bin/hdfs dfs -put /opt/software/hadoop-2.7.7.tar.gz /

9、集群启动/停止方式总结

# 单点启动
# 1、启动/停止 HDFS
hadoop-daemon.sh start/stop namenode/datanode/secondarynode
# 2、启动/停止 YARN
yarn-daemon.sh start/stop resourcemanager/nodemanager

# 群启
# 1、 启动/停止 HDFS 
start-dfs.sh/stop-dfs.sh
# 2、 启动/停止 YARN
start-yarn.sh/stop-yarn.sh