zoukankan      html  css  js  c++  java
  • 822每周总结

    这一周开始安装Hadoop的完全分布式运行模式。

    首先介绍下Hadoop的运行模式:

    Hadoop 运行模式包括: 本地模式、 伪分布式模式以及 完全分布式模式。
     本地模式:单机运行,只是用来演示一下官方案例。生产环境不用。

    伪分布式模式:也是单机运行,但是具备 Hadoop 集群的所有功能,一台服务器模
    拟一个分布式的环境。个别缺钱的公司用来测试,生产环境不用。
     完全分布式模式:多台服务器组成分布式环境。生产环境使用。

    我在视频中学习的是完全分布式安装:

    编写集群分发脚本 xsync
    1 )scp (secure copy ) 安全 拷贝
    (1)scp 定义
    scp 可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)
    (2)基本语法
    scp -r $pdir/$fname $user@$host:$pdir/$fname
    命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称
    (3)案例实操
    ➢ 前提:在 hadoop102、hadoop103、hadoop104 都已经创建好的/opt/module、
    /opt/software 两个目录,并且已经把这两个目录修改为 atguigu:atguigu
    [atguigu@hadoop102 ~]$ sudo chown atguigu:atguigu -R
    /opt/module
    (a)在 hadoop102 上,将 hadoop102 中/opt/module/jdk1.8.0_212 目录拷贝到
    hadoop103 上。
    [atguigu@hadoop102 ~]$ scp -r /opt/module/jdk1.8.0_212
    atguigu@hadoop103:/opt/module
    (b)在 hadoop103 上,将 hadoop102 中/opt/module/hadoop-3.1.3 目录拷贝到
    hadoop103 上。
    [atguigu@hadoop103 ~]$ scp -r
    atguigu@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/
    (c)在 hadoop103 上操作,将 hadoop102 中/opt/module 目录下所有目录拷贝到
    hadoop104 上。
    [atguigu@hadoop103 opt]$ scp -r
    atguigu@hadoop102:/opt/module/*
    atguigu@hadoop104:/opt/module
    2 )rsync 远程 同步 工具
    rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
    rsync 和 scp 区别:用 rsync 做文件的复制要比 scp 的速度快,rsync 只对差异文件做更
    新。scp 是把所有文件都复制过去。

    1)基本语法
    rsync -av $pdir/$fname $user@$host:$pdir/$fname
    命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称
    选项参数说明
    选项 功能
    -a 归档拷贝
    -v 显示复制过程
    (2)案例实操
    (a)删除 hadoop103 中/opt/module/hadoop-3.1.3/wcinput
    [atguigu@hadoop103 hadoop-3.1.3]$ rm -rf wcinput/
    (b)同步 hadoop102 中的/opt/module/hadoop-3.1.3 到 hadoop103
    [atguigu@hadoop102 module]$ rsync -av hadoop-3.1.3/
    atguigu@hadoop103:/opt/module/hadoop-3.1.3/

    xsync 集群分发 脚本
    (1)需求:循环复制文件到所有节点的相同目录下
    (2)需求分析:
    (a)rsync 命令原始拷贝:
    rsync -av /opt/module atguigu@hadoop103:/opt/
    (b)期望脚本:
    xsync 要同步的文件名称
    (c)期望脚本在任何路径都能使用(脚本放在声明了全局环境变量的路径)
    [atguigu@hadoop102 ~]$ echo $PATH
    /usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/atgu
    igu/.local/bin:/home/atguigu/bin:/opt/module/jdk1.8.0_212/bi
    n
    (3)脚本实现
    (a)在/home/atguigu/bin 目录下创建 xsync 文件
    [atguigu@hadoop102 opt]$ cd /home/atguigu
    [atguigu@hadoop102 ~]$ mkdir bin
    [atguigu@hadoop102 ~]$ cd bin
    [atguigu@hadoop102 bin]$ vim xsync
    在该文件中编写如下代码
    #!/bin/bash
    #1. 判断参数个数
    if [ $# -lt 1 ]
    then
    echo Not Enough Arguement!
    exit;
    fi

    #2. 遍历集群所有机器
    for host in hadoop102 hadoop103 hadoop104
    do
    echo ==================== $host ====================
    #3. 遍历所有目录,挨个发送
    for file in $@
    do
    #4. 判断文件是否存在
    if [ -e $file ]
    then
    #5. 获取父目录
    pdir=$(cd -P $(dirname $file); pwd)
    #6. 获取当前文件的名称
    fname=$(basename $file)
    ssh $host "mkdir -p $pdir"
    rsync -av $pdir/$fname $host:$pdir
    else
    echo $file does not exists!
    fi
    done
    done
    (b)修改脚本 xsync 具有执行权限
    [atguigu@hadoop102 bin]$ chmod +x xsync
    (c)测试脚本
    [atguigu@hadoop102 ~]$ xsync /home/atguigu/bin
    (d)将脚本复制到/bin 中,以便全局调用
    [atguigu@hadoop102 bin]$ sudo cp xsync /bin/
    (e)同步环境变量配置(root 所有者)
    [atguigu@hadoop102 ~]$ sudo ./bin/xsync
    /etc/profile.d/my_env.sh
    注意:如果用了 sudo,那么 xsync 一定要给它的路径补全。
    让环境变量生效
    [atguigu@hadoop103 bin]$ source /etc/profile
    [atguigu@hadoop104 opt]$ source /etc/profile

     SSH 无密登录 配置

    1 )置 配置 ssh
    (1)基本语法
    ssh 另一台电脑的 IP 地址
    (2)ssh 连接时出现 Host key verification failed 的解决方法
    [atguigu@hadoop102 ~]$ ssh hadoop103
     如果出现如下内容
    Are you sure you want to continue connecting (yes/no)?

    输入 yes,并回车
    (3)退回到 hadoop102
    [atguigu@hadoop103 ~]$ exit

    生成公钥和私钥
    [atguigu@hadoop102 .ssh]$ pwd
    /home/atguigu/.ssh
    [atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa

    然后敲(三个回车),就会生成两个文件 id_rsa(私钥)、id_rsa.pub(公钥)
    (3)将公钥拷贝到要免密登录的目标机器上
    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102
    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103
    [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104
    注意:
    还需要在 hadoop103 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、
    hadoop104 服务器上。
    还需要在 hadoop104 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、
    hadoop104 服务器上。
    还需要在 hadoop102 上采用 root 账号,配置一下无密登录到 hadoop102、hadoop103、
    hadoop104;

    1 ) 集群部署规划
    注意:
    ➢ NameNode 和 SecondaryNameNode 不要安装在同一台服务器
    ➢ ResourceManager 也很消耗内存,不要和 NameNode、SecondaryNameNode 配置在
    同一台机器上。
    hadoop102 hadoop103 hadoop104
    HDFS
    NameNode
    DataNode
    DataNode
    SecondaryNameNode
    DataNode
    YARN
    NodeManager
    ResourceManager
    NodeManager
    NodeManager
    2 )配置文件说明
    Hadoop 配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认
    配置值时,才需要修改自定义配置文件,更改相应属性值。
    (1)默认配置文件:
    要获取的默认文件 文件存放在 Hadoop 的 jar 包中的位置
    [core-default.xml] hadoop-common-3.1.3.jar/core-default.xml
    [hdfs-default.xml] hadoop-hdfs-3.1.3.jar/hdfs-default.xml
    [yarn-default.xml] hadoop-yarn-common-3.1.3.jar/yarn-default.xml
    [mapred-default.xml] hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml
    (2)自定义配置文件:
    core-site.xml 、hdfs-site.xml 、yarn-site.xml 、mapred-site.xml 四个配置文件存放在
    $HADOOP_HOME/etc/hadoop 这个路径上,用户可以根据项目需求重新进行修改配置。
    3 ) 配置 集群
    (1)核心配置文件
    配置 core-site.xml
    [atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop

    [atguigu@hadoop102 hadoop]$ vim core-site.xml
    文件内容如下:
    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
    <!-- 指定 NameNode 的地址 -->
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop102:8020</value>
    </property>
    <!-- 指定 hadoop 数据的存储目录 -->
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
    <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
    <property>
    <name>hadoop.http.staticuser.user</name>
    <value>atguigu</value>
    </property>
    </configuration>
    (2)HDFS 配置文件
    配置 hdfs-site.xml
    [atguigu@hadoop102 hadoop]$ vim hdfs-site.xml
    文件内容如下:
    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
    <!-- nn web 端访问地址-->
    <property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop102:9870</value>
    </property>
    <!-- 2nn web 端访问地址-->
    <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop104:9868</value>
    </property>
    </configuration>
    (3)YARN 配置文件
    配置 yarn-site.xml
    [atguigu@hadoop102 hadoop]$ vim yarn-site.xml
    文件内容如下:
    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <configuration>
    <!-- 指定 MR 走 shuffle -->
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定 ResourceManager 的地址-->
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop103</value>
    </property>
    <!-- 环境变量的继承 -->
    <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
    NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
    RED_HOME</value>
    </property>
    </configuration>
    (4)MapReduce 配置文件
    配置 mapred-site.xml
    [atguigu@hadoop102 hadoop]$ vim mapred-site.xml
    文件内容如下:
    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
    <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    </configuration>
    4 ) 在集群上分发配置好的 Hadoop 配置文件
    [atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-
    3.1.3/etc/hadoop/
    5 )去 去 103 和 104 上 查看文件分发情况
    [atguigu@hadoop103 ~]$ cat /opt/module/hadoop-
    3.1.3/etc/hadoop/core-site.xml
    [atguigu@hadoop104 ~]$ cat /opt/module/hadoop-
    3.1.3/etc/hadoop/core-site.xml

    <configuration>
    <!-- 指定 MR 走 shuffle -->
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定 ResourceManager 的地址-->
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop103</value>
    </property>
    <!-- 环境变量的继承 -->
    <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
    NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
    RED_HOME</value>
    </property>
    </configuration>
    (4)MapReduce 配置文件
    配置 mapred-site.xml
    [atguigu@hadoop102 hadoop]$ vim mapred-site.xml
    文件内容如下:
    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
    <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    </configuration>
    4 ) 在集群上分发配置好的 Hadoop 配置文件
    [atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-
    3.1.3/etc/hadoop/
    5 )去 去 103 和 104 上 查看文件分发情况
    [atguigu@hadoop103 ~]$ cat /opt/module/hadoop-
    3.1.3/etc/hadoop/core-site.xml
    [atguigu@hadoop104 ~]$ cat /opt/module/hadoop-
    3.1.3/etc/hadoop/core-site.xml

    群起集群

     配置 workers
    [atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-
    3.1.3/etc/hadoop/workers
    在该文件中增加如下内容:

    hadoop102
    hadoop103
    hadoop104
    注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
    同步所有节点配置文件
    [atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc
    2 ) 启动集群
    (1) 如果集群是第一次启动,需要在 hadoop102 节点格式化 NameNode(注意:格式
    化 NameNode,会产生新的集群 id,导致 NameNode 和 DataNode 的集群 id 不一致,集群找
    不到已往数据。如果集群在运行过程中报错,需要重新格式化 NameNode 的话,一定要先停
    止 namenode 和 datanode 进程,并且要删除所有机器的 data 和 logs 目录,然后再进行格式
    化。)
    [atguigu@hadoop102 hadoop-3.1.3]$ hdfs namenode -format
    (2)启动 HDFS
    [atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
    (3) 在配置了 ResourceManager 的节点 (hadoop103 )启动 YARN
    [atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
    (4)Web 端查看 HDFS 的 NameNode
    (a)浏览器中输入:http://hadoop102:9870
    (b)查看 HDFS 上存储的数据信息
    (5)Web 端查看 YARN 的 ResourceManager
    (a)浏览器中输入:http://hadoop103:8088
    (b)查看 YARN 上运行的 Job 信息
    3 ) 集群基本测试
    (1)上传文件到集群
    ➢ 上传小文件
    [atguigu@hadoop102 ~]$ hadoop fs -mkdir /input
    [atguigu@hadoop102 ~]$ hadoop fs -put
    $HADOOP_HOME/wcinput/word.txt /input
    ➢ 上传大文件
    [atguigu@hadoop102 ~]$ hadoop fs -put /opt/software/jdk-8u212-
    linux-x64.tar.gz /
    (2)上传文件后查看文件存放在什么位置
    ➢ 查看 HDFS 文件存储路径
    [atguigu@hadoop102 subdir0]$ pwd
    /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-
    192.168.10.102-1610603650062/current/finalized/subdir0/subdir0

    查看 HDFS 在磁盘存储文件内容
    [atguigu@hadoop102 subdir0]$ cat blk_1073741825
    hadoop yarn
    hadoop mapreduce
    atguigu
    atguigu
    (3)拼接
    -rw-rw-r--. 1 atguigu atguigu 134217728 5 月 23 16:01 blk_1073741836
    -rw-rw-r--. 1 atguigu atguigu 1048583 5 月 23 16:01 blk_1073741836_1012.meta
    -rw-rw-r--. 1 atguigu atguigu 63439959 5 月 23 16:01 blk_1073741837
    -rw-rw-r--. 1 atguigu atguigu 495635 5 月 23 16:01 blk_1073741837_1013.meta
    [atguigu@hadoop102 subdir0]$ cat blk_1073741836>>tmp.tar.gz
    [atguigu@hadoop102 subdir0]$ cat blk_1073741837>>tmp.tar.gz
    [atguigu@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz
    (4)下载
    [atguigu@hadoop104 software]$ hadoop fs -get /jdk-8u212-linux-
    x64.tar.gz ./
    (5)执行 wordcount 程序
    [atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar
    share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar
    wordcount /input /output
    3.2.6 配置历史服务器
    为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:
    1 )置 配置 mapred-site.xml
    [atguigu@hadoop102 hadoop]$ vim mapred-site.xml
    在该文件里面增加如下配置。
    <!-- 历史服务器端地址 -->
    <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
    </property>
    <!-- 历史服务器 web 端地址 -->
    <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
    </property>
    2 ) 分发配置
    [atguigu@hadoop102 hadoop]$ xsync
    $HADOOP_HOME/etc/hadoop/mapred-site.xml
    3 )在 在 hadoop102 启动历史服务器
    [atguigu@hadoop102 hadoop]$ mapred --daemon start historyserver
    4 ) 查看历史服务器是否启动
    [atguigu@hadoop102 hadoop]$ jps

    查看 JobHistory
    http://hadoop102:19888/jobhistory

    配置 yarn-site.xml
    [atguigu@hadoop102 hadoop]$ vim yarn-site.xml
    在该文件里面增加如下配置。
    <!-- 开启日志聚集功能 -->
    <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为 7 天 -->
    <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
    </property>
    2 ) 分发配置
    [atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-
    site.xml
    3 ) 关闭 NodeManager 、ResourceManager 和 和 HistoryServer
    [atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
    [atguigu@hadoop103 hadoop-3.1.3]$ mapred --daemon stop

    historyserver
    4 ) 启动 NodeManager 、ResourceManage 和 和 HistoryServer
    [atguigu@hadoop103 ~]$ start-yarn.sh
    [atguigu@hadoop102 ~]$ mapred --daemon start historyserver
    5 ) 删除 HDFS 上已经存在的 输出 文件
    [atguigu@hadoop102 ~]$ hadoop fs -rm -r /output
    6 ) 执行 WordCount 程序
    [atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar
    share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar
    wordcount /input /output

  • 相关阅读:
    Asp.net性能优化总结(一)
    Visual C#常用函数和方法集汇总
    ASP.net下大文件上传的解决方案及WebbUpload组件源码
    正则表达式学习
    在Asp.net中为图像加入版权信息
    Cognos 维度函数
    Cognos8.3函数使用手册(二)
    cognos更新步聚
    Cognos8.3函数使用手册(一)
    Cognos 8 报表备份和恢复
  • 原文地址:https://www.cnblogs.com/ruangongwangxiansheng/p/14161479.html
Copyright © 2011-2022 走看看