zoukankan      html  css  js  c++  java
  • Hadoop分布式集群搭建

    基于树莓派和台式机搭建集群,但是树莓派的性能特别差,不建议使用,但还是记录下来,拓展到多台机器大同小异。

    搭建过程参考厦门大学数据库实验室的网站。http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

    用到的设备有关Centos系统的笔记本,centos系统的树莓派两个,ubuntu的台式机一个,网线四根,交换机一个。

    安装总体过程:

    1. 选定一台机器作为 Master
    2. 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
    3. 在 Master 节点上安装 Hadoop,并完成配置
    4. 在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
    5. 将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
    6. 在 Master 节点上开启 Hadoop

    1.创建Hadoop账户

     如果你安装 CentOS 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 hadoop 的用户。

    打开终端

        su              # 上述提到的以 root 用户登录
        useradd -m hadoop -s /bin/bash   # 创建新用户hadoop
    

    接着使用如下命令修改密码,按提示输入两次密码,可简单的设为 “hadoop”(密码随意指定,若提示“无效的密码,过于简单”则再次输入确认就行):

    passwd hadoop
    

     可为 hadoop 用户增加管理员权限,方便部署,修改文件内容

        visudo
    

    添加上一行内容后,先按一下键盘上的 ESC 键,然后输入 :wq (输入冒号还有wq,这是vi/vim编辑器的保存方法),再按回车键保存退出就可以了。

     最后注销当前用户(点击屏幕右上角的用户名,选择退出->注销),在登陆界面使用刚创建的 hadoop 用户进行登陆。(如果已经是 hadoop 用户,且在终端中使用 su 登录了 root 用户,那么需要执行 exit 退出 root 用户状态)

    2安装SSH

    集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),一般情况下,CentOS 默认已安装了 SSH client、SSH server

     若需要安装,则可以通过 yum 进行安装(安装过程中会让你输入 [y/N],输入 y 即可):

        sudo yum install openssh-clients
        sudo yum install openssh-server
    

     接着执行如下命令测试一下 SSH 是否可用:

        ssh localhost
    

    此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码 hadoop,这样就登陆到本机了。 

    但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。

    首先输入 exit 退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:

        exit                           # 退出刚才的 ssh localhost
        cd ~/.ssh/                     # 若没有该目录,请先执行一次ssh localhost
        ssh-keygen -t rsa              # 会有提示,都按回车就可以
        cat id_rsa.pub >> authorized_keys  # 加入授权
        chmod 600 ./authorized_keys    # 修改文件权限
    

    此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了,如下图所示。

    3安装Java

        sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel
    

     查看安装路径,红色以前的部分为安装路径

    rpm -ql java-1.7.0-openjdk-devel | grep '/bin/javac'
    
    
    

     

    接着需要配置一下 JAVA_HOME 环境变量,为方便,我们在 ~/.bashrc 中进行设置

        vim ~/.bashrc
    

    在文件最后面添加如下单独一行(指向 JDK 的安装位置),并保存下面的第一行:

     

    使变量生效

        source ~/.bashrc    # 使变量设置生效
    

     检验是否正确

    echo $JAVA_HOME     # 检验变量值
    java -version
    $JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样
    

     

    此时,其他的节点也要作如上的操作。

    4配置局域网

    使用交换机和网线将电脑连接起来。

    添加网络,配置ip,每个节点都要设置网络,例如主节点设置的ip为192.168.0.1,其他节点可以三192.168.0.2等,子网掩码为255.255.255.0,网关设置为和主节点的ip一样。

    添加完后可以ping命令,,检查是否在一个局域网内。

    为了便于区分,可以修改各个节点的主机名(在终端标题、命令行中可以看到主机名,以便区分)。在 Ubuntu/CentOS 7 中,我们在 Master 节点上执行如下命令修改主机名(即改为 Master,注意是区分大小写的):

        sudo vim /etc/hostname
    

     

    然后执行如下命令修改自己所用节点的IP映射:

        sudo vim /etc/hosts
    

     

    我们在 /etc/hosts 中将该映射关系填写上去即可,如下图所示(一般该文件中只有一个 127.0.0.1,其对应名为 localhost,如果有多余的应删除,特别是不能有 “127.0.0.1 Master” 这样的记录).

    修改完成后需要重启一下,重启后在终端中才会看到机器名的变化。接下来的教程中请注意区分 Master 节点与 Slave 节点的操作。

    需要在所有节点上完成网络配置。如上面讲的是 Master 节点的配置,而在其他的 Slave 节点上,也要对 /etc/hostname(修改为 Slave1、Slave2 等) 和 /etc/hosts(跟 Master 的配置一样)这两个文件进行修改!继续下一步配置前,请先完成所有节点的网络配置,修改过主机名的话需重启才能生效

    5 SSH无密码登陆节点

    这个操作是要让 Master 节点可以无密码 SSH 登陆到各个 Slave 节点上。

    首先生成 Master 节点的公匙,在 Master 节点的终端中执行(因为改过主机名,所以还需要删掉原有的再重新生成一次):

    cd ~/.ssh               # 如果没有该目录,先执行一次ssh localhost
    rm ./id_rsa*            # 删除之前生成的公匙(如果有)
    ssh-keygen -t rsa       # 一直按回车就可以
    

     在Master节点上运行

        cat ./id_rsa.pub >> ./authorized_keys
    

     完成后可执行 ssh Master 验证一下(可能需要输入 yes,成功后执行 exit 返回原来的终端)。接着在 Master 节点将上公匙传输到 全部的Slave 节点:

        scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/
    

    scp 是 secure copy 的简写,用于在 Linux 下进行远程拷贝文件,类似于 cp 命令,不过 cp 只能在本机中拷贝。执行 scp 时会要求输入 Slave1 上 hadoop 用户的密码(hadoop),输入完成后会提示传输完毕。

    接着在 Slave1 节点上,将 ssh 公匙加入授权:

    mkdir ~/.ssh       # 如果不存在该文件夹需先创建,若已存在则忽略
    cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
    rm ~/id_rsa.pub    # 用完就可以删掉了
    

    如果有其他 Slave 节点,也要执行将 Master 公匙传输到 Slave 节点、在 Slave 节点上加入授权这两步。

    这样,在 Master 节点上就可以无密码 SSH 到各个 Slave 节点了,可在 Master 节点上执行如下命令进行检验,如下图所示:

    6安装Hadoop

    下载时请下载 hadoop-2.x.y.tar.gz 这个格式的文件,这是编译好的

    我们选择将 Hadoop 安装至 /usr/local/ 中:

    sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local    # 解压到/usr/local中
    cd /usr/local/
    sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop
    sudo chown -R hadoop:hadoop ./hadoop        # 修改文件权限
    

    Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息: 

    cd /usr/local/hadoop
    ./bin/hadoop version
    

     

    将 Hadoop 安装目录加入 PATH 变量中,这样就可以在任意目录中直接使用 hadoo、hdfs 等命令了,如果还没有配置的,需要在 Master 节点上进行配置。首先执行 vim ~/.bashrc,加入一行:

    export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
    

     保存后执行 source ~/.bashrc 使配置生效。

    7配置集群/分布式环境

    集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件,更多设置项可点击查看官方说明,这里仅设置了正常启动所必须的设置项: slaves、core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml

    1, 文件 slaves,将作为 DataNode 的主机名写入该文件,每行一个,默认为 localhost,所以在伪分布式配置时,节点即作为 NameNode 也作为 DataNode。分布式配置可以保留 localhost,也可以删掉,让 Master 节点仅作为 NameNode 使用。

    本教程让 Master 节点仅作为 NameNode 使用,因此将文件中原来的 localhost 删除,只添加一行内容:Slave1。

    2, 文件 core-site.xml 改为下面的配置:

    <configuration>
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://Master:9000</value>
            </property>
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>file:/usr/local/hadoop/tmp</value>
                    <description>Abase for other temporary directories.</description>
            </property>
    </configuration>

    3, 文件 hdfs-site.xml,dfs.replication 一般设为 3,但我们只有一个 Slave 节点,所以 dfs.replication 的值还是设为 1:

    <configuration>
            <property>
                    <name>dfs.namenode.secondary.http-address</name>
                    <value>Master:50090</value>
            </property>
            <property>
                    <name>dfs.replication</name>
                    <value>1</value>
            </property>
            <property>
                    <name>dfs.namenode.name.dir</name>
                    <value>file:/usr/local/hadoop/tmp/dfs/name</value>
            </property>
            <property>
                    <name>dfs.datanode.data.dir</name>
                    <value>file:/usr/local/hadoop/tmp/dfs/data</value>
            </property>
    </configuration>

    4, 文件 mapred-site.xml (可能需要先重命名,默认文件名为 mapred-site.xml.template),然后配置修改如下:

    <configuration>
            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
            <property>
                    <name>mapreduce.jobhistory.address</name>
                    <value>Master:10020</value>
            </property>
            <property>
                    <name>mapreduce.jobhistory.webapp.address</name>
                    <value>Master:19888</value>
            </property>
    </configuration>

    5, 文件 yarn-site.xml

    <configuration>
            <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>Master</value>
            </property>
            <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
            </property>
    </configuration>

    配置好后,将 Master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。因为之前有跑过伪分布式模式,建议在切换到集群模式前先删除之前的临时文件。在 Master 节点上执行:

    cd /usr/local
    sudo rm -r ./hadoop/tmp     # 删除 Hadoop 临时文件
    sudo rm -r ./hadoop/logs/*   # 删除日志文件
    tar -zcf ~/hadoop.master.tar.gz ./hadoop   # 先压缩再复制
    cd ~
    scp ./hadoop.master.tar.gz Slave1:/home/hadoop
    

     在 Slave1 节点上执行:注意上面最后一行的Slave1,其他节点可改为Slave2,3,4等,同样下面也要在不同的节点允许

    sudo rm -r /usr/local/hadoop    # 删掉旧的(如果存在)
    sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
    sudo chown -R hadoop /usr/local/hadoop
    

    同样,如果有其他 Slave 节点,也要执行将 hadoop.master.tar.gz 传输到 Slave 节点、在 Slave 节点解压文件的操作。

    首次启动需要先在 Master 节点执行 NameNode 的格式化:

        hdfs namenode -format       # 首次运行需要执行初始化,之后不需要

    关闭防火墙centos7

    systemctl stop firewalld.service    # 关闭firewall
    systemctl disable firewalld.service # 禁止firewall开机启动

    接着可以启动 hadoop 了,启动需要在 Master 节点上进行:

    start-dfs.sh
    start-yarn.sh
    mr-jobhistory-daemon.sh start historyserver

     通过命令 jps 可以查看各个节点所启动的进程。正确的话,在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程,如下图所示:

    缺少任一进程都表示出错。另外还需要在 Master 节点上通过命令 hdfs dfsadmin -report 查看 DataNode 是否正常启动,如果 Live datanodes 不为 0 ,则说明集群启动成功。例如我这边一共有 3个 Datanodes:

     

    伪分布式、分布式配置切换时的注意事项

    1, 从分布式切换到伪分布式时,不要忘记修改 slaves 配置文件;
    2, 在两者之间切换时,若遇到无法正常启动的情况,可以删除所涉及节点的临时文件夹,这样虽然之前的数据会被删掉,但能保证集群正确启动。所以如果集群以前能启动,但后来启动不了,特别是 DataNode 无法启动,不妨试着删除所有节点(包括 Slave 节点)上的 /usr/local/hadoop/tmp 文件夹,再重新执行一次 hdfs namenode -format,再次启动试试。

    8运行示例

    以wordcount为例

    在Master的home文件夹,建立file文件夹,里面放几个文本文件。可参考网上的教程

    #新建文件夹
    hadoop fs -mkdir input2
    #查看文件夹
    hadoop fs -ls
    #将home文件夹中的file1文件夹内的文件放到input2中 hadoop fs
    -put ~/file1/file*.txt input2 #允许wordcount示例程序,输出到output3中,需要自定义,更改文件夹名称 hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar wordcount input2 output3 #将结果输出,更改路径 hadoop fs -cat output3/part-r-00000

    有树莓派时,运行较慢

    把连接树莓派的网线去掉,并stop-all.sh,start-all.sh重新启动hadoop

    如果在安全模式,则可以等待或者强制关闭安全模式

    hadoop dfsadmin -safemode leave

    重启hadoop只有一个datanode,只需要二十几s即可计算完毕。

    查看结果,这个文件是Centos的浏览器欢迎界面复制了很多遍,因此单词个数很有规律。

     可以想象,如果硬件配置更好,节点更多时,处理效率会更高。被树莓派折腾了好久,折腾了树莓派好久。

     9 问题集锦

    1. 问题:卡住没有mapreduce进度,且DataNode节点Java进程占用大量CPU

    解决方案:在master节点关闭Hadoop集群,在slave节点用top命令查看Java是否大量占用内存,如果占用则根据其pid关闭进程,即kill 32540(32540为pid,下图的红圈所示),再次启动Hadoop集群,且注意输出目录不要和已经存在的目录的重复。

  • 相关阅读:
    mysql 15道语句练习题
    分组查询以及where和having的区别
    java初学复习
    Working with Excel Files in Python
    PIP常用命令
    pip install 提示代理连接失败原因及解决办法
    关于Encode in UTF-8 without BOM
    360极速浏览器Onetab插件存储位置
    使用夜神模拟器录制脚本
    微信小程序开发经验总结
  • 原文地址:https://www.cnblogs.com/skyturtle/p/9979413.html
Copyright © 2011-2022 走看看