zoukankan      html  css  js  c++  java
  • Linux环境下HDFS集群环境搭建关键步骤

    Linux环境下HDFS集群环境搭建关键步骤记录。

    介质版本:hadoop-2.7.3.tar.gz

    节点数量:3节点。

    一、下载安装介质

    官网下载地址:http://hadoop.apache.org/releases.html

    二、服务器规划

    MASTER:NAMENODE, DATANODE
    NODE1:DATANODE
    NODE2:SECONDARY NAMENODE, DATANODE

    三、配置hostname和hosts

    192.168.13.4 master
    192.168.13.5 node1
    192.168.13.2 node2

    四、上传解压

    将下载的安装介质上传至服务器并解压。

    解压:tar zxvf hadoop-2.7.3.tar.gz

    五、创建数据目录

    mkdir /data/HDFS_DATAS
    mkdir -p /data/HDFS_DATAS/data/tmp
    chmod -R 755 HDFS_DATAS/

    六、修改配置文件

    配置core-site.xml
    配置hdfs-site.xml
    配置hadoop-env.sh
    /usr/lib/jvm/java-8-openjdk-arm64/bin/java
    /usr/lib/jvm/java-1.7.0-openjdk-arm64/bin/java
    配置slaves

    七、SSH免登录

    ssh-keygen -t rsa
    ssh-copy-id 192.168.13.6
    ssh-copy-id 192.168.13.7
    ssh-copy-id 192.168.13.8

    八、SCP分发

    scp -r hadoop-2.7.3/ root@192.168.13.5:/opt/
    scp -r hadoop-2.7.3/ root@192.168.13.2:/opt/

    九、格式化NameNode

    ./hadoop namenode -format

    十、启动停止HDFS服务

    cd <Hadoop_ROOT>/sbin

    ./start-dfs.sh

    ./stop-dfs.sh

  • 相关阅读:
    分苹果
    马拉车算法(求最长回文子串)
    KMP
    字典树
    关于子类和父类中的this的用法
    最长上生子序列LIS
    sass
    黑马程序员----java基础笔记下(毕向东)
    DOM
    ajax教程
  • 原文地址:https://www.cnblogs.com/xusweeter/p/9164807.html
Copyright © 2011-2022 走看看