zoukankan      html  css  js  c++  java
  • Linux环境下HDFS集群环境搭建关键步骤

    Linux环境下HDFS集群环境搭建关键步骤记录。

    介质版本:hadoop-2.7.3.tar.gz

    节点数量:3节点。

    一、下载安装介质

    官网下载地址:http://hadoop.apache.org/releases.html

    二、服务器规划

    MASTER:NAMENODE, DATANODE
    NODE1:DATANODE
    NODE2:SECONDARY NAMENODE, DATANODE

    三、配置hostname和hosts

    192.168.13.4 master
    192.168.13.5 node1
    192.168.13.2 node2

    四、上传解压

    将下载的安装介质上传至服务器并解压。

    解压:tar zxvf hadoop-2.7.3.tar.gz

    五、创建数据目录

    mkdir /data/HDFS_DATAS
    mkdir -p /data/HDFS_DATAS/data/tmp
    chmod -R 755 HDFS_DATAS/

    六、修改配置文件

    配置core-site.xml
    配置hdfs-site.xml
    配置hadoop-env.sh
    /usr/lib/jvm/java-8-openjdk-arm64/bin/java
    /usr/lib/jvm/java-1.7.0-openjdk-arm64/bin/java
    配置slaves

    七、SSH免登录

    ssh-keygen -t rsa
    ssh-copy-id 192.168.13.6
    ssh-copy-id 192.168.13.7
    ssh-copy-id 192.168.13.8

    八、SCP分发

    scp -r hadoop-2.7.3/ root@192.168.13.5:/opt/
    scp -r hadoop-2.7.3/ root@192.168.13.2:/opt/

    九、格式化NameNode

    ./hadoop namenode -format

    十、启动停止HDFS服务

    cd <Hadoop_ROOT>/sbin

    ./start-dfs.sh

    ./stop-dfs.sh

  • 相关阅读:
    VS 快捷键
    vue 本地环境API代理设置和解决跨域
    vue-cli 项目配置
    stylus 使用小技巧(1)
    vue 初始化rem
    vue element-ui NavMenu错位问题
    vue 数字输入组件
    vue X-Template
    vue 异步组件
    vue 非父子组件通信
  • 原文地址:https://www.cnblogs.com/xusweeter/p/9164807.html
Copyright © 2011-2022 走看看