zoukankan      html  css  js  c++  java
  • Linux环境下HDFS集群环境搭建关键步骤

    Linux环境下HDFS集群环境搭建关键步骤记录。

    介质版本:hadoop-2.7.3.tar.gz

    节点数量:3节点。

    一、下载安装介质

    官网下载地址:http://hadoop.apache.org/releases.html

    二、服务器规划

    MASTER:NAMENODE, DATANODE
    NODE1:DATANODE
    NODE2:SECONDARY NAMENODE, DATANODE

    三、配置hostname和hosts

    192.168.13.4 master
    192.168.13.5 node1
    192.168.13.2 node2

    四、上传解压

    将下载的安装介质上传至服务器并解压。

    解压:tar zxvf hadoop-2.7.3.tar.gz

    五、创建数据目录

    mkdir /data/HDFS_DATAS
    mkdir -p /data/HDFS_DATAS/data/tmp
    chmod -R 755 HDFS_DATAS/

    六、修改配置文件

    配置core-site.xml
    配置hdfs-site.xml
    配置hadoop-env.sh
    /usr/lib/jvm/java-8-openjdk-arm64/bin/java
    /usr/lib/jvm/java-1.7.0-openjdk-arm64/bin/java
    配置slaves

    七、SSH免登录

    ssh-keygen -t rsa
    ssh-copy-id 192.168.13.6
    ssh-copy-id 192.168.13.7
    ssh-copy-id 192.168.13.8

    八、SCP分发

    scp -r hadoop-2.7.3/ root@192.168.13.5:/opt/
    scp -r hadoop-2.7.3/ root@192.168.13.2:/opt/

    九、格式化NameNode

    ./hadoop namenode -format

    十、启动停止HDFS服务

    cd <Hadoop_ROOT>/sbin

    ./start-dfs.sh

    ./stop-dfs.sh

  • 相关阅读:
    PHPEXCEL 导出多个sheet
    android adb.exe端口占用
    imageview 显示assets的图片

    Java中日期问题
    java中的定时器的实现样例
    Oracle数据库如何干净的删除
    MySQL索引相关知识
    JavaScript基础知识总结
    JDBC技术总结
  • 原文地址:https://www.cnblogs.com/xusweeter/p/9164807.html
Copyright © 2011-2022 走看看