zoukankan      html  css  js  c++  java
  • hadoop hdfs 分布式存储

    1.克隆前的工作
     1.配置好网络nat  需要设置静态ip并能通过主机上网
     ssh   和  rsync  是必须下载的
     2.yum install vim wget  rsync  ssh   并配置vim set nu set ts=4 .vimrc 
     3.下载jdk和Hadoop 解压到/usr/local/java 和 /usr/local/hadoop
     4.配置java 和 hadoop 的环境变量  .bashrc
     5.修改 /usr/local/hadoop/etc/hadoop/core-site.xml
      <configuration>
        <property>
          <name>fs.defaultFS</name>
          <value>hdfs://nodeone:9000</value>
        </property>
      </configuration>
       修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh
        export JAVA_HOME=/usr/local/java
     6.关闭防火墙,并永久关闭防火墙
    2.克隆后的工作
     1.修改每台机器的IP
        vim /etc/sysconfig/network-script/ifcfg-ens33
        hostnamectl set-hostname two
        hostname
        reboot -f
     和hostname 101 nodetwo 102 nodethree 103 nodefour  reboot -f
     2.修改每台机器的 /etc/hosts
    o
      192.168.59.100 one
      192.168.59.101 two
      192.168.59.102 three
      192.168.59.103 four
     
     4.one启动namenode 
     hdfs namenode -format 格式化
    启动hadoop-daemon.sh start namenode
     namenode 其他启动datanode              
     hadoop-daemon.sh start namenode /  其他的启动 datanode

    分屏显示 hdfs dfsadmin -report | more

    分布式管理  查看 192.168.59.122:50070   hdfs dfsadmin -report

    笔记仅适合参考 我用的是xshell5

  • 相关阅读:
    使用Webuploader大文件分片传输
    php面向对象的封装性
    前端实习经历
    Js_protoType_原型
    SVN客户端与服务器端搭建操作
    安装PL/SQL客户端来访问操作步骤
    安装Oracle数据库操作步骤
    MyEclipse2014安装操作步骤+破解
    模块学习笔记
    json与导入模块目录
  • 原文地址:https://www.cnblogs.com/zhuhuibiao/p/9651423.html
Copyright © 2011-2022 走看看