zoukankan      html  css  js  c++  java
  • hadoop hdfs 分布式存储

    1.克隆前的工作
     1.配置好网络nat  需要设置静态ip并能通过主机上网
     ssh   和  rsync  是必须下载的
     2.yum install vim wget  rsync  ssh   并配置vim set nu set ts=4 .vimrc 
     3.下载jdk和Hadoop 解压到/usr/local/java 和 /usr/local/hadoop
     4.配置java 和 hadoop 的环境变量  .bashrc
     5.修改 /usr/local/hadoop/etc/hadoop/core-site.xml
      <configuration>
        <property>
          <name>fs.defaultFS</name>
          <value>hdfs://nodeone:9000</value>
        </property>
      </configuration>
       修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh
        export JAVA_HOME=/usr/local/java
     6.关闭防火墙,并永久关闭防火墙
    2.克隆后的工作
     1.修改每台机器的IP
        vim /etc/sysconfig/network-script/ifcfg-ens33
        hostnamectl set-hostname two
        hostname
        reboot -f
     和hostname 101 nodetwo 102 nodethree 103 nodefour  reboot -f
     2.修改每台机器的 /etc/hosts
    o
      192.168.59.100 one
      192.168.59.101 two
      192.168.59.102 three
      192.168.59.103 four
     
     4.one启动namenode 
     hdfs namenode -format 格式化
    启动hadoop-daemon.sh start namenode
     namenode 其他启动datanode              
     hadoop-daemon.sh start namenode /  其他的启动 datanode

    分屏显示 hdfs dfsadmin -report | more

    分布式管理  查看 192.168.59.122:50070   hdfs dfsadmin -report

    笔记仅适合参考 我用的是xshell5

  • 相关阅读:
    Linux ls -l内容详解
    simple_strtoul
    proc_create的使用方法
    Ubuntu Linux 安装 .7z 解压和压缩文件
    3518调试2
    MTK camera 闪光灯Flashlight驱动调试流程
    samba访问其他服务器文件权限设置
    excel中单列相乘取整
    git fetch
    中文123456789
  • 原文地址:https://www.cnblogs.com/zhuhuibiao/p/9651423.html
Copyright © 2011-2022 走看看