zoukankan      html  css  js  c++  java
  • Hadoop全分布式

    1.安装jdk      Linux下安装jdk-7u67-linux-x64.rpm

    2.免密登录   ssl免密登录(centos6)

    3.同步时间:date -s "2020-04-05 12:00:00"

    4.配置Hadoop

      在Hadoop伪分布式安装的基础上修改配置

      4.1.在Hadoop伪分布式安装里面已经修改了Hadoop的环境变量,现在修改node1的core-site.xml

        cd /opt/sxt/hadoop-2.6.5/etc/hadoop

        vi core-site.xml

        修改为:  

        <property>
          <name>hadoop.tmp.dir</name>
          <value>/var/sxt/hadoop/full</value>
        </property>

        把数据路劲/var/sxt/hadoop/pseudo改成/var/sxt/hadoop/full

      4.2.修改node1的hdfs-site.xml

        vi hdfs-site.xml

        修改为:

        <property>
          <name>dfs.replication</name>
          <value>2</value>   # 现在有3个从节点,所以副本数可以设置为3,但是我们设置成2可以更好地看出Hadoop的额副本分配策略
        </property>
        <property>
          <name>dfs.namenode.secondary.http-address</name>
          <value>node2:50090</value>  # 在Hadoop说明中secondaryNameNode需要单独一台服务器,所以把他放在node2机器上
        </property>

      4.3.修改node1的slaves

        修改为:

        node2

        node3

        node4

    5.分发Hadoop到每台从节点

      到node1的/opt/sxt目录下

      执行分发:scp -r hadoop-2.6.5/ node2:`pwd`

          scp -r hadoop-2.6.5/ node3:`pwd`

          scp -r hadoop-2.6.5/ node4:`pwd`

    6.查看所有从节点的Hadoop的环境变量配置

    执行查看:cat /etc/profile

    从节点应该是没有配置Hadoop的环境的,所以node1分发一下

      scp /etc/profile node2:/etc/

      scp /etc/profile node3:/etc/

      scp /etc/profile node4:/etc/

      所有都执行   . /etc/profile

    7.格式化

      在node1主节点上执行:hdfs namenode -format

      格式化结束,自动创建node1的core-site.xml中配置的路径/var/sxt/hadoop/full

    8.启动Hadoop

      执行:start-dfs.sh

    9.启动成功后查看

      每台机器执行:jps

      node1进程为:NameNode

      node2进程为:DataNode和secondaryNameNode

      node3和node4都为:DataNode

    10.假如主节点或者从节点出现问题,查看日志

      主从节点日志路径都为:/opt/sxt/hadoop-2.6.5/logs

    11.Hadoop提供了可视化的web管理工具

      先查看web通讯端口:ss -nal

      端口号为50070,使用Chrome访问node1:50070

    12.创建Hadoop内部的文件路径,上传DataNode文件

      进入/var/sxt/hadoop/pseudo/dfs/data/current/BP-1237532946-192.168.88.31-1585528858872/current/finalized

      使用hdfs dfs命令(类似Linux的命令)

      创建路径:hdfs dfs -mkdir -p /user/root

      查看路径:hdfs dfs -ls /

      进入~/software查看要上传的文件大小:ls -lh ./

      上传文件:hdfs dfs -put hadoop-2.6.5.tar.gz /user/root

      上传文件时指定块大小:hdfs dfs -D dfs.blocksize=10248576 -put hadoop-2.6.5.tar.gz /user/root     # 指定每个块大小为1M

      上传完成可以去web浏览器查看/user/root路径下上传的文件

      文件存在磁盘为位置是:/var/sxt/hadoop/full/dfs/data/current/BP-1237532946-192.168.88.31-1585528858872/current/finalized/subdir0/subdir0

  • 相关阅读:
    ES5、6对异步事件的处理方式
    SQL技巧
    前端技巧
    docker start 启动失败,logs 没有日志
    mysql使用存储过程insert
    Spring 手动回滚事务/提交事务,及通过
    mysql触发器trigger 实例详解
    @PostConstruct 之NullException
    springboot 2 多数据源 hikari 连接池
    swagger 日期Date
  • 原文地址:https://www.cnblogs.com/yangyangming/p/12638942.html
Copyright © 2011-2022 走看看