zoukankan      html  css  js  c++  java
  • Hadoop完全分布式搭建

    1.克隆一台虚拟机作为分布式系统的节点

    2.更改克隆机的网络配置

    cd /etc/sysconfig/network-scripts

    vi ifcfg-ens33

     修改完毕后退出,重启网络:

     systemctl restart network

    3.添加主机映射

    先修改主机名:vi /etc/hostname

     再添加主机映射:

    4.配置免密

    在原机器输入:ssh-keygen

    并将公钥发送给克隆机:ssh-copy-id hadop52

    5.配置namenode节点的slaves

    在所有机器(原机器和克隆机)的hadoop安装目录:etc/hadoop/slaves中修改配置文件

    6.修改hdfs-site.xml配置文件

    将value值修改为如上图所示,并将该配置文件发送给克隆机,覆盖克隆机原来的配置文件:

    scp /opt/soft/hadoop2.7/etc/hadoop/hdfs-site.xml root@hadop52:/opt/soft/hadoop2.7/etc/hadoop

    7.清空hadoop安装目录下tmp/dir目录中所有文件

     rm -rf *

    初始化namenode节点的hadoop:

     hadoop namenode -format

    8.开启或关闭hadoop服务的相关命令

    开启一个软件:
    1、hadoop-daemon.sh start namenode
    2、hadoop-daemon.sh start datanode
    3、hadoop-daemon.sh start secondarynamenode  (hadoop-daemon.sh stop 关闭一个软件)
    4、yarn-daemon.sh start resourcemanager
    5、yarn-daemon.sh start nodemanager
    
    start-dfs.sh 一次性打开三个软件1、2、3  HDFS开启服务
    stop-dfs.sh  一次性关闭三个软件1、2、3     
    
    start-yarn.sh 一次性打开两个软件4、5  MapReduce使用
    stop-yarn.sh  一次性关闭两个软件4、5
    
    start-all.sh    一次性打开5个软件1、2、3、4、5
    stop-all.sh     一次性关闭5个软件1、2、3、4、5

    9.访问50070端口
     
  • 相关阅读:
    用javascript实现简单的用户登录验证
    JS创建数组的三种方法
    JS中的数据类型
    原始值和引用值
    html为什么用雪碧图的优缺点
    html,将元素水平,垂直居中的四种方式
    使用display:none和visibility:hidden隐藏的区别
    jsonview注解、RequestBody 、拦截
    02.实现图形验证码
    spring注解使用
  • 原文地址:https://www.cnblogs.com/theyang/p/12363276.html
Copyright © 2011-2022 走看看