zoukankan      html  css  js  c++  java
  • 虚拟机搭建hadoop集群

    准备工具:虚拟机 linux-centos xftp xshell JDK(linux版本) hadoop安装包

    实验内容:

    在虚拟机中搭建hadoop集群,首先理解hadoop集群,hadoop集群是多台主机通过内网连接起来,然后上传hadoop安装包,取其中一节点为中心节点,中心节点含有namenode,namenode包含各个datanode的信息。

    实验过程:

    新建虚拟机,将下载好的centos7安装到虚拟机当中,关闭防火墙,设置内网ip,网络号为192.168.170,通过xftp上传hadoop的运行环境-JDK。

    然后克隆虚拟机,三台主机用192.168.170的网络号分别分配不同的主机号,各主机通过内网形成集群,修改主机名分别为centos1 centos2 centos3。修改hosts文件形成域名与ip的映射关系(例如192.168.170.133 centos1),这样可以通过ping主机名可以ping通。

    Hadoop分布式搭建,通过xftp上传hadoop安装包到modules目录,配置hadoop运行的环境变量为JDK,然后修改配置文件设置centos1为中心节点,将配置好的hadoop安装目录拷贝到其他主机。

    初始化namenode,启动hadoop。

    通过命令jps,查看hadoop各节点的进程,也可访问192.168.170.133:50070查看各节点信息。

    完成情况:

    hadoop已启动,可查看各节点信息

    #QQ 2541809243

  • 相关阅读:
    保障系统的稳定性
    Ubuntu 16.04开启SSH服务
    Linux中tty是什么(tty1~7)
    Linux显示使用命令who(转)
    Linux去重命令uniq(转)
    Linux文字分段裁剪命令cut(转)
    Linux排序命令sort(转)
    Linux查找字符串命令grep(转)
    Linux文件查找命令find(转)
    Ubuntu查看和写入系统日志
  • 原文地址:https://www.cnblogs.com/szj666/p/10804504.html
Copyright © 2011-2022 走看看