zoukankan      html  css  js  c++  java
  • 027 关于大数据中的分布集群的搭建

    一:准备

    1.集群的规划

      new01      new02        new03

      namenode        resourcemanager   secondarynamenode

      datanode      datanode       datanode

      nodemanager       nodemanager            nodemanager

      historyserver        

    2.克隆虚拟机

    二:修改克隆后的配置

    1.修改虚拟机主机名

      

    2.修改ip

       

    3.修改三台虚拟机的所有的 /etc/hosts和本地hosts

      

      

    4.修改第二台以及第三台虚拟机的mac

      

      

      

      

    5.重启网络

      

     

    6.重启

      reboot

    7.删除tmp临时文件

      

    三:部署集群

    8.规划目录,修改所属

      

     9.解压

      

    10.删除doc

      

    11.新建dfs的目录

      

    12.安装jdk(这一步已经不需要安装)

      

    13.配置env.sh的jdk环境

      

    14.配置core-site.xml

      

    15.修改hdfs-site.xml

      

    16.配置slaves

      

    17.配置yarn-site.xml

      

    18.配置mapreduce.site.xml

      

    19.在第二台和第三台上规划目录

      

    20.将安装包分发到各个节点上

      

    21.格式化

      只需要对namenode进行格式化,所以就只需要对第一台虚拟机进行格式化

      

    22.启动namenode以及datanode

      

      -------------注意点:权限

      

      -------------注意点:权限

      

    23.结果

      

    24.启动yarn

      下面的出现了错误,暂时不再截图修改了。、

      因为,resourcemanager这个服务被部署在第二台虚拟机上,但是这是在第一台虚拟机上也可以启动,但是,很快,jps时,应该不会再看到,

    因为,这个时候,resourcemanager会自动闭合。

      

      

      

     

      

      

  • 相关阅读:
    TypeScript的泛型接口 泛型类接口
    typeScript中的泛型
    Node.js Tools 1.2 for Visual Studio 2015 released
    无法访问 IIS 元数据库。您没有足够的特权访问计算机上的 IIS 网站
    jexus jws 安装
    coreos安装
    Visual Studio Code 怎么支持中文
    docker管理shipyard中文版v3.0.2更新
    docker和shipyard使用问题
    DESCryptoServiceProvider
  • 原文地址:https://www.cnblogs.com/juncaoit/p/5985294.html
Copyright © 2011-2022 走看看