zoukankan      html  css  js  c++  java
  • hadoop完全分布式搭建

    Overview:过程有很多帖子都解释了如何搭建,本文主要列举需要做的事情,然后在文末提供一个非常详细的搭建教程,方便大家使用。

    我这里是使用了3台服务器搭建分布式平台,每台机子都需要配置java的开发环境,hadoop的四个XML文件,host名称和profile配置文件,特别需要注意的是master节点需要在/etc/hadoop目录下配置slave文件(配置节点信息,不然主机启动,slave节点不会启动),master节点需要配SSH免密码登录。

    另外需要注意的是,每台机子配的hadoop的环境其实是一模一样的,装好一台,复制过去就行。master节点在加一些特殊配置就ok了

    基础环境

        Euler2.1   192.168.0.1    master

       Euler2.1   192.168.0.2    slave1

       Euler2.1   192.168.0.3    slave2

    一、三台机子都要配的JAVA,XML*4,host,profile

           1.master节点先配一下java的环境,网上资料很多

           2.先后配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、host、profile,具体参考文末给出的文档

      3.分别从其他slave节点复制hadoop和java环境

          scp -r root@192.168.0.1:/root/zhn_hadoop/hadoop  /root/zhn_hadoop/

    二、master配置slave文件和免密登录

      1.master节点在hadoop/etc/hadoop/slave文件需要配置主从信息

        192.168.0.1 master

        192.168.0.2 slave1

        192.168.0.3 slave2

      2.SSH免密登录参考文末文件【配置SSH】

    完全分布式搭建教程:

        

  • 相关阅读:
    第一部分 Linux的规划与安装
    第二部分 Linux 文件、目录与磁盘格式
    for in 遍历对象
    时间
    javaScript模块化
    Hbuilder将移动app或者web项目打包
    echarts的通用属性的介绍
    echart的x轴或y轴区间标签如何从大到小排列
    数组的sort()排序
    解决vscode下载很慢的问题
  • 原文地址:https://www.cnblogs.com/zjuthantics/p/9264800.html
Copyright © 2011-2022 走看看