zoukankan      html  css  js  c++  java
  • Hadoop平台安装前准备

    集群配置

    准备工作

    1、  Iptables

    #chkconfig iptables –list

    #chkconfig iptables –level 3456off

    #service iptables stop

    2、  Initab

    #vim /etc/inittab

    id:3

    3、  Ntpd

    #chkconfig ntpd –list

    #chkconfig ntpd –level 23456off

    #service iptables start

    4、  Sudo hadoop(添加hadoop用户,赋于sudo权限)

    #useradd hadoop

    #passwd hadoop

    #vim /etc/sudoers

    加入hadoop  ALL=(ALL)       ALL

    5、  Selinux disabled

    #vim /etc/selinux/config

    设置SELINUX=disabled

    6、  Host

    #vim /etc/sysconfig/network

    NETWORKING=yes

    HOSTNAME=spark04

    #hostname spark04

    #vim /etc/hosts  主机名最好有意义的域名,例如:www.spark01.cn

    10.36.0.159database

    10.36.0.158spark03

    10.36.0.157spark02

    10.36.0.30spark01

    10.36.0.201spark04

    10.36.0.202spark05

    7、  ssh

    #ssh-keygen

    #vim authorized_keys

    把每台机子上的id_rsa.pub内容拷贝到authorized_keys

    Scp到其它机器上

     

    注意:配置完上述以后最好重启,配置才能生效。网络配置请符合基本配置要求

    版本

    名称

    版本号

    Hadoop

    hadoop-2.6.0

    Zookeeper

    zookeeper-3.4.6

    Jdk

    jdk-7u75-linux-x64

    主机(请按实际情况填写)

    主机名

    IP

    database

    10.36.0.159

    Spark02

    10.36.0.157

    Spark03

    10.36.0.158

    Spark04

    10.36.0.201

    Spark05

    10.36.0.202

    角色配置(请按实际情况填写)

    主机          角色

    database(159

    spark02(157

    spark03(158

    spark04(201

    spark05(202

    Namenode

    Namenode

    Namenode

    Datanode

    Datanode

    Datanode

    Datanode

    Zookeeper

    Zookeeper

    Zookeeper

    Zookeeper

    Zookeeper

    Zookeeper

    Journalnode

    Journalnode

    Journalnode

    Journalnode

    zkfc

    zkfc

    zkfc

    Resourcemanager

    Resourcemanager

    Resourcemanager

    Nodemanager

    Nodemanager

    Nodemanager

    Nodemanager

    Ha角色(请按实际情况填写)

    角色名

    主机名

    NameNode

    Database , spark02

    ResourceManager

    Database , spark02

    访问地址(请按实际情况填写)

    角色

    访问地址

    Namenode

    http://database:50070 || http://spark02:50070

    ResourceManager

    http://database:8088 || http://spark02:8088

    注:本地需要配置host(C:WindowsSystem32driversetc)


  • 相关阅读:
    Codeforces 722C. Destroying Array
    Codeforces 722D. Generating Sets
    【BZOJ】3436: 小K的农场
    数论四·扩展欧几里德
    数论三·约瑟夫问题
    数论二·Eular质数筛法
    #1287 : 数论一·Miller-Rabin质数测试
    树的维护
    可持久化线段树
    【NOIP2016】天天爱跑步
  • 原文地址:https://www.cnblogs.com/smarthhl/p/5097058.html
Copyright © 2011-2022 走看看