zoukankan      html  css  js  c++  java
  • HUE配置文件hue.ini 的zookeeper模块详解(图文详解)(分HA集群)

    不多说,直接上干货!

      我的集群机器情况是 bigdatamaster(192.168.80.10)、bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12)

      然后,安装目录是在/home/hadoop/app下。

      官方建议在master机器上安装Hue,我这里也不例外。安装在bigdatamaster机器上。

     Hue版本:hue-3.9.0-cdh5.5.4
     需要编译才能使用(联网)


     说给大家的话:大家电脑的配置好的话,一定要安装cloudera manager。毕竟是一家人的。
    同时,我也亲身经历过,会有部分组件版本出现问题安装起来要个大半天时间去排除,做好心里准备。废话不多说,因为我目前读研,自己笔记本电脑最大8G,只能玩手动来练手。
    纯粹是为了给身边没高配且条件有限的学生党看的! 但我已经在实验室机器群里搭建好cloudera manager 以及 ambari都有。

    大数据领域两大最主流集群管理工具Ambari和Cloudera Manger

    Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

    Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

    https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl

    一、以下是默认的配置文件

       这里,暂时不说

    二、以下是跟我机器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模块)

    ###########################################################################
    # Settings to configure the Zookeeper application.
    ###########################################################################
    
    [zookeeper]
    
      [[clusters]]
    
        [[[default]]]
          # Zookeeper ensemble. Comma separated list of Host/Port.
          # e.g. localhost:2181,localhost:2182,localhost:2183
          host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181
    
          # The URL of the REST contrib service (required for znode browsing).
          ## rest_url=http://localhost:9998
    
          # Name of Kerberos principal when using security.
          ## principal_name=zookeeper

    三、以下是跟我机器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模块)

     hadoop-2.6.0.tar.gz的集群搭建(5节点)

     

    ###########################################################################
    # Settings to configure the Zookeeper application.
    ###########################################################################
    
    [zookeeper]
    
      [[clusters]]
    
        [[[default]]]
          # Zookeeper ensemble. Comma separated list of Host/Port.
          # e.g. localhost:2181,localhost:2182,localhost:2183
          host_ports=djt11:2181,djt12:2181,djt13:2181,djt14:2181,djt15:2181
    
          # The URL of the REST contrib service (required for znode browsing).
          ## rest_url=http://localhost:9998
    
          # Name of Kerberos principal when using security.
          ## principal_name=zookeeper

      如果,单独只配置上述的话,就算我们的zookeeper集群进程全都正常启动,但是,还是会无法连接,出现错误 无法正确连接到 Zookeeper!!!!timed out (这里,适用非HA和HA集群)

      因为,官网给的步骤,很详细(记住,只要三步就好,一切都要看官网,别跟着别人的博客走)

    https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_hhc_hwn_rl

       第一步:首先,进入【ZOOKEEPER_HOME】目录下执行编译

    [hadoop@bigdatamaster ~]$ cd $ZOOKEEPER_HOME
    [hadoop@bigdatamaster zookeeper]$ ant

      看大家的网速吧。我这里是,需将bigdatamaster、bigdataslave1和bigdataslave2里都安装了zookeeper,所以都要进行ant编译。

       然后,如下的目录,都会自动建立好

    [mkdir] Created dir: /home/hue/Development/zookeeper/build/classes
    [mkdir] Created dir: /home/hue/Development/zookeeper/build/lib
    [mkdir] Created dir: /home/hue/Development/zookeeper/build/package/lib
    [mkdir] Created dir: /home/hue/Development/zookeeper/build/test/lib



      第二步:开启REST服务

    cd src/contrib/rest
    nohup ant run&

    [hadoop@bigdatamaster rest]$ pwd
    /home/hadoop/app/zookeeper/src/contrib/rest
    [hadoop@bigdatamaster rest]$ ll
    total 48
    -rw-rw-r--. 1 hadoop hadoop  6630 Apr 26  2016 build.xml
    drwxr-xr-x. 3 hadoop hadoop  4096 May  4 20:42 conf
    -rw-rw-r--. 1 hadoop hadoop  2077 Apr 26  2016 ivy.xml
    -rw-rw-r--. 1 hadoop hadoop   246 Apr 26  2016 NOTICE.txt
    -rw-rw-r--. 1 hadoop hadoop  2422 Apr 26  2016 README.txt
    -rwxr-xr-x. 1 hadoop hadoop  2281 Apr 26  2016 rest.sh
    -rw-rw-r--. 1 hadoop hadoop 12961 Apr 26  2016 SPEC.txt
    drwxr-xr-x. 5 hadoop hadoop  4096 Apr 26  2016 src
    [hadoop@bigdatamaster rest]$ ./rest.sh start
    Starting ZooKeeper REST Gateway ... 
    STARTED
    [hadoop@bigdatamaster rest]$ jps
    2814 SecondaryNameNode
    2661 NameNode
    2982 ResourceManager
    9688 ThriftServer
    12134 Jps
    3720 QuorumPeerMain
    10777 HMaster
    4141 RunJar
    [hadoop@bigdatamaster rest]$ 

     

       第三步:去Hue配置文件,对应去修改zookeeper模块

     

    ###########################################################################
    # Settings to configure the Zookeeper application.
    ###########################################################################
    
    [zookeeper]
    
      [[clusters]]
    
        [[[default]]]
          # Zookeeper ensemble. Comma separated list of Host/Port.
          # e.g. localhost:2181,localhost:2182,localhost:2183
          host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181
    
          # The URL of the REST contrib service (required for znode browsing).
          rest_url=http://bigdatamaster:9998,http://bigdataslave1:9998,http://bigdataslave2:9998
    
          # Name of Kerberos principal when using security.
          principal_name=zookeeper

       然后,可以看到

     

     

     

     

       更多的细节,我这里不多赘述,大家自行去自己机器看吧!

      成功!

    欢迎大家,加入我的微信公众号:大数据躺过的坑        人工智能躺过的坑
     
     
     

    同时,大家可以关注我的个人博客

       http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

       详情请见:http://www.cnblogs.com/zlslch/p/7473861.html

      人生苦短,我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网。
      目前研究领域:大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及:Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里,每天必须有收获

          对应本平台的讨论和答疑QQ群:大数据和人工智能躺过的坑(总群)(161156071) 

     

  • 相关阅读:
    原型和原型链
    面向对象
    git在idea中的使用,如何构远程git方仓库
    java maven 安装
    Kafka消费者APi
    Kafka生产者APi
    kafka基本概念
    redis常用命令
    redis.conf配置文件参数说明
    Redis.RedisNativeClient的方法get_Db 没有实现
  • 原文地址:https://www.cnblogs.com/zlslch/p/6817538.html
Copyright © 2011-2022 走看看