zoukankan      html  css  js  c++  java
  • HUE配置文件hue.ini 的filebrowser模块详解(图文详解)(分HA集群和非HA集群)

      

    不多说,直接上干货!

      我的集群机器情况是 bigdatamaster(192.168.80.10)、bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12)

      然后,安装目录是在/home/hadoop/app下。

      官方建议在master机器上安装Hue,我这里也不例外。安装在bigdatamaster机器上。

     

     Hue版本:hue-3.9.0-cdh5.5.4
     需要编译才能使用(联网)


     说给大家的话:大家电脑的配置好的话,一定要安装cloudera manager。毕竟是一家人的。
    同时,我也亲身经历过,会有部分组件版本出现问题安装起来要个大半天时间去排除,做好心里准备。废话不多说,因为我目前读研,自己笔记本电脑最大8G,只能玩手动来练手。
    纯粹是为了给身边没高配且条件有限的学生党看的! 但我已经在实验室机器群里搭建好cloudera manager 以及 ambari都有。

    大数据领域两大最主流集群管理工具Ambari和Cloudera Manger

    Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

    Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

      Hue提供了图形化截面管理HDFS数据,可谓之非常方便,但是在配置上,还是有点麻烦的。

      说明:对于这个filebrowser模块啊,网上有些资料是对pseudo-distributed.ini进行配置,也有些资料对hue.ini进行配置。其实本质都是一样哈!

    有些Hue的版本里是没有前者。比如我的版本是直接下载hue-3.9.0-cdh5.5.4.tar.gz,然后进行编译得到。

      这个问题没事。只需要对其中一个配置文件进行修改即可。

    一、以下是默认的配置文件

    二、以下是跟我机器集群匹配的配置文件(非HA集群下怎么配置Hue的filebrowser模块)

      也就说,非HA集群的话,仅需要配置WebHdfs

        即,即要在$HADOOP_HOME/etc/hadoop下,配置好hdfs-site.xml 和 core-site.xml

     在core-site.xml 和 hdfs-site.xml下,添加如下

      core-site.xml下

    复制代码
    <property>
      <name>hadoop.proxyuser.hue.hosts</name>
      <value>*</value>
    </property>
    <property>
      <name>hadoop.proxyuser.hue.groups</name>
      <value>*</value>
    </property>
    复制代码

       hdfs-site.xml下

    <property>
      <name>dfs.webhdfs.enabled</name>
      <value>true</value>
    </property>

       

    [filebrowser]模块总的是如下
    ###########################################################################
    # Settings to configure the Filebrowser app
    ###########################################################################
    
    [filebrowser]
      # Location on local filesystem where the uploaded archives are temporary stored.
      archive_upload_tempdir=/tmp
    
      # Show Download Button for HDFS file browser.
      ## show_download_button=false
    
      # Show Upload Button for HDFS file browser.
      ## show_upload_button=false

    三、以下是跟我机器集群匹配的配置文件(HA集群下怎么配置Hue的filebrowser模块)

      也就说,HA集群的话,不仅需要配置WebHdfs,还要配置httpfs。

        即,即要在$HADOOP_HOME/etc/hadoop下,配置好hdfs-site.xml 和 core-site.xml,还要配置好 httpfs-site.xml 。

      注意,在hdfs_clusters模块里,若要配置HA的话,则必须是要用到HttpFs。请看Hue的官网配置例子

    http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.4/manual.html#_install_hue

      

      注意: 在$HADOOP_HOME/etc/hadoop/下的httpfs-site.xml。(djt11、djt12、djt12、djt14和djt15都需要配置)

       先配置好如下

    复制代码
    <property>
      <name>httpfs.proxyuser.hue.hosts</name>
      <value>*</value>
    </property>
    <property>
      <name>httpfs.proxyuser.hue.groups</name>
      <value>*</value>
    </property>

    同时,还要配置WebHdfs,别忘记啦!

      在core-site.xml 和 hdfs-site.xml下,添加如下

      core-site.xml下

    复制代码
    <property>
      <name>hadoop.proxyuser.hue.hosts</name>
      <value>*</value>
    </property>
    <property>
      <name>hadoop.proxyuser.hue.groups</name>
      <value>*</value>
    </property>
    复制代码

       hdfs-site.xml下

    <property>
      <name>dfs.webhdfs.enabled</name>
      <value>true</value>
    </property>

      然后,配置

       

    [filebrowser]模块总的是如下
    ###########################################################################
    # Settings to configure the Filebrowser app
    ###########################################################################
    
    [filebrowser]
      # Location on local filesystem where the uploaded archives are temporary stored.
      archive_upload_tempdir=/tmp
    
      # Show Download Button for HDFS file browser.
      ## show_download_button=false
    
      # Show Upload Button for HDFS file browser.
      ## show_upload_button=false
    欢迎大家,加入我的微信公众号:大数据躺过的坑        人工智能躺过的坑
     
     
     

    同时,大家可以关注我的个人博客

       http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

       详情请见:http://www.cnblogs.com/zlslch/p/7473861.html

      人生苦短,我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网。
      目前研究领域:大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及:Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里,每天必须有收获

          对应本平台的讨论和答疑QQ群:大数据和人工智能躺过的坑(总群)(161156071) 

     

  • 相关阅读:
    【Java学习系列】第3课--Java 高级教程
    【夯实PHP基础】nginx php-fpm 输出php错误日志
    【夯实Mysql基础】MySQL性能优化的21个最佳实践 和 mysql使用索引
    【架构设计】分布式文件系统 FastDFS的原理和安装使用
    【13】2016.12.13 周二--《小结2016》
    【诗词歌赋】2016.12.15 周四--文言鸿儒《年终的日常》
    【算法】(查找你附近的人) GeoHash核心原理解析及代码实现
    【夯实Nginx基础】Nginx工作原理和优化、漏洞
    【夯实PHP基础】PHP的反射机制
    HTML DOM简易学习笔记
  • 原文地址:https://www.cnblogs.com/zlslch/p/6817517.html
Copyright © 2011-2022 走看看