zoukankan      html  css  js  c++  java
  • 剖析管理所有大数据组件的可视化利器:Hue

    日常的大数据使用都是在服务器命令行中进行的,可视化功能仅仅依靠各个组件自带的web界面来实现,不同组件对应不同的端口号,如:HDFS(50070),Yarn(8088),Hbase(16010)等等,而大数据的组件又有很多,为了解决某个问题,常常需要结合多个组件来使用,但是每个组件又有独立的web界面进行可视化,这时,如果有一个统一的web界面来管理并可以开发所有大数据的组件是非常方便的,而Hue正是这样的工具,它管理的大数据组件包括:HDFS、HBase、Hive、Pig、Sqoop、Spark、Scala等等几乎所有常用的组件。

    (一)、HUE的介绍:

    HUE是一个开源的Apache hadoop UI系统,管理hadoop生态体系结构的所有组件,基于python web框架Django实现,由Cloudera开发

    HUE的tar包是源码包,采用源码安装 (源码安装的好处:卸载和移植软件方便)

    源码安装三步骤:

    1、配置:./configure --preifix=安装的目录 #检测系统配置,生成makefile文件 如果有makefile文件,直接进行编译和安装

    2、编译:make

    3、安装:make install

    HUE的http服务端口:8888

    二、安装和配置HUE:

    安装HUE前,需要安装它所需要的rpm包及其依赖(27个),否则HUE运行会报错 rpm包:redhat软件包管理器 存放在redhat光盘Packages目录下

    rpm包与tar.gz/.tgz、.bz2的区别:

    rpm形式的软件包安装、升级、卸载方便,推荐初学者使用rpm形式的软件包

    安装:rpm -ivh

    卸载:rpm -e

    tar.gz形式的软件包安装方便,卸载麻烦,用tar工具打包、gzip/bzip2压缩,安装时直接调用gzip/bzip2解压即可。如果解压后只有单一目录

    用rm -rf命令删除,如果解压后分散在多个目录,必须手动一一删除

    安装:tar -zxvf *.tar.gz/ tar -yxvf *.bz2

    卸载:rm -rf/手动删除

    一、安装rpm包:

    方法:使用yum安装rpm包

    yum:能够从指定的资源库(repository)自动下载、安装、升级rpm包及其依赖,必须要有可靠的资源库(repository)

    1、挂载光盘 mount /dev/cdrom /mnt

    mount命令:挂载硬盘/光盘/iso文件到指定目录下,访问其中的数据

    2、建立yum资源库

    cd /etc/yum.repos.d #yum资源库默认所在的目录

    vim redhat7.repo

    [redhat-yum] 资源库的标识

    name=redhat7 资源库的名字

    baseurl=file:///mnt 资源库的位置

    enabled=1 启用资源库

    gpgcheck=0 不检查资源库中的rpm包是否是官方的

    3、执行下面的语句:

    yum install gcc g++ libxml2-devel libxslt-devel cyrus-sasl-devel cyrus-sasl-gssapi mysql-devel python-devel python-setuptools sqlite-devel ant ibsasl2-dev libsasl2-modules-gssapi-mit libkrb5-dev libtidy-0.99-0 mvn openldap-dev libffi-devel gmp-devel openldap-devel

    (二)、安装HUE:

    解压:tar -zxvf hue-4.0.1.tgz

    指定安装目录安装:PREFIX=/root/training make install

    注:如果不指定prefix,可执行文件默认安装到/usr/local/bin中,配置文件默认安装到/usr/local/etc中,库文件默认安装到/usr/local/lib中,其他文件默认安装到/usr/local/share中

    注:HUE的tar包是源码包,采用源码安装

    三、配置HUE:

    剖析管理所有大数据组件的可视化利器:Hue

    1、与hadoop集成:1、开启hdfs的web功能 2、允许HUE操作hdfs

    <!--开启hdfs的web功能-->

    <property>

    <name>dfs.webhdfs.enabled</name>

    <value>true</value>

    </property>

    <!--设置hadoop集群root的代理用户-->

    <property>

    <name>hadoop.proxyuser.root.hosts</name>

    <value>*</value>

    </property>

    <!--设置hadoop集群root的代理用户组-->

    <name>hadoop.proxyuser.root.groups</name>

    <value>*</value>

    </property>

    3、添加一个新用户并授权:hue要对/root/training/hue有访问权限

    adduser hue

    chown -R hue.hue /root/training/hue

    4、修改配置文件hue.ini($HUE_HOME/desktop/conf):

    http_hosts 192.168.182.11

    http_port 192.168.182.11

    server_user root

    server_group root

    default_user root

    default_hdfs_superuser root

    fs_defaulfs hdfs://192.168.182.11:9000

    webhdfs_url http://192.168.182.11:50070/webhdfs/v1

    hadoop_conf_dir /root/training/hadoop-2.7.3/etc/hadoop

    resourcemanager_host 192.168.182.11

    resourcemanager_api_url http://192.168.182.11:8088

    proxy_api_url http://192.168.182.11:8088

    history_server_api_url http://192.168.182.11:19888

    二、与HBase集成:

    1、修改配置文件hue.ini:

    hbase_clusters=(Cluster|192.168.182.11:9090)

    hbase_conf_dir=/root/training/hbase-1.3.1/conf

    剖析管理所有大数据组件的可视化利器:Hue

    三、与Hive集成:

    hive_server_host=192.168.182.11

    hive_server_port=10000

    hive_conf_dir=/root/training/apache-hive-2.3.0-bin/conf

    (三)、启动HUE:

    1、启动hadoop:start-all.sh hue就可以访问hadoop

    2、启动hbase:start-hbase.sh

    3、启动hbase的thrift server:hbase-daemon.sh start thrift hue就可以访问hbase

    4、启动hive的元信息存储:hive --service metastore(表示前台运行) hue就可以访问hive的元信息

    5、启动hive的thrift server:hiveserver2 &(表示后台运行) hue就可以访问hive

    6、启动hue:bin/supervisor($HUE_HOME/build/env)

    作者:李金泽,清华大学硕士研究生,研究方向:大数据和人工智能

  • 相关阅读:
    Ajax基础:3.Json
    Head First Design Patterns State Pattern
    Head First Design Patterns Template Method Pattern
    Articles For CSS Related
    Head First Design Patterns Decorator Pattern
    代码审查工具
    How To Be More Active In A Group
    Head First Design Patterns Factory Method Pattern
    Head First Design Patterns Composite Pattern
    Tech Articles
  • 原文地址:https://www.cnblogs.com/lijinze-tsinghua/p/8505275.html
Copyright © 2011-2022 走看看