zoukankan      html  css  js  c++  java
  • Hive记录-使用Hue管理Hive元数据

         Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job,执行Hive的SQL语句,浏览HBase数据库等等。
         Hue在数据库方面,默认使用的是SQLite数据库来管理自身的数据,包括用户认证和授权,另外,可以自定义为MySQL数据库、Postgresql数据库、以及Oracle数据库。其自身的功能包含有:
    对HDFS的访问,通过浏览器来查阅HDFS的数据。
    Hive编辑器:可以编写HQL和运行HQL脚本,以及查看运行结果等相关Hive功能。
    提供Solr搜索应用,并对应相应的可视化数据视图以及DashBoard。
    提供Impala的应用进行数据交互查询。
    最新的版本集成了Spark编辑器和DashBoard
    支持Pig编辑器,并能够运行编写的脚本任务。
    Oozie调度器,可以通过DashBoard来提交和监控Workflow、Coordinator以及Bundle。
    支持HBase对数据的查询修改以及可视化。
    支持对Metastore的浏览,可以访问Hive的元数据以及对应的HCatalog。
    另外,还有对Job的支持,Sqoop,ZooKeeper以及DB(MySQL,SQLite,Oracle等)的支持。

    1.安装依赖项

    ant
    asciidoc
    cyrus-sasl-devel
    cyrus-sasl-gssapi
    gcc
    gcc-c++
    krb5-devel
    libtidy (for unit tests only)
    libxml2-devel
    libxslt-devel
    make
    mvn (from maven package or maven3 tarball)
    mysql
    mysql-devel
    openldap-devel
    python-devel
    sqlite-devel
    openssl-devel (for version 7+)
    gmp-devel

    2.安装hadoop/hbase/hive/zookeeper等

    3.官网http://gethue.com下载安装包上传到LINUX服务器上去,解压,进入目录执行make apps,也可以make install安装到/usr/local下

    4.修改desktop/conf/pseudo-distributed.ini/hue.ini---按项目实际情况进行配置

    [desktop]
       # hue webServer 地址和端口号
       http_host=192.168.66.66
       http_port=8001
    
      # Webserver runs as this user
       server_user=hue
       server_group=hue
    
      # This should be the Hue admin and proxy user
       default_user=hue
    
      # This should be the hadoop cluster admin
       default_hdfs_superuser=root
    
    [hadoop]
        fs_defaultfs=hdfs://xinfang:9000
        webhdfs_url=http://192.168.66.66:50070/webhdfs/v1/
        hadoop_conf_dir=/usr/app/hadoop/etc/hadoop
    
    [[yarn_clusters]]
          # Enter the host on which you are running the ResourceManager
          resourcemanager_host=192.168.66.66
    
          # The port where the ResourceManager IPC listens on
          resourcemanager_port=8032
    
          # Whether to submit jobs to this cluster
          submit_to=True
    
          # URL of the ResourceManager API
          resourcemanager_api_url=http://192.168.66.66:8088
    
          # URL of the ProxyServer API
          proxy_api_url=http://192.168.66.66:8088
    
          # URL of the HistoryServer API
          history_server_api_url=http://192.168.66.66:19888
    
    [beeswax]
      # If Kerberos security is enabled, use fully-qualified domain name (FQDN).
      hive_server_host=192.168.66.66
    
      # Port where HiveServer2 Thrift server runs on.
       hive_server_port=10000
    
      # Hive configuration directory, where hive-site.xml is located
       hive_conf_dir=/usr/app/hive/conf
    
    [zookeeper]
    host_ports=192.168.66.66:2181
      [[[mysql]]]
    
       engine=mysql
          # IP or hostname of the database to connect to.
          host=192.168.66.66
          # Port the database server is listening to. Defaults are:
          # 1. MySQL: 3306
          # 2. PostgreSQL: 5432
          # 3. Oracle Express Edition: 1521
          port=3306
          # Username to authenticate with when connecting to the database.
          user=root
          # Password matching the username to authenticate with when
          # connecting to the database.
          password=1
    

    #adduser hue    ---添加用户

    #chmod -R 777 /usr/app/hue-4.0.0  ---授权

    5.执行build/env/bin/supervisor

    6.  浏览器输入:http://192.168.66.66:8001,创建用户和密码登录即可





  • 相关阅读:
    准备重启blog。。。
    愿我成功省一。
    [LUOGU]P5502 [JSOI2015]最大公约数
    [LUOGU]P3400 仓鼠窝
    [LUOGU]P5149 会议座位
    OI退役记
    新开博客园~~
    1108 模拟赛
    牛客1102
    题解 CF21B 【Intersection】
  • 原文地址:https://www.cnblogs.com/xinfang520/p/7684601.html
Copyright © 2011-2022 走看看