zoukankan      html  css  js  c++  java
  • 069 Hue协作框架

    一:介绍

    1.官网

      官网:http://gethue.com/

        

      下载:http://archive.cloudera.com/cdh5/cdh/5/,只能在这里下载,不是Apache的

      手册:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html

      

    2.支持的框架

      -》job

        -》yarn
        -》mr1
      -》oozie
      -》HDFS
        -》查文件
        -》文件的管理
        -》增删改查
      -》hive
      -》rdbms

      截图:

      

    3.注意

      hue必须重新编译,因为对于每个linux环境不同。

    二:安装

    1.下载hue包

      

    2.需要安装的依赖

      

    3.检测依赖

      

    4.安装依赖包

      sudo yum install ant asciidoc cyrus-sasl-devel  libtidy   libxml2-devel  libxslt-devel mvn mysql-devel openldap-devel python-devel sqlite-devel -y

    5.卸载openjdk

      

    6.编译

      进入家目录,make apps

      

     7.配置hue.int

      路径是:desktop/conf

      所有的配置都是以中括号进行标记。

      

    8.启动

      

    9.访问web ui

      http://linux-hadoop3.ibeifeng.com:8888/

    10.创建hue的root用户

      建议使用HDFS的账户,以后可以跳过权限检查。

      

    11.进入主界面

      

    三:hue与其他框架的集成

    四:与HDFS的集成(修改hadoop和hue的配置)

    1.修改hdfs-site

      

    2.修改core-site的代理

      

    3.重启hdfs

      

    4.配置hue中的hdfs

      

    5.重启hue

      

    6.效果

      

     五:配置yarn

    1.只需要配置hue.ini

      

    2.重启hue

      

    3.检测效果

      

    六:hive的集成

    1.hive的三种链接方式

      比较重要的一种是远程链接metastore

    2.远程链接metastore

      配置hive-site

      

      但是,每次配置了这个,都需要在开启hive之前开启服务

        bin/hive --service metastore &

    3.集成hive

    4.hive只需要开启hiveserver2

      

      

    5.在hive-site中可以修改的项

      在hive的默认端口是10000,协议是tcp。但是可以修改为http,同时修改对应的端口是10001.

        <property>

          <name>hive.server2.transport.mode</name>
          <value>http</value>
          <description>Server transport mode. "binary" or "http".</description>
        </property>

      

      在链接hiveserver中,有时出现链接超时,可以修改一下的配置,可以避免这种情况。

         <property>

          <name>hive.server2.long.polling.timeout</name>
          <value>5000</value>
          <description>Time in milliseconds that HiveServer2 will wait, before responding to asynchronous calls that use long polling</description>
        </property>

    6.开启hiveserver2

      bin/hiveserver2

    7.修改hue.ini

      

    8.重启hue

    9.检测效果

      

    七:集成RDMS

    1.配置sqlite

      启动标记对。

      数据库显示名称,数据库的位置,引擎

      

    2.查看效果

      

    3.配置mysql

      数据库的位置不给,说明加载所有的数据库。

      

    4.启动hue

      

    5.查看效果

      

     八:与oozie的集成

    1.修改oozie的文件

      原本是${user.name},现在改成oozie。

      

    2.重新创建share lib

      bin/oozie-setup.sh sharelib create -fs hdfs://linux-hadoop3.ibeifeng.com:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

       

     3.启动oozie

    4.修改hue下 的oozie配置

      

    5.重启

    6.查看效果

      

      

     

  • 相关阅读:
    系统架构设计师考试大纲
    常用数据结构及复杂度( 转)
    八种主流NoSQL数据库系统对比(转)
    C# Redis Server分布式缓存编程(二)(转)
    C# Redis Server分布式缓存编程(一)(转)
    js去掉字符串前后空格的五种方法(转)
    给力分享新的ORM => Dapper( 转)
    我所经历的“余额宝”的那些故事(转)
    在PowerDesigner中设计物理模型1——表和主外键(转)
    Object.keys(obj)
  • 原文地址:https://www.cnblogs.com/juncaoit/p/6127638.html
Copyright © 2011-2022 走看看