zoukankan      html  css  js  c++  java
  • hadoop in hue的搭建(基于cdh版本)

    首先官网下载tar包

    http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.4.tar.gz

    在安装hue之前,还需要安装各种依赖包,首先要检查是否有这些依赖包,mysql和mysql-devel已经在安装hive的时候有了 所以不必安装

    添加mvn源

    wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo

    安装依赖(mysql和mysql-devel已经在安装hive的时候有了 所以不必安装)

    yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel make mvn openldap-devel python-devel sqlite-devel  openssl-devel gmp-devel

    切换到hadoop用户并上传并解压tar包

    建立软连接

    进入hue安装目录 使用make apps进行编译,编译完成后进入apps目录

    进入desktop的conf目录下修改hue.ini配置文件

    secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o

    # Execute this script to produce the Django secret key. This will be used when
    # `secret_key` is not set.
    ## secret_key_script=

    # Webserver listens on this address and port
    http_host=192.168.80.136
    http_port=8888

    # Time zone name
    time_zone=Asia/Shanghai

    # Enable or disable Django debug mode.
    django_debug_mode=false

    # Enable or disable database debug mode.
    ## database_logging=false

    # Enable or disable backtrace for server error
    http_500_debug_mode=false

    # Enable or disable memory profiling.
    ## memory_profiler=false

    # Server email for internal error messages
    ## django_server_email='hue@localhost.localdomain'

    # Email backend
    ## django_email_backend=django.core.mail.backends.smtp.EmailBackend

    # Webserver runs as this user
    server_user=hue
    server_group=hue

    # This should be the Hue admin and proxy user
    default_user=hue

    # This should be the hadoop cluster admin
    default_hdfs_superuser=hadoop

    先启动hue ,首先要给desktop.db赋予权限

    接着

    配置完我们要登录一下hue

    接着配置hdfs模块(这个是根据集群是否是HA来配置的,我的是HA的,所以配置如下.非HA集群要和自己默认的hdfs-site.xml和core-site.xml配置文件一致)

    完成之后首先将 hdfs-site.xml中的如下配置加上

    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>

    接着core-stie.xml加上

    <property>
    <name>hadoop.proxyuser.hue.hosts</name>
    <value>*</value>
    </property>

    <property>
    <name>hadoop.proxyuser.hue.groups</name>
    <value>*</value>
    </property>

    接着讲这两个配置文件同步到其他节点,我用的是脚本,大家可以用scp命令  例如 scp  文件名  节点名:目标路径 即可

    然后启动hdfs文件系统 ,接着重启hue发现

    无法访问:/user/hadoop。 Note: you are a Hue admin but not a HDFS superuser, "hdfs" or part of HDFS supergroup, "supergroup".

    可以查看这篇http://www.cnblogs.com/justinyang/p/8728021.html

    以及http://www.cnblogs.com/justinyang/p/8728015.html 来进行解决

     yarn这个模块 default和ha这两个都要配置

    zookeeper的模块

    hive这个模块(hive我是安装在justinyang这个节点上的,大家要根据自己的情况来进行实地的配置)

    同时hive-site.xml文件有两个配置要修改

     然后首先要启动yarn,然后mysql服务要打开,接着打开hiveserver 同时启动hive

    然后查看hue,显示

    大家可以看这篇文章,如何处理数据库被锁的问题 hue集成hive访问报database is locked   http://www.cnblogs.com/justinyang/p/8728522.html

    接着配置hbase,

    接着启动hbase和thrift服务

    接着查看hbase

     这个问题可参考http://www.cnblogs.com/justinyang/p/8728630.html来进行解决.



  • 相关阅读:
    Android 数据库SQLite的使用简单Demo
    jQuery插件FullCalendar日程表
    Activiti工作流访问路径资源注册和管理
    电子商务中的数据仓库技术
    打开”我的电脑”慢的解决办法
    数据结构定义中的中(大陆地区)美差异
    Wubi离线安装Ubuntu
    C++如何获得U盘的盘符以及U盘相关属性的代码
    浮动引起的文本重影
    定位相关的怪异问题
  • 原文地址:https://www.cnblogs.com/justinyang/p/8724166.html
Copyright © 2011-2022 走看看