zoukankan      html  css  js  c++  java
  • hadoop in hue的搭建(基于cdh版本)

    首先官网下载tar包

    http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.4.tar.gz

    在安装hue之前,还需要安装各种依赖包,首先要检查是否有这些依赖包,mysql和mysql-devel已经在安装hive的时候有了 所以不必安装

    添加mvn源

    wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo

    安装依赖(mysql和mysql-devel已经在安装hive的时候有了 所以不必安装)

    yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel make mvn openldap-devel python-devel sqlite-devel  openssl-devel gmp-devel

    切换到hadoop用户并上传并解压tar包

    建立软连接

    进入hue安装目录 使用make apps进行编译,编译完成后进入apps目录

    进入desktop的conf目录下修改hue.ini配置文件

    secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o

    # Execute this script to produce the Django secret key. This will be used when
    # `secret_key` is not set.
    ## secret_key_script=

    # Webserver listens on this address and port
    http_host=192.168.80.136
    http_port=8888

    # Time zone name
    time_zone=Asia/Shanghai

    # Enable or disable Django debug mode.
    django_debug_mode=false

    # Enable or disable database debug mode.
    ## database_logging=false

    # Enable or disable backtrace for server error
    http_500_debug_mode=false

    # Enable or disable memory profiling.
    ## memory_profiler=false

    # Server email for internal error messages
    ## django_server_email='hue@localhost.localdomain'

    # Email backend
    ## django_email_backend=django.core.mail.backends.smtp.EmailBackend

    # Webserver runs as this user
    server_user=hue
    server_group=hue

    # This should be the Hue admin and proxy user
    default_user=hue

    # This should be the hadoop cluster admin
    default_hdfs_superuser=hadoop

    先启动hue ,首先要给desktop.db赋予权限

    接着

    配置完我们要登录一下hue

    接着配置hdfs模块(这个是根据集群是否是HA来配置的,我的是HA的,所以配置如下.非HA集群要和自己默认的hdfs-site.xml和core-site.xml配置文件一致)

    完成之后首先将 hdfs-site.xml中的如下配置加上

    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>

    接着core-stie.xml加上

    <property>
    <name>hadoop.proxyuser.hue.hosts</name>
    <value>*</value>
    </property>

    <property>
    <name>hadoop.proxyuser.hue.groups</name>
    <value>*</value>
    </property>

    接着讲这两个配置文件同步到其他节点,我用的是脚本,大家可以用scp命令  例如 scp  文件名  节点名:目标路径 即可

    然后启动hdfs文件系统 ,接着重启hue发现

    无法访问:/user/hadoop。 Note: you are a Hue admin but not a HDFS superuser, "hdfs" or part of HDFS supergroup, "supergroup".

    可以查看这篇http://www.cnblogs.com/justinyang/p/8728021.html

    以及http://www.cnblogs.com/justinyang/p/8728015.html 来进行解决

     yarn这个模块 default和ha这两个都要配置

    zookeeper的模块

    hive这个模块(hive我是安装在justinyang这个节点上的,大家要根据自己的情况来进行实地的配置)

    同时hive-site.xml文件有两个配置要修改

     然后首先要启动yarn,然后mysql服务要打开,接着打开hiveserver 同时启动hive

    然后查看hue,显示

    大家可以看这篇文章,如何处理数据库被锁的问题 hue集成hive访问报database is locked   http://www.cnblogs.com/justinyang/p/8728522.html

    接着配置hbase,

    接着启动hbase和thrift服务

    接着查看hbase

     这个问题可参考http://www.cnblogs.com/justinyang/p/8728630.html来进行解决.



  • 相关阅读:
    Ubuntu 14.04 卸载通过源码安装的库
    Ubuntu 14.04 indigo 相关依赖
    Ubuntu 14.04 indigo 安装 cartographer 1.0.0
    Ubuntu 14.04 改变文件或者文件夹的拥有者
    安装cartographer遇到Unrecognized syntax identifier "proto3". This parser only recognizes "proto2"问题
    Unrecognized syntax identifier "proto3". This parser only recognizes "proto2". ”问题解决方法
    查看所有用户组,用户名
    1卸载ROS
    Ubuntu14.04 软件安装卸载
    Ubuntu14.04系统显示器不自动休眠修改
  • 原文地址:https://www.cnblogs.com/justinyang/p/8724166.html
Copyright © 2011-2022 走看看