zoukankan      html  css  js  c++  java
  • Ubuntu16.04下Kylin的安装与配置

    一、系统环境

    kylin的安装配置并不像官方文档中描述的那样简单,复杂的原因在于hadoop,hive,hbase,kylin的版本一定要兼容,不然就会出现各种奇怪的错误。以下各软件版本可以成功运行kylin。

    os : Ubuntu 16.04 LTS 64bit
    jdk : 1.8.0_161
    hadoop : 2.6.4
    mysql : 5.7.21
    hive : 2.1.0
    hbase: 0.98.22-hadoop2
    kylin: 1.5.4.1

    以上版本软件在这里下载。

    安装kylin之前,要先安装hadoophivehbase ,hadoop和hbase要配置成伪分布式,hadoop要开启yarn和historyserver。

    二、安装步骤

    1、安装kylin

    首先下载Kylin并安装到/usr/local目录下

    ~/下载$ sudo tar -xzf apache-kylin-1.5.4.1-bin.tar.gz -C /usr/local
    ~/下载$ cd /usr/local
    /usr/local$ sudo mv apache-kylin-1.5.4.1-bin/ kylin
    /usr/local$ sudo chown -R hadoop kylin/  #hadoop为我的用户名,更改为自己的用户名即可

    编辑~/.bashrc,配置kylin的环境变量

    export KYLIN_HOME=/usr/local/kylin
    export PATH=$PATH:$KYLIN_HOME/bin

    配置完成后  source /.bashrc  使环境变量生效。之前已经安装配置好了hadoop,hive,hbase,所以我的~/.bashrc如下所示:

     2、配置kylin

    配置kylin使用hive的数据库名

    cd /usr/local/kylin/conf
    vim kylin.properties

    将kylin.job.hive.database.for.intermediatetable修改为kylin_middle

    然后在hive中创建数据库kylin_middle

    $ hive
    > create database kylin_middle;

     然后在hdfs上创建目录kylin,并复制给当前用户,我的当前用户为hadoop

    hadoop fs -mkdir /kylin
    hadoop fs -chown -R hadoop /kylin

    接着执行Kylin的 check-env.sh ,这时可能会报错

    这需要将脚本中的sh替换成bash,命令如下:

    cd /usr/local/kylin/bin
    sed
    -i 's/`sh /`bash /g' *.sh

    然后再check-env.sh发现问题消失。如果没有问题,kylin就可以运行了,在运行前,要先把hadoop,hbase打开:

    $ start-dfs.sh
    $ start-yarn.sh
    $ mr-jobhistory-daemon.sh start historyserver
    $ start-base.sh
    $ kylin.sh start

    然后访问http://127.0.0.1:7070/kylin 就可以看到kylin的登录界面。

    登录名/密码=ADMIN/KYLIN

    3、kylin测试

    官方有一个测试的例子可以帮助我们判断kylin是否已经正确安装了,输入以下命令

    $ cd /usr/local/kylin
    $ ./sample.sh
    $ ./kylin.sh stop
    $ ./kylin.sh start

    进入kylin会发现出现了一个项目learn_kylin和一个名为kylin_sales_cube的cube,对这个cube执行build操作,可以在monitor中查看该cube build的进度,进度到100%才算build成功。

    如果出现错误,可以从$KYLIN_HOME/logs/kylin.log查看日志。

    在Insight里面输入以下sql语句测试:

    select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt

    结果如下:

    三、参考

    1、https://sjq597.github.io/2016/07/19/Ubuntu-16-04-Hadoop%E6%9C%AC%E5%9C%B0%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AE/ 

  • 相关阅读:
    HttpClient4.5 post请求xml到服务器
    关于spring mybateis 定义resultType="java.util.HashMap"
    Git安装和使用(谨记)
    使用 Lombok 简化项目中无谓的Java代码
    为什么JSP会比Beetl慢
    Apache Commons Codec 与消息摘要算法(hash算法)
    加密解密基础问题:字节数组和(16进制)字符串的相互转换
    Spring AOP 不同配置方式产生的冲突问题
    Java 权限框架 Shiro 实战二:与spring集成、filter机制
    Java 权限框架 Shiro 实战一:理论基础
  • 原文地址:https://www.cnblogs.com/sench/p/8584036.html
Copyright © 2011-2022 走看看