zoukankan      html  css  js  c++  java
  • Kylin基础教程(二)

    近期先把Kylin教程整理完毕,后续根据大家需求(可能会发起投票),整理其他技术栈知识教程。

    OK,那么接上一篇文章,感性认知了Kylin之后,我们先来看一下如何部署Kylin吧。

    序号也依然沿用上一篇文章的递增。


    二、Kylin的部署与使用

    2.1 部署前的准备工作

    Kylin的工作默认依赖于Hive,MapReduce,HBase,其中Hive用于对Kylin的业务操作,MapReduce用于构建Cube,HBase用于存储构建好的Cube。所以在开始部署Kylin之前,我们需要确认Hive,Hadoop,HBase部署成功,且与Kylin版本兼容。在此学习过程中为了紧跟功能前沿我们使用“最新”版本,如果对稳定性有所担心,可以考虑使用“次新”的框架版本。在跨大版本之前,一般不会出现大浮动变动。

    在此列出我选用的框架及其版本(可在Apache官网下载):

     
     

    Hive,Hadoop,HBase在之前的教程中已经完成部署,所以大家可以参考之前的教程内容,在此为了方便大家查阅,附上对应框架的文件配置。

    下载链接:链接:https://pan.baidu.com/s/1smtrB7v 密码:8qfq

    2.2 部署Kylin

    1) 配置环境变量

    由于Kylin默认的脚本中直接使用了若干它所依赖的框架目录,所以为了方便,我们需要将Hadoop,HBase等框架环境配置于系统或用户环境变量中:(基于此,大家也可以了解到此处我个人的框架的安装目录),下面的配置可以暂时配置到第一台机器上,因为我们还没有将Kylin部署为完全分布式。

    尖叫提示:如果你我安装目录不一致,或你我框架版本不一致,请自行修改为你当前的环境内容。配置完成后,重启虚拟机或source该配置

    export HADOOP_HOME=/home/admin/modules/hadoop-2.7.2

    export HADOOP_MAPRED_HOME=/home/admin/modules/hadoop-2.7.2

    export HADOOP_COMMON_HOME=/home/admin/modules/hadoop-2.7.2

    export HADOOP_YARN_HOME=/home/admin/modules/hadoop-2.7.2

    export HADOOP_HDFS_HOME=/home/admin/modules/hadoop-2.7.2

    export HBASE_HOME=/home/admin/modules/hbase-1.3.1

    export HIVE_HOME=/home/admin/modules/apache-hive-1.2.2-bin

    export hive_dependency=hive_dependency=/home/admin/modules/apache-hive-1.2.2-bin/conf:/home/admin/modules/apache-hive-1.2.2-bin/lib/*:/home/admin/modules/apache-hive-1.2.2-bin/hcatalog/share/hcatalog/hive-hcatalog-core-1.2.2.jar

    export ZOOKEEPER_HOME=/home/admin/modules/zookeeper-3.4.5

    export KYLIN_HOME=/home/admin/modules/apache-kylin-2.2.0-bin

    JAVA_HOME=/home/admin/modules/jdk1.8.0_121

    export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin

    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin:$KYLIN_HOME/bin:$ZOOKEEPER_HOME/bin

    2) 启动Mysql,Zookeeper,Hadoop,HBase,Hive的metastore服务

    启动Mysql

    $ sudo service mysqld restart

    尖叫提示:Zookeeper,Hadoop,HBase,在此省略(可以参看之前教程)

    启动Hive的metastore服务:

    涉及属性:

    <property>

        <name>hive.metastore.uris</name>

        <value>thrift://localhost:9083</value>

    </property>

    启动之:

    $ nohup $HIVE_HOME/bin/hive --service metastore > $HIVE_HOME/hive_metastore.log 2>&1 &

    3) 检查Kylin工作环境

    接下来,我们可以通过官方提供的脚本来检查一下,kylin的启动环境是否已经准备完成

    进入Kylin的安装根目录,执行官方脚本:

    $ bin/check-env.sh

    4) 配置,并启动Kylin,登陆Kylin页面查看

    配置:kylin的conf目录下的kylin.properties文件,修改属性:

    kylin.server.cluster-servers=linux01:7070

    配置:kylin_hive_conf.xml,修改属性:

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    尖叫提示:由于非真实业务环境,为了尽量减少集群的存储消耗,所以暂时把数据的冗余数改为了1。

    启动Kylin:

    $ bin/kylin.sh start

    登录Kylin页面查看:

    http://linux01:7070/kylin

    尖叫提示:默认的用户名密码为,并且全为大写:

     
     

    如图所示:

     

     
    登录
     
    登录成功

    5) 运行官方案例,需要重启Kylin(注意,这并不意味着每次构建Cube都要重启Kylin,后续详述)

    $ ${KYLIN_HOME}/bin/sample.sh

    $ ${KYLIN_HOME}/bin/kylin.sh stop

    $ ${KYLIN_HOME}/bin/kylin.sh start

    如图所示,你可以选择你刚才导入的官方案例:

     
     

    到此为止,成功部署了Kylin,后续我们将了解如何构建自己的Cube,并参与数据分析。

    此时,你也可以进入到Hive中,生成了对应的仓库表。



    作者:Z尽际
    链接:https://www.jianshu.com/p/6b0624586046
    來源:简书
    著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
  • 相关阅读:
    HUD 问题
    嵌入式面试
    网上某人面试经验总结
    C中prngtf是从右到左压栈的
    哈希表
    做事原则
    学习单片机的步骤
    C#预处理器命令
    CWinApp类CMultiDocTemplate类CDocument类CView类的关系
    Windows消息大全
  • 原文地址:https://www.cnblogs.com/wzlbigdata/p/8482067.html
Copyright © 2011-2022 走看看