zoukankan      html  css  js  c++  java
  • kylin 系列(一)安装部署

    kylin 系列(一)安装部署

    一、环境说明

    1.1 版本选择

    cdh 版本下载地址:http://archive.cloudera.com/cdh5/cdh/5/

    软件名称 版本
    JDK 1.8
    HADOOP Hadoop2.6.0-cdh5.10
    ZOOKEERER 3.4.5
    HBASE Hbase1.2.0-cdh5.10
    HIVE Hive1.2.0-cdh5.10
    KAFKA Kafka0.10
    KYLIN Kylin2.3.2

    1.2 节点准备

    节点 说明
    CDH-01
    CDH-02
    CDH-03

    二、Kylin 安装与配置

    2.1 软件下载

    Kylin 下载地址:https://archive.apache.org/dist/kylin/

    2.2 解压

    tar -zxvf apache-kylin-2.3.2
    ln -sv /opt/bigdata/software/apache-kylin-2.3.2 /opt/bigdata/kylin
    

    2.3 配置环境变量

    export HADOOP_HOME=/opt/bigdata/hadoop
    export HBASE_HOME=/opt/bigdata/hbase
    export HIVE_HOME=/opt/bigdata/hive
    export HIVE_CONF_HOME=$HIVE_HOME/conf
    export HCAT_HOME=$HIVE_HOME/hcatalog
    export KAFKA_HOME=/opt/bigdata/kafka
    export KYLIN_HOME=/opt/bigdata/kylin
    
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    export PATH=$PATH:$HBASE_HOME/bin:$HIVE_HOME/bin:$HCAT_HOME/bin:$KAFKA_HOME:bin:$KYLIN_HOME/bin
    

    2.4 kylin 配置文件

    vi kylin.properties
    
    # 配置节点类型(kylin 主节点模式为 all,从节点的模式为 query)
    # 注意主从节点类型不一致
    kylin.server.mode=all
    # kylin 集群节点配置
    kylin.server.cluster-servers=CHD-01:7070,CHD-02:7070,CHD-03:7070
    # 定义 kylin 用于 MRjobs 的 job.jar 和 hbase 的协处理 jar,用于提升性能(添加项)
    kylin.job.jar=/opt/bigdata/kylin/lib/kylin-job-2.3.2.jar
    kylin.coprocessor.local.jar=/opt/bigdata/kylin/lib/kylin-coprocessor-2.3.2.jar
    

    三、Kylin 启动

    启动 Kylin 前需要启动 Hadoop、Zookeeper、Hbase、Hive 等服务。

    3.1 依赖检查

    # 执行下面的检查命令会在 hdfs 上创建 kylin 目录
    ./check-env.sh
    # 检查数据源 hive 和数据存储 hbase
    ./find-hive-dependency.sh
    ./find-hbase-dependency.sh
    

    3.2 启动 kylin 服务

    # 每个节点都需要单独启动
    bin/kylin.sh start
    

    每个节点都可以查看对应的 WEB UI:http://ip:7070/kylin,默认的用户名和密码: admin/kylin

    四、Kylin 测试

    1. 启动 kylin 之后运行 sample.sh 脚本(任意集群节点运行都可以)

      ./sample.sh

    导入 sample 数据,模型,cube 成功之后系统会提示重启 kylin 或重新加载元数据让数据生效


    每天用心记录一点点。内容也许不重要,但习惯很重要!

  • 相关阅读:
    OnEraseBkgnd、OnPaint与画面重绘
    .编译ADO类DLL时报错的解决方案
    VC列表框样式
    Codeforces 131D. Subway 寻找环树的最短路径
    Codeforces 103B. Cthulhu 寻找奈亚子
    Codeforces 246D. Colorful Graph
    Codeforces 278C. Learning Languages 图的遍历
    Codeforces 217A. Ice Skating 搜索
    Codeforces 107A. Dorm Water Supply 搜图
    Codeforces 263 D. Cycle in Graph 环
  • 原文地址:https://www.cnblogs.com/binarylei/p/10549155.html
Copyright © 2011-2022 走看看