zoukankan      html  css  js  c++  java
  • kylin 系列(一)安装部署

    kylin 系列(一)安装部署

    一、环境说明

    1.1 版本选择

    cdh 版本下载地址:http://archive.cloudera.com/cdh5/cdh/5/

    软件名称 版本
    JDK 1.8
    HADOOP Hadoop2.6.0-cdh5.10
    ZOOKEERER 3.4.5
    HBASE Hbase1.2.0-cdh5.10
    HIVE Hive1.2.0-cdh5.10
    KAFKA Kafka0.10
    KYLIN Kylin2.3.2

    1.2 节点准备

    节点 说明
    CDH-01
    CDH-02
    CDH-03

    二、Kylin 安装与配置

    2.1 软件下载

    Kylin 下载地址:https://archive.apache.org/dist/kylin/

    2.2 解压

    tar -zxvf apache-kylin-2.3.2
    ln -sv /opt/bigdata/software/apache-kylin-2.3.2 /opt/bigdata/kylin
    

    2.3 配置环境变量

    export HADOOP_HOME=/opt/bigdata/hadoop
    export HBASE_HOME=/opt/bigdata/hbase
    export HIVE_HOME=/opt/bigdata/hive
    export HIVE_CONF_HOME=$HIVE_HOME/conf
    export HCAT_HOME=$HIVE_HOME/hcatalog
    export KAFKA_HOME=/opt/bigdata/kafka
    export KYLIN_HOME=/opt/bigdata/kylin
    
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    export PATH=$PATH:$HBASE_HOME/bin:$HIVE_HOME/bin:$HCAT_HOME/bin:$KAFKA_HOME:bin:$KYLIN_HOME/bin
    

    2.4 kylin 配置文件

    vi kylin.properties
    
    # 配置节点类型(kylin 主节点模式为 all,从节点的模式为 query)
    # 注意主从节点类型不一致
    kylin.server.mode=all
    # kylin 集群节点配置
    kylin.server.cluster-servers=CHD-01:7070,CHD-02:7070,CHD-03:7070
    # 定义 kylin 用于 MRjobs 的 job.jar 和 hbase 的协处理 jar,用于提升性能(添加项)
    kylin.job.jar=/opt/bigdata/kylin/lib/kylin-job-2.3.2.jar
    kylin.coprocessor.local.jar=/opt/bigdata/kylin/lib/kylin-coprocessor-2.3.2.jar
    

    三、Kylin 启动

    启动 Kylin 前需要启动 Hadoop、Zookeeper、Hbase、Hive 等服务。

    3.1 依赖检查

    # 执行下面的检查命令会在 hdfs 上创建 kylin 目录
    ./check-env.sh
    # 检查数据源 hive 和数据存储 hbase
    ./find-hive-dependency.sh
    ./find-hbase-dependency.sh
    

    3.2 启动 kylin 服务

    # 每个节点都需要单独启动
    bin/kylin.sh start
    

    每个节点都可以查看对应的 WEB UI:http://ip:7070/kylin,默认的用户名和密码: admin/kylin

    四、Kylin 测试

    1. 启动 kylin 之后运行 sample.sh 脚本(任意集群节点运行都可以)

      ./sample.sh

    导入 sample 数据,模型,cube 成功之后系统会提示重启 kylin 或重新加载元数据让数据生效


    每天用心记录一点点。内容也许不重要,但习惯很重要!

  • 相关阅读:
    Nginx实战系列之功能篇----后端节点健康检查
    nginx大量TIME_WAIT的解决办法
    Nginx 获取真实 IP 方案
    Redis基本操作——List
    redis-cli 命令总结
    redis 学习笔记-cluster集群搭建
    redis集群部署及常用的操作命令_01
    redis配置文件参数详解
    Redis 主从配置和参数详解
    Tomcat源码分析-开篇(Tomcat源码部署运行 Maven方式)
  • 原文地址:https://www.cnblogs.com/binarylei/p/10549155.html
Copyright © 2011-2022 走看看