zoukankan      html  css  js  c++  java
  • Atlas 2.1.0 实践(2)—— 安装Atlas

    在完成Atlas编译以后,就可以进行Atlas的安装了。Atlas的安装主要是安装Atlas的Server端,也就Atlas的管理页面,并确保Atlas与Kafka Hbase Solr等组件的集成。

    Atlas的系统架构如下,在确保 底层存储与UI界面正常后,之后就可以进行与Hive等组件的集成调试了。

    一、环境准备

    安装之前 先要准备好

    JDK1.8

    Zookeeper

    Kafka

    Hbase

    Solr

    在启动Atlas时会配置这些环境变量的地址,所以一定要确保以上组件正常运行。

    由于在编译时可以选择内部集成,所以这些Atlas是可以自带的,但是JDK一定要安装好。

    在安装Altas中,需要Solr 预先创建好collection

     bin/solr create -c vertex_index -shards 3 -replicationFactor 2
    
     bin/solr create -c edge_index -shards 3 -replicationFactor 2
    
    bin/solr create -c fulltext_index -shards 3 -replicationFactor 2
    

    在solr中验证创建成功。

    二、安装Atlas

    到编译好的包的路径下 apache-atlas-sources-2.1.0/distro/target

    将生成好的安装包 apache-atlas-2.1.0-server.tar.gz 拷贝到目标路径下。

    解压:

    tar -zxvf apache-atlas-2.1.0-server.tar.gz
    

    三、修改配置

    进入conf目录下:

    vi  atlas-env.sh 
    

    在此指定JAVA_HOME和是否要用内嵌启动

    export JAVA_HOME=/opt/jdk1.8.0_191/
    export MANAGE_LOCAL_HBASE=true
    export MANAGE_LOCAL_SOLR=true  
    

    如果使用内嵌,那么配置结束,直接去 启动Atlas

    但是大部分时候,需要使用已经有的组件进行集成,所以设置为false。

    export JAVA_HOME=/opt/jdk1.8.0_191/
    export MANAGE_LOCAL_HBASE=false
    export MANAGE_LOCAL_SOLR=false 
    #注意修改Hbase配置文件路径
    export HBASE_CONF_DIR=/opt/hbase/conf
    

    修改其他配置

    vim atlas-application.properties 
    

    这里就是设置Hbase Solr等配置

    
    #Hbase地址  就是Hbase配置的zookeeper地址
    atlas.graph.storage.hostname=slave01:2181,slave02:2181,slave03:2181
    
    atlas.audit.hbase.zookeeper.quorum=slave01:2181,slave02:2181,slave03:2181
    
    #solr服务器地址
    atlas.graph.index.search.solr.http-urls=http://slave01:8984/solr
    
    #kafka地址
    atlas.notification.embedded=false
    atlas.kafka.zookeeper.connect=slave01:2181,slave02:2181,slave03:2181
    atlas.kafka.bootstrap.servers=slave01:9092,slave02:9092,slave03:9092
    
    #atlas地址
    atlas.rest.address=http://slave01:21000
    
    

    四、启动Atlas

    bin/atlas_start.py
    

    启动成功后访问:

    http://slave01:21000

    admin/admin登录

    成功!!

    踩坑全纪录

    HBase: apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /hbase/hbaseid

    hbase的问题 我的是因为没有指定对hbase的配置文件

    hbase配置文件的 zookeeper.znode.parent 并不是 /hbase/hbaseid

    could not instantiate implementation: org.janusgraph.diskstorage.solr.Solr6Index
    cannot connect to cluster at ... cluster not found /not ready

    提示无法找到solr,在填写atlas.graph.index.search.solr.zookeeper-url时需要添加znode,如2181/solr

    具体是什么去solr配置文件里,或者页面上找

    could not register new index field with index backend

    Solr有问题,检查Solr 确保Solr正常启动了

    Can not find the specified config set: vertex_index

    solr需要先建 三个索引 vertex_index, edge_index, fulltext_index

    了解大数据实时计算 感受数据流动之美 欢迎关注 实时流式计算

  • 相关阅读:
    xls与csv文件的区别
    青音,经典爱情语录
    win7用户账户自动登录方法汇总
    How to using Procedure found Lead Blocker
    FTS(3) BSD 库函数手册 遍历文件夹(二)
    FTS(3) BSD 库函数手册 遍历文件夹(一)
    DisplayMetrics类 获取手机显示屏的基本信息 包括尺寸、密度、字体缩放等信息
    About App Distribution 关于应用发布
    FTS(3) 遍历文件夹实例
    OpenCV 2.1.0 with Visual Studio 2008
  • 原文地址:https://www.cnblogs.com/tree1123/p/14210194.html
Copyright © 2011-2022 走看看