zoukankan      html  css  js  c++  java
  • ranger 使用外置的solr

    一、solrcloud部署

    1、下载部署

    1)、下载二进制包

    #wget http://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/8.3.0/solr-8.3.0-src.tgz   #下载最新版

    2)、解压

    #tar zxvf solr-8.3.0.tgz -C /data1/hadoop/
    #mv solr-8.3.0 solr

    3)、配置环境变量

    修改当前用户下的bashrc文件 ~/.bashrc, 添加如下配置:

    export SOLR_HOME=/data1/hadoop/solr
    export PATH=${SOLR_HOME}/bin:$PATH

    使用source 让配置生效

    #source ~/.bashrc

    注:solrcloud依赖于zookeeper,在部署solrcloud时,需要安装zookeeper。

    2、修改配置

    1)、修改/data1/hadoop/solr/bin/solr.in.sh文件

    修改属性如下:

    SOLR_JAVA_HOME="/data1/jdk"  #jdk
    
    SOLR_HEAP="5g"   #堆内存,建议2g以上
    
    ZK_HOST="rslog084:2181,rslog085:2181,rslog086:2181/solr"  #zookeeper地址
    
    SOLR_HOST="xxx"   #solr主机地址,由于是集群模式,这里的地址为当前机器的主机名或者ip,所以拷贝到其他节点时,这个值需要修改
    
    SOLR_HOME=/data1/hadoop/solr/ranger_audit_server   #solr家目录,用于存放数据,索引的跟路径
    
    SOLR_DATA_HOME=/data1/hadoop/solr/ranger_audit_server/data  #数据目录
    
    SOLR_LOGS_DIR=/data1/hadoop/solr/ranger_audit_server/logs #数据目录
    
    SOLR_PORT=4051  #端口,默认是8983

    注:上述的目录需要自己手动创建

    2)、拷贝配置

    上述配置修改完以后,把整个solr目录拷贝到其他节点

    示例
    #scp -r /data1/hadoop/solr   远程主机:/data1/hadoop
    记得修改SOLR_HOST的值

    3)、在zookeeper生成跟路径

    #solr zk mkroot /solr -z rslog084:2181

    用于集合碎片共享配置集

    3、启动solr

    在每一台节点都需要启动,执行如下命令:

    #solr start 

    4、创建集合

    #solr create -c ranger_audits -d /data1/hadoop/ranger/ranger-admin/contrib/solr_for_audit_setup/conf/ -s 3 -rf 3
    上述参数解析:
    create: 创建集合或者core
    -c 指定集合名称
    -d 指定server目录,该目录为ranger admin的conf目录,该目录存放着配置集
    -s 指定碎片数量
    -rf 指定副本数量

    5、web界面查

    web界面查看创建的数据集

     二、ranger admin 配置

    主要是修改install.properties文件,主要修改的属性如下:

    SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar
    
    db_root_user=root
    db_root_password=xxx
    db_host=rslog84
    db_name=ranger
    db_user=root
    db_password=xxx
    
    audit_store=solr
    
    audit_solr_urls=http://xxx:4051/solr/ranger_audits
    audit_solr_user=solr
    audit_solr_zookeepers=rslog084:2181,rslog085:2181,rslog086:2181/solr
    
    audit_solr_collection_name=ranger_audits
    audit_solr_config_name=ranger_audits
    audit_solr_no_shards=3
    audit_solr_no_replica=3
    
    policymgr_external_url=http://xxx:4052
    #以下是配置kerberos,如果没有集成kerberos,不需要配置下面的信息
    spnego_principal=HTTP/rslog084@HADOOP.COM
    spnego_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab
    token_valid=30
    cookie_domain=rslog084
    admin_principal=ranger/rslog084@HADOOP.COM
    admin_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab
    lookup_principal=ranger/rslog084@HADOOP.COM
    lookup_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab
    hadoop_conf=/data1/hadoop/hadoop/etc/hadoop/conf

    上述配置完以后,需要使用setup.sh重新初始化ranger admin

    访问ranger的admin 界面,

     如果报错,报错信息可能如下:

    Error running solr query, please check solr configs. Error from server at http://xxxx:4051/solr/ranger_audits: sort param field can't be found: evtTime

    出现这种:基本就是配置文件,或者创建集合指定配置集有问题如。

  • 相关阅读:
    转:CSS设置HTML元素的高度与宽度的各种情况总结
    Java、mysql、html、css、js 注释&大小写
    Dom4j与sax 简单对比
    转:Java properties | FileNotFoundException: properties (系统找不到指定的文件。)
    转:SAX解析的characters方法被多次调用
    转:HashMap实现原理分析(面试问题:两个hashcode相同 的对象怎么存入hashmap的)
    转:Scanner中nextLine()方法和next()方法的区别
    转:JDBC中关于PreparedStatement.setObject的一些细节说明
    转:Eclipse 各种小图标的含义
    转:Mysql float类型where 语句判断相等问题
  • 原文地址:https://www.cnblogs.com/yjt1993/p/11912447.html
Copyright © 2011-2022 走看看