zoukankan      html  css  js  c++  java
  • ELK elasticsearch7 设置账号、权限

    比较完整一篇,完整版

    我们直接安装的ELK默认是没有账号与密码的。但是我们一旦放到生成上,就需要做一定的权限过滤,有些数据有些账号才能看到。否则都能看到,就很不科学了,有可能导致一些有心的人,搞成信息泄露。这个时候我们就需要设置账号密码了。

    用户信息设置在LK中,也就是logstash、kibana中是没有的,因为他们的信息数据都是来源于elasticsearch中,索引真正设置用户密码的是es。

    这里主要记录下先es集群。后配置登录用户才能访问数据。

    ES集群,因为之前已写过 es集群,可看之前文章

    https://www.cnblogs.com/a393060727/p/12292868.html

    直接访问集群。就显示出来

    http://IP:端口/_cat/nodes?pretty

    现在我们要对之前的配置做一定的修改。达到需要用户密码才可以访问的目的。

    查看上面链接查看es集群。

    查看kibana管理页

     进入正题。

    1、elasticsearch配置

    文件修改点:

    之前配置完全不变,增加两个配置项,然后设置初始默认密码,即可。

    // 启用密码
    xpack.security.enabled: true
    // 使用默认密码
    xpack.security.authc.accept_default_password: true

    之前的配置 

    es04.yml
    cluster.name: esinner
    node.name: es04
    node.master: true
    node.data: true
    bootstrap.memory_lock: false
    bootstrap.system_call_filter: false
    network.host: 172.19.0.14
    http.port: 9200
    transport.tcp.port: 9300
    http.cors.enabled: true
    http.cors.allow-origin: "*"
    discovery.seed_hosts: ["172.19.0.14","172.19.0.15","172.19.0.16"]
    cluster.initial_master_nodes: ["172.19.0.16"]
    discovery.zen.minimum_master_nodes: 2
    http.cors.allow-headers: Authorization
    
    
    es05.yml
    cluster.name: esinner
    node.name: es05
    node.master: true
    node.data: true
    bootstrap.memory_lock: false
    bootstrap.system_call_filter: false
    network.host: 172.19.0.15
    http.port: 9200
    transport.tcp.port: 9300
    http.cors.enabled: true
    http.cors.allow-origin: "*"
    discovery.seed_hosts: ["172.19.0.14","172.19.0.15","172.19.0.16"]
    cluster.initial_master_nodes: ["172.19.0.16"]
    discovery.zen.minimum_master_nodes: 2
    http.cors.allow-headers: Authorization
    
    
    es06.yml
    cluster.name: esinner
    node.name: es06
    node.master: true
    node.data: true
    bootstrap.memory_lock: false
    bootstrap.system_call_filter: false
    network.host: 172.19.0.16
    http.port: 9200
    transport.tcp.port: 9300
    http.cors.enabled: true
    http.cors.allow-origin: "*"
    discovery.seed_hosts: ["172.19.0.14","172.19.0.15","172.19.0.16"]
    cluster.initial_master_nodes: ["172.19.0.16"]
    discovery.zen.minimum_master_nodes: 2
    http.cors.allow-headers: Authorization

    修改配置后:

    es04.yml
    cluster.name: esinner
    node.name: es04
    node.master: true
    node.data: true
    bootstrap.memory_lock: false
    bootstrap.system_call_filter: false
    network.host: 172.19.0.14
    http.port: 9200
    transport.tcp.port: 9300
    http.cors.enabled: true
    http.cors.allow-origin: "*"
    discovery.seed_hosts: ["172.19.0.14","172.19.0.15","172.19.0.16"]
    cluster.initial_master_nodes: ["172.19.0.16"]
    discovery.zen.minimum_master_nodes: 2
    http.cors.allow-headers: Authorization
    xpack.security.enabled: true
    xpack.security.authc.accept_default_password: true
    
    
    
    es05.yml
    cluster.name: esinner
    node.name: es05
    node.master: true
    node.data: true
    bootstrap.memory_lock: false
    bootstrap.system_call_filter: false
    network.host: 172.19.0.15
    http.port: 9200
    transport.tcp.port: 9300
    http.cors.enabled: true
    http.cors.allow-origin: "*"
    discovery.seed_hosts: ["172.19.0.14","172.19.0.15","172.19.0.16"]
    cluster.initial_master_nodes: ["172.19.0.16"]
    discovery.zen.minimum_master_nodes: 2
    http.cors.allow-headers: Authorization
    xpack.security.enabled: true
    xpack.security.authc.accept_default_password: true
    
    
    es06.yml
    cluster.name: esinner
    node.name: es06
    node.master: true
    node.data: true
    bootstrap.memory_lock: false
    bootstrap.system_call_filter: false
    network.host: 172.19.0.16
    http.port: 9200
    transport.tcp.port: 9300
    http.cors.enabled: true
    http.cors.allow-origin: "*"
    discovery.seed_hosts: ["172.19.0.14","172.19.0.15","172.19.0.16"]
    cluster.initial_master_nodes: ["172.19.0.16"]
    discovery.zen.minimum_master_nodes: 2
    http.cors.allow-headers: Authorization
    xpack.security.enabled: true
    xpack.security.authc.accept_default_password: true

    启动容器

    // 容器指定自动重启、内存限制512m、使用内部网络(据说可以更快),指定容器IP,指定对外映射端口(其中9200是网页http用,9300是程序tcp用),将数据挂载到宿主机,容器名称命名。。
    docker run --restart=always -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -d --net esnetwork --ip 172.19.0.14 -p 9204:9200 -p 9304:9300 -v /home/soft/ES/config/es04.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/soft/ES/data/data04:/usr/share/elasticsearch/data -v /home/soft/ES/logs/logs04:/usr/share/elasticsearch/logs --name es04 elasticsearch:7.1.1 docker run --restart=always -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -d --net esnetwork --ip 172.19.0.15 -p 9205:9200 -p 9305:9300 -v /home/soft/ES/config/es05.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/soft/ES/data/data05:/usr/share/elasticsearch/data -v /home/soft/ES/logs/logs05:/usr/share/elasticsearch/logs --name es05 elasticsearch:7.1.1 docker run --restart=always -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -d --net esnetwork --ip 172.19.0.16 -p 9206:9200 -p 9306:9300 -v /home/soft/ES/config/es06.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/soft/ES/data/data06:/usr/share/elasticsearch/data -v /home/soft/ES/logs/logs06:/usr/share/elasticsearch/logs --name es06 elasticsearch:7.1.1

    服务启动成功后,需要在主节点master上设置密码后,从1个点无需配置,自动同步。

    // 查看容器启动情况
    [root@localhost data]# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 9cff40539dd1 elasticsearch:7.1.1 "/usr/local/bin/dock…" 3 hours ago Up 2 minutes 0.0.0.0:9206->9200/tcp, 0.0.0.0:9306->9300/tcp es06 3b37327ea7f5 elasticsearch:7.1.1 "/usr/local/bin/dock…" 3 hours ago Up 2 minutes 0.0.0.0:9205->9200/tcp, 0.0.0.0:9305->9300/tcp es05 ec5e2a2b8f43 elasticsearch:7.1.1 "/usr/local/bin/dock…" 3 hours ago Up 2 minutes 0.0.0.0:9204->9200/tcp, 0.0.0.0:9304->9300/tcp es04 // 进入容器es04
    [root@localhost data]# docker exec
    -it es04 /bin/bash
    // 设置默认账号密码,如下,这些账号在不通的服务系统接入的时候使用,其中elastic是类似超级管理员。权限最大。 [root@ec5e2a2b8f43 elasticsearch]# bin/elasticsearch-setup-passwords interactive Initiating the setup of passwords for reserved users elastic,apm_system,kibana,logstash_system,beats_system,remote_monitoring_user. You will be prompted to enter passwords as the process progresses. Please confirm that you would like to continue [y/N]y // 这里需要手动输入密码 Enter password for [elastic]: Reenter password for [elastic]: Enter password for [apm_system]: Reenter password for [apm_system]: Enter password for [kibana]: Reenter password for [kibana]: Enter password for [logstash_system]: Reenter password for [logstash_system]: Enter password for [beats_system]: Reenter password for [beats_system]: Enter password for [remote_monitoring_user]: Reenter password for [remote_monitoring_user]:
    // 当出现如下内容后,证明设置成功。 Changed password
    for user [apm_system] Changed password for user [kibana] Changed password for user [logstash_system] Changed password for user [beats_system] Changed password for user [remote_monitoring_user] Changed password for user [elastic]

    设置kibana配置文件中,加入用户名密码,其实只是加上,kibana启动后,会根据这个用户名密码访问es,判断是否能够访问,与权限无关,我们只需要给上面设置的用户kibana就可以。

    我的配置文件如下,然后重启。

    这里主要是配置了当前服务名,端口,集群es地址(其实写一个也可以,但是一旦不巧你写的那个节点挂掉后,就无法访问了。所以建议多写几个。)

    kibana我的用户名与密码一致

    2、kibana.yml

    server.name: kibana
    server.host: "0"
    elasticsearch.hosts: [ "http://192.168.89.138:9204","http://192.168.89.138:9205", "http://192.168.89.138:9206" ]
    elasticsearch.username: "kibana"
    elasticsearch.password: "kibana"
    server.port: 5601

    启动kibana

    // 容器指定自动重启、内存限制512m、使用内部网络(据说可以更快),指定容器IP,指定对外映射端口,将数据挂载到宿主机,容器名称命名。。
    docker run --restart=always -e ES_JAVA_OPTS="-Xms512m -Xmx512m" 
    -d --name kibana -p 5601:5601 
    -v /home/soft/ELK/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml 
    192.168.89.132/third/kibana:7.1.1

    启动完成后,访问服务kibana。可以看到已经有用户名密码对话框了。输入对应用户名字

    http://192.168.89.139:5601/

    登录成功,但是,信息无法查看。权限没开通,返回如下信息。

    {"statusCode":403,"error":"Forbidden","message":"Forbidden"}

    我使用超级用户elastic访问就可以进去了

    登录进入系统后。进入管理按钮(Management),就可以看到多了一块东西,就是用户与角色权限配置

    这里是用户信息,可以看到这些用户就是我们在es重置密码的默认用户。

     接下来,我们给kibana用户配置相应的角色,权限。就可以用kibana登录查看信息了。

    3、logstash配置。

    我们数据来源是通过logstash收集写入的,

    所以这里的配置文件也需要加上es的账号密码,我将logstash_system配置在配置文件中。

    logstash我这采用的是与filebeat结合使用。因为logstash启动处理消耗内存有点巨大。所以只在一台服务器上用他做接收,数据过滤,转存信息到ES中。

    配置文件 logstash.yml

    path.config: /usr/share/logstash/conf.d/*.conf
    path.logs: /var/log/logstash

    另外配置conf.d目录下。

    增加文件 命名无所谓,反正是.conf结尾,logstash 就可以识别。change.conf

    作用 

     input 是数据源

    filter 数据过滤,因为这里字段很多,所以我将很多不必要的节点字段过滤掉了。

    output  信息存储到哪里。我们是ES所以就这样了。

    input {
    beats {
    port => 5044
    codec => "json"
    }
    }

    filter {
    date {
    match => [ "@timestamp" , "yyyy/MM/dd:HH:mm:ss Z" ]
    }
    mutate {
    remove_field => ["host","ecs","json","agent","input","log","@version","tags"]
    }
    }

    output {
    elasticsearch {
    hosts => ["192.168.89.138:9204","192.168.89.138:9205","192.168.89.138:9206"]
    user => "logstash_system"
    password => "logstash_system"
    index => "%{[fields][systemid]}-%{+YYYY.MM.dd}"
    }
    }

    启动脚本。

    docker run --restart=always -e ES_JAVA_OPTS="-Xms512m -Xmx512m" 
    -it -d -p 5044:5044 -p 9600:9600 --name logstash 
    -v /home/soft/ELK/logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml 
    -v /home/soft/ELK/logstash/config/conf.d/:/usr/share/logstash/conf.d/ 
    192.168.89.132/third/logstash:7.1.1

    启动运行查看,看到数据进来了。

    未修改加入用户名密码返回日志

    [2020-03-12T15:57:14,349][WARN ][logstash.outputs.elasticsearch] Attempted to resurrect connection to dead ES instance, but got an error. {:url=>"http://192.168.89.138:9206/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError, :error=>"Got response code '401' contacting Elasticsearch at URL 'http://192.168.89.138:9206/'"}

    增加用户名密码后

    4、总结:没做过感觉很复杂,做过后,感觉我也能做。只是网上写的经验各种的复制粘贴一大堆。能有用的还需要看造化了。

  • 相关阅读:
    学习进度(第三周)
    2019春季学期进度报告(十)
    团队软件开发第一次冲刺(六)
    单词 统计续
    团队软件开发第一次冲刺(五)
    团队软件开发第一次冲刺(四)
    团队软件开发第一次冲刺(三)
    团队软件开发第一次冲刺(二)
    团队软件开发第一次冲刺(一)
    2019春季学期进度报告(九)
  • 原文地址:https://www.cnblogs.com/a393060727/p/12469410.html
Copyright © 2011-2022 走看看