zoukankan      html  css  js  c++  java
  • ELK日志分析系统部署

    =======================================================================================


    分别部署在不同的服务器上。
       创建多台Elasticearch节点的目的是存放数据的多个副本,在实际生产环境中,节点的数量可能更多,及Logstash.Elasticsearch和kibana集中部署在node1节点上,也可以采用分布式部署,即logstash/Elasticserach

    ============================================================================================

    操作系统IP                        地址主机名                  角色

    CentSO7.5x86_64           192.168.200.113             linux-node1.example.com

    CentSO7.5x86_64           192.168.200.114              linux-node2.example.com

    添加新磁盘用于存放日志,两台都操作

    [root@linux-node2 ~]# systemctl stop firewalld
    [root@linux-node2 ~]# iptables -F
    [root@linux-node2 ~]# setenforce 0

    [root@linux-node1 ~]# hostname
     linux-node1.example.com

    [root@linux-node1 ~]# cat /etc/hosts
    192.168.200.111 linux-node1 linux-node1.example.com
    192.168.200.112 linux-node2 linux-node2.example.com

    格式化磁盘,不分区都可以两台都操作

    [root@linux-node1 ~]# mkfs.xfs /dev/sdb

    [root@linux-node1 ~]# blkid
    /dev/sdb: UUID="51e03a92-6b53-4427-829a-800d00dfa7a2" TYPE="xfs"

    [root@linux-node1 ~]# mkdir /elk

    [root@linux-node1 ~]# cat /etc/fstab

    /dev/mapper/centos-root / xfs defaults 0 0
    UUID=d6156ca9-c851-4e32-9ad3-1bf57130a7f7 /boot xfs defaults 0 0
    /dev/mapper/centos-swap swap swap defaults 0 0
    UUID="51e03a92-6b53-4427-829a-800d00dfa7a2" /elk xfs defaults 0 0  

    [root@linux-node1 ~]# mount -a

    [root@linux-node1 ~]# ls
    elasticsearch-5.5.0.rpm      jdk-8u221-linux-x64.rpm

    [root@linux-node1 ~]#  yum install *.rpm -y                       #最好是单个解压

    node2主机配置文件操作:

    [root@linux-node2 ~]# vim /etc/elasticsearch/elasticsearch.yml 

    17:cluster.name: elk-cluster1        #集群名----》用于elasticsearch架设间通信,node1和node2必须一致
    23:node.name: elk-node2        #节点名(主机名)
    33 :path.data: /elk/data             #数据存放位置
    37 :path.logs: /elk/logs              #日志存放位置
    55: network.host: 192.168.200.112         #绑定ip,0.0.0.0代表所有地址,此处写node2ip是为了只让内网访问,自己写可以改0.0.0.0
    59: http.port: 9200               #监听的9200端口
    68 :discovery.zen.ping.unicast.hosts: ["192.168.200.111", "192.168.200.112"]      #组播地址改ip安全
    

    [root@linux-node2 ~]# systemctl start elasticsearch                        #这里报错因为elk没有权限,导致/elk下没有数据生成

    [root@linux-node2 ~]# ps -ef | grep java
    root 10384 7815 0 17:27 pts/0 00:00:00 grep --color=auto java
    [root@linux-node2 ~]# ll /elk/
    总用量 0

    [root@linux-node2 ~]# ll -d /elk/
    drwxr-xr-x. 2 root root 6 3月 22 16:19 /elk/
    [root@linux-node2 ~]# chown elasticsearch.elasticsearch /elk/      #设置权限

    [root@linux-node2 ~]# ll /elk/logs/
    总用量 4
    -rw-r--r--. 1 elasticsearch elasticsearch 0 3月 22 17:46 elk-cluster1_deprecation.log
    -rw-r--r--. 1 elasticsearch elasticsearch 0 3月 22 17:46 elk-cluster1_index_indexing_slowlog.log
    -rw-r--r--. 1 elasticsearch elasticsearch 0 3月 22 17:46 elk-cluster1_index_search_slowlog.log
    -rw-r--r--. 1 elasticsearch elasticsearch 1448 3月 22 17:46 elk-cluster1.log

    查看端口:

    [root@linux-node2 ~]# ss -tnl
    LISTEN 0 128 ::ffff:192.168.200.112:9200 :::*
    LISTEN 0 128 ::ffff:192.168.200.112:9300 :::*

    查看节点输出情况

    [root@linux-node2 ~]# scp /etc/elasticsearch/elasticsearch.yml root@192.168.200.111:/etc/elasticsearch/elasticsearch.yml 

    node1主机配置文件操作

    [root@linux-node1 ~]# vim /etc/elasticsearch/elasticsearch.yml

    cluster.name: elk-cluster1
    node.name: elk-node1
    path.data: /elk/data
    path.logs: /elk/logs
    network.host: 192.168.200.111
    http.port: 9200
    discovery.zen.ping.unicast.hosts: ["192.168.200.111", "192.168.200.112"]
    

    [root@linux-node1 ~]# chown elasticsearch.elasticsearch /elk/                   #给/elk目录elasticsearch权限
    [root@linux-node1 ~]# systemctl start elasticsearch

    [root@linux-node1 ~]# cd /usr/local/src/
    [root@linux-node1 src]# rz
    z waiting to receive.**B0100000023be50
    [root@linux-node1 src]# ls
    elasticsearch-head.tar.gz

    [root@linux-node1 src]# tar xf elasticsearch-head.tar.gz
    [root@linux-node1 src]# ls
    elasticsearch-head  elasticsearch-head.tar.gz
    [root@linux-node1 src]# cd elasticsearch-head/

    [root@linux-node1 elasticsearch-head]# ll node_modules/grunt           #启动文件目录
    总用量 24
    drwxr-xr-x.  2  500 root   19 4月   6 2016 bin
    -rw-r--r--.  1  500 root 7111 4月   6 2016 CHANGELOG
    drwxr-xr-x.  4  500 root   47 7月  27 2017 lib
    -rw-r--r--.  1  500 root 1592 3月  23 2016 LICENSE
    drwxr-xr-x. 19  500 root 4096 7月  27 2017 node_modules
    -rw-r--r--.  1 root root 3102 7月  27 2017 package.json
    -rw-r--r--.  1  500 root  878 2月  12 2016 README.md

    [root@linux-node1 elasticsearch-head]# yum install nmp -y

  • 相关阅读:
    awk语法
    Linux 统计某个字符串出现的次数
    Linux 输出文件列数,拼接文件
    Linux之date
    C变量类型和作用域
    Java垃圾回收机制
    python 字符编码问题
    Linux文件和windows文件在 换行符的区别
    不要在 foreach 循环里进行元素的 remove/add 操作。remove 元素请使用 Iterator 方式,如果并发操作,需要对 Iterator 对象加锁
    Iterator和ListIterator
  • 原文地址:https://www.cnblogs.com/CMX_Shmily/p/11827023.html
Copyright © 2011-2022 走看看