ELK单台日志收集系统的搭建

对于运维来说搭建日志收集系统还是很有用的，没有它每次要看日志都要到服务器上用命令行查看，比较繁琐。

 

安装JDK

yum install -y java-1.8.0-openjdk.x86_64

下载软件
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.1.1.rpm
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.1.1-x86_64.rpm

wget https://download.elastic.co/beats/filebeat/filebeat-1.3.0-x86_64.tar.gz

1.安装Elasticsearch   
yum localinstall elasticsearch-5.1.1.rpm -y

 修改Elasticsearch 配置文件：

vim /etc/elasticsearch/elasticsearch.yml
cluster.name: myelk                          #设置群集名
node.name: node-1                          #设置节点名
node.attr.rack: r1               
path.data: /data/elk                          #存储elk文件路径
path.logs: /data/logs                          #存储日志路径
network.host: 0.0.0.0                         #监控IP
http.port: 9200                                  #端口

 建立目录设置目录权限，启动Elasticsearch (启动报错的话见最下面错误解决)
mkdir -pv /data/{elk,logs}
chown -R elasticsearch.elasticsearch /data/
/etc/init.d/elasticsearch start

netstat -tlunp|grep java
tcp        0      0 :::9200                     :::*                        LISTEN      2341/java           
tcp        0      0 :::9300                     :::*                        LISTEN      2341/java

装完可以web访问可以看到一个简单的web界面，表示正常
http://192.168.20.22:9200/


 2.安装kibana     
    
yum localinstall kibana-5.1.1-x86_64.rpm -y

修改配置文件
/etc/kibana/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://192.168.20.22:9200"
   

启动：
/etc/init.d/kibana start
[root@cloud indices]# netstat -tlunp
tcp        0      0 0.0.0.0:5601                0.0.0.0:*                   LISTEN      2478/node

访问web界面可以看到http://192.168.20.22:5601/

在被收集服务器上安装filebeat收集访问日志，并发给elk服务器 注：用logstash收集可以 是可以的，但logstash会占用好多内存所以用filebeat。

tar  xvf  filebeat-1.3.0-x86_64.tar.gz

mv filebeat-1.3.0-x86_64  /data/filebeat1.3.0

修改配置文件,我收集项目的catalina和error日志。

cat /data/filebeat1.3.0/filebeat-app-catalina.yml |grep -vE '^      #|^    #|^#|^$|  #'
filebeat:
  prospectors:
    -
      paths:
        - /data/tomcat-app/logs/catalina.out
      input_type: log
      document_type: 192.168.20.180_tomcat-app-catalina-log
output:
  elasticsearch:
    hosts: ["192.168.20.22:9200"]
    index: "filebeat_192.168.20.22_app_catalina"
shipper:
logging:
  files:
    rotateeverybytes: 10485760 # = 10MB


/data/filebeat/filebeat -e -c  /data/filebeat1.3.0/filebeat-app-catalina.yml &
ps -ef|grep filebeat
hladmin   5408  4219  0 Mar05 pts/1    00:00:27 /data/filebeat1.3.0/filebeat -e -c /data/filebeat1.3.0/filebeat-app-catalina.yml

cat filebeat-app-error.yml |grep -vE '^      #|^    #|^#|^$|  #'
filebeat:
  prospectors:
    -
      paths:
        - /data/tomcat-app/logs/app/error.log
      input_type: log
      document_type: 10.139.49.180_tomcat-app-error-log
output:
  elasticsearch:
    hosts: ["10.253.44.80:9220"]
    index: "filebeat_10.139.49.180_app_error"
shipper:
logging:
  files:
    rotateeverybytes: 10485760 # = 10MB

/data/filebeat/filebeat -e -c  /data/filebeat1.3.0/filebeat-app-error.yml &

ps -ef|grep filebeat

hladmin   5408  4219  0 Mar05 pts/1    00:00:27 /data/filebeat1.3.0/filebeat -e -c /data/filebeat1.3.0/filebeat_tzp-app-catalina.yml
hladmin   5522  4219  0 Mar05 pts/1    00:00:24 /data/filebeat1.3.0/filebeat -e -c /data/filebeat1.3.0/filebeat_tzp-app-error.yml

然后我们去到web页面配置收集日志

点击Create创建

点击可以 看到日志了