1、shell三剑客同居、分析nginx日志：
1）在企业生产环境中，日志内容主要用来做什么？ 日志内容主要用于运维人员、开发人员、DBA排错软件服务故障的，因为通过日志内容能够第一时间找到软件服务的异常或者故障原因，从而第一时间解决问题，降低企业的损失。
2）日志内容在企业中，除了用于排错、定位问题之外。运维u人员、开发人员还可以对日志内容进行分析、统计、过滤，评估网站访问量、PV（Page Veiw）、UV（uniq visitor）、IP（独立IP）、用于访问行为等。
3）基于SHELL编程三剑客awk、sed、grep来分析、统计线上nginx日志、统计nginx访问日志全天总的请求数：
wc -l access_20200228.log|cut -d" " -f1 awk '{print $0}' access_20200228.log|wc -l awk '{print NR}' access_20200228.log|tail -1 sed = access_20200228.log|tail -2|head -1 grep -aic "" access_20200228.log
4）基于SHELL编程三剑客awk、sed、grep来分析、统计线上nginx日志，统计nginx访问日志全天（09：00-11：00）总的请求数：
grep "2020:09:00" access_20200228.log|wc -l|more grep "2020:11:00" access_20200228.log|wc -l sed -n '/2020:09:00/'p access_20200228.log awk "/2020:09:00/,/2020:11:00/" access_20200228.log|wc -l sed -n '/2020:09:00/,/2020:11:00/'p access_20200228.log|wc -l
5）基于SHELL编程三剑客awk、sed、grep来分析、统计线上nginx日志，统计nginx访问日志全天（09：00-11：00）总的请求数，将访问的用户IP打印出来， 将访问量排前20名IP打印：
将访问用户IP打印出来：
sed -n '/2020:09:00/,/2020:11:00/'p access_20200228.log|cut -d" " -f1 sed -n '/2020:09:00/,/2020:11:00/'p access_20200228.log|awk '{print $1}' sed -n '/2020:09:00/,/2020:11:00/'p access_20200228.log|grep -oE "([0-9]{1,3}.){3}[0-9]{1,3}"
将访问量排前20名的IP打印出来：
sed -n '/2020:09:00/,/2020:11:00/'p access_20200228.log|grep -oE "([0-9]{1,3}.){3}[0-9]{1,3}"|sort -n|uniq -c sed -n '/2020:09:00/,/2020:11:00/'p access_20200228.log|grep -oE "([0-9]{1,3}.){3}[0-9]{1,3}"|sort -n|uniq -c|sort -nr|head -20
２、ELK日志企业概念：
1）根据如上的三剑客awk、sed、grep统计、分析线上nginx日志，发现执行效率和结果很低，速度很慢，尤其是日志量非常庞大的时候，效率极低，在企业中要求实时统计、分析，awk、sed、grep显然不可取的。
2）在企业生产环境中，常见的日志种类：
系统日志；
内核日志；
审计日志；
安全日志；
应用日志；
3）ELK不是一款软件组成，是由三款软件组成的，分别是：ElasticSearch、Logstash、Kibana，其中ES、Logstash均是基于Java语言开发的，所以底层需要依赖JAVA JDK工具包。
ElasticSearch
ElasticSearch是基于JAVA语言开发的开源的、分布式、搜索存储引擎，主要是用于持久化存储日志内容（硬盘上）、同时具备实时的检索、分析、统计功能。类似百度搜索引擎的功能。
Logstash
Logstash是基于JAVA语言开发的开源的、免费的日志收集工具，主要是用于收集客户端的日志内容（系统、内核、安全、应用日志），同时可以过滤日志内容，最终将日志内容持久化存储到ElsticSearch服务器。 每个客户端主机均需要安装Logstash日志收集插件。
Kibana
Kibana是基于Nodejs语言开发的ＷＥＢ程序（UI界面：web前端框架），主要是为ElasticSearch、Logstash提供WEB界面操作，方便运维人员、开发人员更加直观的对ELK平台配置、日志分析、日志统计等。
4）ELK分布式日志平台工作原理：
客户端安装Logstash日志收集工具，通过Logstash收集客户端应用程序的日志内容，将所有的日志过滤出来，并且存入ElasticSearch搜索引擎里，然后通过Kibana UI在WEB前端展示给用户，用户需要可以进行查询指定的ES引擎中日志内容。
3、ELasticsearch配置实战（5.3版本）：
部署配置ES，需要配置JDK 环境，JDK（Java Development Kit）是Java 语言的软件开发工具包（SDK）：
分别下载ELK软件包：
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.0.tar.gz wget https://artifacts.elastic.co/downloads/logstash/logstash-5.3.0.tar.gz wget https://artifacts.elastic.co/downloads/kibana/kibana-5.3.0-linux-x86_64.tar.gz
1）ELK安装环境信息：（其中Elasticcsearch与Kibana可以安装在一台机器上 ）
192.168.1.11 Elasticsearch 192.168.1.13 Kibana 192.168.1.14 Logstash
2）192.168.1.12 安装ES(虚拟机最好给2G)：
安装JDK：
mkdir -p /usr/java tar xf jdk1.8.0_131.tar.gz -C /usr/java
配置环境变量：vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_131 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOMR/bin
使环境变量立刻生效，同时查看JAVA版本，显示版本信息，则证明安装成功：
source /etc/prefile
java -version
下载ES并配置：
tar xf elasticsearch-5.3.0.tar.gz
mv elasticsearch-5.3.0 /usr/local/elasticsearch
修改 /usr/local/elasticsearch/config/jvm.options文件
-xms最小使用内存，-xmx最大使用内存： 两个需要设置为一样，或者启动报错
-xms最小使用内存，-xmx最大使用内存： 两个需要设置为一样，或者启动报错 -xms 1g -xmx 1g
修改 /usr/local/elasticsearch/config/elasticsearch.yml文件：
设置监听地址为network.host:0.0.0.0全网地址：
创建elk普通用户，用来启动ES 服务： ES服务为了安全默认不允许root启动ES:
useradd elk chmod -R elk. /usr/local/elasticsearch/ su - elk
启动ES服务
/usr/local/elasticserch/bin/elasticsearch -d
4、ELasticsearch配置故障演练：
查看日志：
tailf /usr/local/elasticsearch/logs/elasticsearch.log
启动后可能会报错，需要修改如下内核参数设置：
1）SecComp功能不支持： 以下为报错信息
ERROR: bootstrap checks failed system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk；
因为Centos6不支持SecComp,而ES5.3.0默认bootstrap.system_call_filter为true进行检测，所以导致检测失败，失败后直接导致ES不能启动。
Seccpmp（全称securecomputing mode）是Linux Kernel从2.6.23版本开始所支持的一种安全机制。
在Linux系统里，大量的系统调用（systemcall）直接暴露给勇敢态程序。但是并不是所有的系统调用都被需要，而且不安全的代码滥用系统调用会对系统造成安全威胁。通过Seccomp，我们限制程序使用某些系统调用，这样可以减少系统的暴露免，同时使程序进入一种“安全”的状态。
解决方法：
在elasticsearch.yml文件中配置bootstrap.system_call_filter为false，注意要在Memory下面
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
2）内核参数设置问题：
max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
解决方法： /etc/security/limits.conf文件中最后添加：
* soft nofile 65536 * hard nofile 65536
max mumder of threads [1024] for user [hadoop] is too low,increase to at least [2048]
解决方法： /etc/security/limits.d/20-nproc.conf soft nproc 2048
max virtual memory areas vm.max_map_count[65530]is too low, increase to at least [262144]
解决方法： /etc/sysctl.conf 修改完 sysctl -p生效
vm.max_map_count=262144
initial heap size [536870912] not equal to maximum heap size [1073741824];this can canuse resize pauses and prev ts mlockall from locking the entire heap
解决方法： /usr/local/elasticsearch/config/jvm.options -xms 1g -xmx 1g
Max_map_count文件包含限制一个进程可以拥有的VMA（虚拟内存区域）的数量。虚拟内存区域是一个连续的虚拟地址空间区域。再进程的生命周期中，没当程序尝试再内存中映射文件，链接到共享内存端，或者分配堆空间的时候，这些区域将被创建。
调优这个值将限制进程可拥有VMA的数量。限制一个进程拥有VMA的总数可能导致应用程序出错，因为当进程达到VMA上线但又只能释放少量的内存给其它的内核进程使用时，操作系统会抛出内存不足的错误。
如果你的操作系统再NORMAL区域仅占用少量的内存，那么调低这个值可以帮助释放内存给内核用。
sysctl -p 或者退出终端：
至此ES配置完毕，如果像配置ES集群模式，同样也非常简单，只需要拷贝ES副本即可，然后修改相对应的参数。
4、Kibana WEB安装配置：
部署安装Kibana 不需要安装JAVA JDK环境，直接下载源码，解压即可：
tar xzf kibana-5.3.0-linux-x86_64.tar.gz mv kibana-5.3.0-linux-x86_64 /usr/local/kibana/
修改Kibana配置文件信息，设置ES地址：
vim /usr/local/kibana/config/kibana.yml
启动Kibana服务：
后台启动： cd /usr/local/kibana/bin/ nohup ./kibana & 查看监听： netstat -nutlp|grep -E "5601"
web浏览访问kibanaIP地址：5601端口：
5、Logstash客户端配置实战：
由于Logstash基于JAVA语言开发，Agent部署需要安装JDK运行环境库：
mkdir -p /usr/java/ tar xf jdk-1.8.0_131 -C /usr/java/ vim /etc/profile添加如下代码： export JAVA_HOME=/usr/java/jdk1.8.0_131 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOMR/bin 解压Logstash软件： tar xf logstash-5.3.0.tar.gz mv logstash-5.3.0 /usr/local/logstash
6、ELK收集系统标准日志：
#创建收集日志配置目录：
mkdir -p /usr/local/logstash/config/etc
cd /usr/local/logstash/config/etc
创建ELK整合配置文件： vim elk.conf内容如下：
input { stdin { } } output { stdout { codec => rubydebug {} } elasticsearch { hosts => "192.168.1.11:9200" } }
启动logstash服务：
/usr/local/logstash/bin/logstash -f elk.conf 后台启动： nohup /usr/local/logstash/bin/logstash -f elk.conf & ps -ef|grep java
7、ELK-WEB日志数据图表：
Logstah启动窗口中输入任意信息，会自动输出相应格式日志信息：
浏览器输入：http://KibanaIP地址：5601/
为了使用Kibana 你必须配置至少一个索引模式，索引模式是用于确认Elasticsearch index，用来运行搜索和分析，也可以用于配置字段。
index contains time-based events 索引基于时间的事件；
Use event times to create index names [DEPRECATED] 使用事件时间来创建索引名称【过时】
index name or pattern 索引名字或者模式；
模式允许你定义动态的索引名字 使用*作为通配符，例如默认：
logstash-*
选择：
Time field name;
单击Discover，可以搜索和浏览 Elasticsearch 中的数据，默认搜索的是最近15分钟的数据。 可以自定义选择时间。