logstash 的output插件
nginx，logstash和redis在同一台机子上
yum -y install redis，vim /etc/redis.conf 设置bind 0.0.0.0 ，使redis监听在所有端口上
systemctl start redis.service, cd /etc/logstash/conf.d
vim nglogredissample.conf
input {
file {
path => ["/var/log/nginx/access.log"]
type => "nginxlog"
start_position => "beginning"
}
}
filter {
grok {
match => { "message" => "%{NGINXACCESS}" }
}
}
output {
redis {
port => "6379"
host => ["127.0.0.1"]
data_type => "list"
key => "logstash-%{type}"
}
}
其中output是将nginx的日志发送给redis的list，list是一个链表结构，主要功能是push、pop、获取一个范围的所有值等等，操作中
key理解为链表的名字，Redis的list类型其实就是一个每个子元素都是string类型的双向链表。链表的最大长度是(2的32次方)。我们
可以通过push,pop操作从链表的头部或者尾部添加删除元素。这使得list既可以用作栈，也可以用作队列
%{type}是调用前面的nginxlog, date_type是将数据存入redis的list中
刷新一下nginx的页面，使用redis-cli登陆redis，并使用命令LLEN logstash-nginxlog 就可查看到该list有多少个元素了，使用
lindex logstash-nginxlog 0命令可以查看第一个元素，如果这些元素没被取出将会一直存在于此list中
再启动一台logstash服务器，yum -y install logstash-1.5.4-1.noarch.rpm， cd /etc/logstash/conf.d/，
vim server.conf
input {
redis {
port => "6379"
host => "192.168.204.135"
data_type => "list"
key => "logstash-nginxlog"
}
}
output {
stdout {
codec => rubydebug
}
}
这台logstash服务器的目的是到redis上去取数据，并把数据输出到标准输出，这时刷新一下nginx的页面就可以看到数据了
开启一台elasticsearch服务器，yum -y install java-1.7.0-openjdk-devel， yum -y elasticsearch-1.7.2.noarch.rpm
编辑配置文件：vim /etc/elasticsearch/elasticsearch.yml
编辑：cluster.name: loges node.name: "node1"
service elasticsearch start
/usr/share/elasticsearch/bin/plugin -i bigdesk -u file:///root/bigdesk-master.zip 安装插件
浏览器中http://192.168.204.131:9200/_plugin/bigdesk/ 访问此插件
安装kibana 4.1.4, kibana是一个前端展示数据工具，可以安装在elasticsearch集群中的某一个节点，也可以安装在一台单独的节点
上
tar xf kibana-4.1.4-linux-x64.tar.gz -C /usr/local/ cd /usr/local
ln -s kibana-4.1.4-linux-x64 kibana cd kibana/config
vim kibana.yml
修改：其实默认无需修改什么，因为kibana和上面的elasticsearch服务器在同一台主机上
启动程序在/usr/local/kibana/bin目录下，在/usr/local/kibana目录下使用bin/kibana -h 查看命令帮助
bin/kibana 运行在前台， bin/kibana &运行在后台 ss -tnl 查看5601端口是否开启
浏览器中http://192.168.204.131:5601访问kibana
现在将日志输出到ES集群中去，并有kibana展示
修改前面一台logstash服务器的配置文件，vim server.conf
input {
redis {
port => "6379"
host => "192.168.204.135"
data_type => "list"
key => "logstash-nginxlog"
}
}
output {
elasticsearch {
cluster => "loges"
index => "logstash-%{+YYYY.MM.dd}"
}
}
logstash -f ./server.conf --configtest
[2016-07-21 08:27:28.434] WARN -- Concurrent: [DEPRECATED] Java 7 is deprecated, please use Java 8.
Java 7 support is only best effort, it may not work. It will be removed in next release (1.0).
Configuration OK
检查配置文件时告诉我，虽然java 7尽力支持但见我我使用java 8 因此以后要用java 8咯
实验做到这里报错了，可能是版本的问题，架构是部署logstash在web服务器上收集日志，并将日志传给redis，另外部署一台
logstash到redis上去取日志，然后将取到的日志传给elasticsearch服务器