web 系统是典型的分布式部署，由此对其运行状况，硬件运转情况监控也显得尤为重要，这些监控数据表面上对业务运行没有多大的用处（属于基础数据），但正是这些基础数据形成了业务“流”。比如，用户搜索爱好，浏览商品爱好，购买爱好、分布，用户成员之间的关系（在推荐系统中比较常见）。
现在成熟的web监控系统，有logstash—开源免费，splunk—不开源，有免费的版本但数据大小有限制，现在对比下这两个系统，我跳过这两个系统安装步奏。
LogStash
1、定义： 时间+事件=日志；
2、语言实现：
客户端用ruby实现，依赖JRuby等，嵌入了elasticsearch,形成logstash-1.2.2-flatjar.jar 大约20M的包，个人而言很不喜欢这种方式，在生产环境中是不会把存储和搜集放到一个地方的，但官方却加入了es且你不能修改配置。
3、体系架构：
可以看出这是典型的：数据源+Broker+存储+webUI，这套体系非常灵活从数据采集到数据输出都可以自定义，尤其是后端的Search 使用ES，ES这个搜索引擎鼎鼎大名，我非常喜欢他查询DSL，呵呵。
4、input ，output配置：
这是个最简单的日志监控了，结果输出到es中，当然也可以输出到redis中，这里的输出位置可以配置是个很讨人喜欢的功能；其input的type是ES的存储索引表，这个可以自定义，其他filter也是可以配置的这样可以只收集需要的信息，非常灵活，（splunk也可自定义的，下面我再分析）（题外话，logstash在windows安装有点麻烦，要仔细点），我们看看官方提供的配置，如下
这里我只截了部分图，可以说非常齐全，具体的可以参考http://logstash.net/docs/1.2.2/
5、ES 存储:
这里存储也是可以配置的，我配置为3个片，2个副本，其实日志属于内部使用，访问量很小，所以可以节约点用存储成本，从上面可以看出索引名是系统自动生成的好处是很明显一天一个日志类别，不好的是如果我想某个域下的日志放到一起，是不能自定义的。
可以看出其日志搜集是一行一行读取的，如果你在记事本写一大块日志信息而存储到ES中，可能回出现多行日志的错觉，这个不是很重要
6、web UI:
logstash 1.2.2版本使用了全新的webUI 大致是htm5+JS构成，这样可以搭建个独立web Ui 而不必像之前的版本那样”粘“在一起。这个UI和splunk UI有点类似，但其功能远没有splunk UI丰富
7、事件预警：
logstash 可以执行script，exec程序达到预警的作用（本人没有使用这个功能）
8、外部接口：
ES rest风格接口非常强大，完全可以定制化
基于上面几个方面的对比，logstash 这套系统，配置灵活，天生融入ES引擎，webUI 就我个人来说其体验不好，单调繁琐，可能以后的版本的会改进吧。如果你有时间完全可以使用其数据源服务，后端存储使用ES，WEbUI 自己写
Splunk
1、定义：IT数据收集，分析器 。范围挺广的
2、语言：C/C++，Python
3、架构：
splunk 不开源，其关键模块index，我猜想可能为luncen C++版本吧（现成的不要，难道从头到尾写搜索引擎？）
4、input，output 配置：
splunk配置更为强大，提供了默认的全局配置（default），及个性化定制（local），收集的数据颇多
从配置可以看出Index 这个关键配置，filter也是可以配置的，是可以把数据按需分别存储的，这个比logstash 灵活，其中host是机器名，推荐手写，否则splunk 自动收集未必是你想要的
5、服务端存储：
增加indexes.conf配置，默认所有数据存储到main索引中，推荐数据分开存储，由于其不开源，所以无法看到内部数据存储具体样式，当然可以看到存储文件路径的
6、web UI
几个关键字段，index,host,sourcetype这几个最好自定义处理，splunk 提供以下几个非常有用的功能
1）、是“字段提取”，这样达到灵活日志切割，而logStash是没有这个功能的，但是splunk 的字段提取是在搜集之后执行的，如果在收集数据时就执行这个功能，那性能应该比收集完后提供高
2）、splunk 提供了job配置功能，这个类似数据存储过程了，非常强大，如图。（我手动执行的这个job，统计30秒内日志中错误，按类别，host，由于Job太多所以不贴图了）
3）、splunk 提供了权限管理，这个也很棒的
4）、可以把除日志之外的数据手动上传到splunk，splunk实现分析，统计
5）、splunk支持集群搜索
6）、支持UI端索引操作
7）、五花八门的报表，这个有点花俏了—个人观点
7、外部接口
支持REST风格的python,java,C#客户端
8、预警功能
预警功能是我自己开发的一个子程序，很简单，项目内部使用RX net EDA驱动和TASK协作实现，支持邮件，短信，只需配置就几个文件就行了，报警形式大致 如：
“时段：xx，机器：xx，类别：xx，数量：xx”，项目结构如下：
9、splunk 提供的功能五花八门，常用的就那么几个
10、splunk其他功能这里我不再赘诉
总结如下：
这两个系统，架构都遵循了，数据源+格式化，过滤+分布式存储+web UI，其实这里也隐含了监控系统架构的模式
1）、独立agent或者是寄宿式agent，（我们内存net异常监控AIC系统就是使用的寄宿式agent）
2）、直接和服务端交互或者通过broker （分布式系统中大多使用了broker这种模式）
，在结构上logstash 更加灵活，而splunk 一手包办，从目前来看splunk功能更强大，以后呢？期待logstash，我更喜欢开源的项目
3）、这两个系统都缺乏事件处理跟踪了，当然这个有点超出其系统本身范围了，而我们内部的AIC系统是集成了net日志搜集，分析，事件跟踪但缺少一般日志收集分析，正好二者互补了。