大家在实际工作中日志是怎么处理的？目前是通过log4j记录到文件的，虽然每天一个文件，单个文件仍然挺大（5-10G），又是在集群环境下（7-8台机器左右），这样一来每天光日志文件就得几十个G，有时候查找某些问题的时候就要下载每台机器的日志文件，然后用文本编辑器（EmEditor等）打开进行搜索，特别费时费力。
希望大家有什么成熟的处理方案或者好的建议能够提供一下（最好是实际工作中用过的）。
1 使用flume集成log4j收集海量日志，存储在hadoop上，利用hive检索日志信息，不过flume对hadoop2.x支持不是很好
2