Scribe日志收集工具
概述
Scribe是facebook开源的日志收集系统，在facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。当中央存储系统的网络或者机器出现故障时，scribe会将日志转存到本地或者另一个位置，当中央存储系统恢复后，scribe会将转存的日志重新传输给中央存储系统。
scribe的相关资料比较少，主要限于它的主页（见参考资料1）。此外，它的安装比较复杂，可参见《scribe日志收集系统安装方法介绍》。
架构
如上图所示，Scribe从各种数据源上收集数据，放到一个共享队列上，然后push到后端的中央存储系统上。当中央存储系统出现故障时，scribe可以暂时把日志写到本地文件中，待中央存储系统恢复性能后，scribe把本地日志续传到中央存储系统上。
需要注意的是，各个数据源须通过thrift向scribe传输数据（每条数据记录包含一个category和一个message）。可以在scribe配置用于监听端口的thrift线程数（默认为3）。在后端，scribe可以将不同category的数据存放到不同目录中，以便于进行分别处理。后端的日志存储方式可以是各种各样的store，包括file（文件），buffer（双层存储，一个主储存，一个副存储），network（另一个scribe服务器），bucket（包含多个store，通过hash的将数据存到不同store中），null(忽略数据)，thriftfile（写到一个Thrift TFileTransport文件中）和multi（把数据同时存放到不同store中）。
scribe的全局配置
| global配置 | 默认值 | 说明 |
| port | 0 | 监听端口 |
| max_msg_per_second | 10000 | 每秒处理的最大消息数 |
| max_quque_size | 5000000 | 消息队列的大小 |
| check_interval | 5s | store的检查频率 |
| new_thread_per_category | yes | yes的话，会为每个category建立一个线程来处理 |
| num_thrift_server_threads | 3 | 线程数 |
例如：
port=1463 max_msg_per_second=2000000 max_queue_size=10000000 check_interval=3
store有3种类型：
- 默认store，处理没有匹配到任何store的category； 配置项：category=default
- 带前缀的store，处理所有以指定前缀开头的category；配置项：category=web*
- 复合categories，在一个store里面包含多个category；配置项：categories=rock paper* scissors
store配置
| store 配置 | 默认值 | 说明 |
| category | default | 哪些消息被这个store处理，取值范围：default、、 |
| type | 存储类型，取值范围：file、buffer、network、bucket、thriftfile、null、multi | |
| max_write_interval | 1s | 处理消息队列的时间最小间隔 |
| target_write_size | 16K | 当消息队列超过该值时，才进行处理 |
| max_batch_size | 1MB | 一次处理的数据量 |
| must_succeed | yes | 如果一个处理消息失败，是否重新进入消息队列排队，为no时丢弃该消息 |
例如：
<store> category=statistics type=file target_write_size=20480 max_write_interval=2 </store>
下面介绍不同的store类型：
file
将日志写到文件或者NFS中。目前支持两种文件格式，即std和hdfs，分别表示普通文本文件和HDFS。可配置的选项有：
例如：
<store> category=sprockets type=file file_path=/tmp/sprockets base_filename=sprockets_log max_size=1000000 add_newlines=1 rotate_period=daily rotate_hour=0 rotate_minute=10 max_write_size=4096 </store>
配置解释：
| file store 配置 | 默认值 | 说明 |
| file_path | /tmp | 文件保存路径 |
| base_filename | category name | |
| use_hostname_sub_directory | no | 为yes的话，使用hostname来创建子目录 |
| sub_directory | 使用指定的名字来创建子目录 | |
| rotate_period | 创建新文件的频率 | 可以使用"s"、"m"、"h"、"d"、"w"后缀（秒、分、时、天、周） |
| rotate_hour | 1 | 如果totate_period为d，则取值范围：0-23 |
| rotate_minute | 15 | 如果totate_period为m，则取值范围：0-59 |
| max_size | 1GB | 当文件超过指定大小时进行回滚 |
| write_meta | FALSE | 文件回滚时，最后一行包含下一个文件的名字 |
| fs_type | std | 取值范围："std"和"hdfs" |
| chunk_size | 0 | 数据块大小，如果消息不超过数据块容量，就不应该跨chunk存储 |
| add_newlines | 0 | 为1时，为每个消息增加一个换行 |
| create_symlink | yes | 创建一个链接，指向最新的一个写入文件 |
| write_stats | yes | 创建一个状态文件，记录每个store的写入情况 |
| max_write_size | 1MB | 缓冲区大小，超过这个值进行flush。该值不能超过max_size配置项的值 |
network
network store转发消息到其他scribe服务器上，scribe以长连接的方式批量转发消息。
例如：
<store> category=default type=network remote_host=hal remote_port=1465 </store>
配置解释：
| scribe store 配置 | 默认值 | 说明 |
| remote_host | 远程主机地址 | |
| remote_port | 远程主机端口 | |
| timeout | 5000ms | socket超时时间 |
| use_conn_pool | FALSE | 是否使用连接池 |
buffer
buffer stores有两个子stores，分别为"primary"和"secondary"，当primary store不可用时，才将日志写入secondary store（只能是File Stores或Null Stores）。当primary store恢复工作时，会从secondary store恢复数据（除非replay_buffer=no）。
例如：
<store> category=default type=buffer buffer_send_rate=1 retry_interval=30 retry_interval_range=10 <primary> type=network remote_host=wopr remote_port=1456 </primary> <secondary> type=file file_path=/tmp base_filename=thisisoverwritten max_size=10000000 </secondary> </store>
配置解释：
| buffer store 配置 | 默认值 | 说明 |
| buffer_send_rate | 1 | 在一次check_interval中，从secondary读取多少次消息并发到primary |
| retry_interval | 300s | 在写primary失败后，指定重试的时间间隔 |
| retry_interval_range | 60s | 在写primary失败后，重试的时间间隔在一个时间范围内随机选择一个 |
| replay_buffer | yes | 是否将secondary的消息恢复到primary |
null
丢弃指定category的消息；
例如：
<store> category=tps_report* type=null </store>
bucket
bucket stores将每个消息的前缀作为key，并hash到多个文件中。
例如：
<store>
category=bucket_me
type=bucket
num_buckets=2
bucket_type=key_hash
<bucket0>
type=file
fs_type=std
file_path=/tmp/scribetest/bucket0
base_filename=bucket0
</bucket0>
<bucket1>
...
</bucket1>
<bucket2>
...
</bucket2>
</store>
配置解释：
| bucket store 配置 | 默认值 | 说明 |
| num_buckets | 1 | hash表的bucket个数 |
| bucket_type | 取值范围：key_hash、key_modulo、random | |
| delimiter | : | 识别key的前缀分隔符 |
| remove_key | no | 是否删除每个消息的前缀 |
| bucket_subdir | 每个子目录的名字 |
multi
multi store将消息同时转发给多个子sotres（如store0, store1, store2, ...）。
例如：
<store> category=default type=multi target_write_size=20480 max_write_interval=1 <store0> type=file file_path=/tmp/store0 </store0> <store1> type=file file_path=/tmp/store1 </store1> </store>
Thriftfile
Thriftfile store与File store类似，只是前者将消息发送给Thrift TFileTransport 文件；
例如：
<store> category=sprockets type=thriftfile file_path=/tmp/sprockets base_filename=sprockets_log max_size=1000000 flush_frequency_ms=2000 </store>
配置解释：
| thriftfile store 配置 | 默认值 | 说明 |
| file_path | /tmp | 文件保存路径 |
| base_filename | category name | |
| rotate_period | 创建新文件的频率 | 可以使用"s"、"m"、"h"、"d"、"w"后缀（秒、分、时、天、周） |
| rotate_hour | 1 | 如果totate_period为d，则取值范围：0-23 |
| rotate_minute | 15 | 如果totate_period为m，则取值范围：0-59 |
| max_size | 1GB | 当文件超过指定大小时进行回滚 |
| fs_type | std | 取值范围："std"和"hdfs" |
| chunk_size | 0 | 数据块大小，如果消息不超过数据块容量，就不应该跨chunk存储 |
| create_symlink | yes | 创建一个链接，指向最新的一个写入文件 |
| flush_frequency_ms | 3000ms | 同步Thrift file 到磁盘的频率 |
| msg_buffer_size | 0 | 非0时，拒绝所有大于该值的写入 |
参考文档：
http://dongxicheng.org/search-engine/scribe-installation/
http://dongxicheng.org/search-engine/scribe-intro/
http://blog.octo.com/en/scribe-a-way-to-aggregate-data-and-why-not-to-directly-fill-the-hdfs/
https://github.com/facebookarchive/scribe/wiki/Scribe-Configuration