最近做一个日志服务器,各个客户端通过log4net的RemotingAppender把日志发送到日志服务器做统一的存储,大部分实现都很简单,网上找找RemotingAppender的demo,重写服务端的log4net的Appender就可以实现,测试的时候发现一个问题,客户端循环4W条数据,每条间隔2ms执行记录日志,当客户端循环执行完毕的时候服务端才记录了将近两千条数据,这样子的结果完全是不能接受的。
请教老大,排查问题,最后发现通过log4net的RemotingAppender来记录日志它是一个顺序执行过程。只有等上一次记录成功下一次服务端才会继续记录。再次排查发现代码中有一个非常严重的问题,我每次获取到日志信息,对其进行分析后都会插入到文件数据库中,而插入数据库耗时大概30ms。这样子直接导致速度非常慢。后在老大提示下对代码做了改进。
新写了一个队列类,一个静态队列字段用于存放日志信息,一个字段用于标识该队列最大长度,还有一个字段表示当前队列当前长度,当服务端接收到客户端的数据,只会调用队列类的入队列方法,他会继续接受下一次日志信息。队列类中开启一个线程定时去判断当前队列长度是否大于最大长度,若大于则锁住队列,暂停入队列,一次性将队列中数据插入到文件数据库中,最后清空队列释放锁。
最后的效果基本实现客户端与服务端同步执行,延迟在可以接受范围之内。最近看到CLR via C#中提到BeginInvoke差不多也是这种思想,自己开发的时候总是忘记拿来主义,没有吸收别人一些思想。特此做一个记录,用于以后对自己提醒,希望给大家带来点启发。