python实现web分页日志查看

    当我们维护一个网站时，无论前台还是后台，经常会出现各种个样的问题。有时候问题很难直观的发现，这个时候只能查看各种日志来跟踪问题。但是查看日志有各种个样的问题。首先，要用各种工具登陆到服务器，这个有时候很麻烦。登录上去可能没有合适的工具查看日志，就算有，中文偶尔也会来个乱码啥的。最郁闷的是有的日志文件很大，打开要等很久，看起来也不方便。

    基于上面的原因，我用python的bottle模块做了个web版的分页日志查看器，bottle怎么安装使用具体可看下面的指南：
          http://bottlepy.org/docs/dev/tutorial.html

    这里没有太多考虑安全因素，如果考虑安全最好加个简单的登录功能，或者直接对请求ip进行校验。性能方面还需要优化，文件太大还是有点慢。
    下面是实现代码，只有一个文件：
    

#coding=utf-8
'''
日志文件查看器
Created on 2013年8月20日

@author: alala
'''

import os
import bottle
from bottle import route, run, template

#将自定义模板目录添加到模板搜索路径集合
templatesDir = os.getcwd()
bottle.TEMPLATE_PATH.insert(0,templatesDir)

#日志根目录
LOG_DIR = "/Tem/"
#每页显示日志行数
PAGE_SIZE = 4000

#列出某个子目录的所有日志文件
@route('/')
@route('/<dirName>')
def listDir(dirName='logs'):
    if dirName == 'favicon.ico':
        return 0
    #读取目录
    files = os.listdir(LOG_DIR + dirName)
    return template('logList', files=files,dirName=dirName)

#查看某个日志文件
@route('/<dirName>/<logFile>')
@route('/<dirName>/<logFile>/<pageNo>')
def viewLog(dirName,logFile,pageNo=-1):
    filePath = LOG_DIR + dirName + "/" + logFile;
    pageNo = int(pageNo)
    
    #获取日志行数
    lineCount = 0
    f = open(filePath, 'rb')
    try:
        while True:
            buf = f.read(1024*1024)
            if not buf:
                break
            lineCount += buf.count('
')
    finally:
        f.close()
    #计算页数
    pageCount = lineCount / PAGE_SIZE
    if lineCount % PAGE_SIZE != 0:
        pageCount += 1
    #调整当前页码    
    print (pageNo, pageCount, pageNo >= pageCount)
    if (pageNo < 0) or (pageNo >= pageCount) or (pageNo == -1):
        pageNo = pageCount - 1
    
    #读取当页日志
    lines = []
    f = open(filePath, 'r')    
    try:
        maxNo = (pageNo + 1) * PAGE_SIZE
        minNo = pageNo * PAGE_SIZE
        lineNo = 0
        for line in f:
            if lineNo >= maxNo:
                break
            elif lineNo >= minNo:
                lines.append(line)
            lineNo += 1
    finally:
        f.close()
    #使用模板构建显示页面    
    return template('logView', dirName = dirName, logFile = logFile,
                    pageNo = pageNo,lines = lines, pageCount = pageCount)

run(host='localhost', port=5200)
#paste提供多线程请求处理，性能比默认的好
#run(host='localhost', port=5200,server='paste')

    下面是使用到的两个模板：
    

%for f in files:
<a href="{{'/%s/%s' % (dirName, f)}}">{{f}}</a><br/>
%end

%for i in range(0,pageCount):
    <a href="{{'/%s/%s/%s' % (dirName, logFile, i)}}" 
        style="color:{{'red' if pageNo == i else 'black'}};">{{i}}</a>
%end
<br/>
<br/>
%for line in lines:
{{line}}<br/>
%end