zoukankan      html  css  js  c++  java
  • 大访问量的网站统计系统

    原文出自:http://www.cnblogs.com/juxiaoqi/archive/2009/12/01/1614395.html

    因为工作需要,准备开发一个网站统计系统(感谢 ztotemliy 同学大力支持)。

    该系统主要功能:统计网站中加了计数器代码的页面每天的PV、UV、IP(精确到小时) ,另外需要分析页面来源网站的一些数据 ……

    初步设计了架构:

     

    大概解读一下:

     1.统计代码是统一的,所有页面都使用统一的代码,类似 Google Analytics 的那种:

    <script src="http://www.google-analytics.com/urchin.js" type="text/javascript"></script> 

    2.用户访问页面,触发统计代码,只是在服务器上记录下一行log文本数据。如下:

    2009-12-01 00:00:00,http://www.google.com/,35996674711058921174,121.28.39.163,http://www.baidu.com/s?wd=google,|Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; Maxthon),8|1024x768

     每个页面的每个用户的每次访问都只是记录一行log文本数据,文本数据可以按照小时分文件,按照url的不同分目录,这样将每个文件的大小进行控制。

    这一行log数据中包括:

    访问页面时间(2009-12-01 00:00:00),

    访问页面URL(www.google.com),

    唯一用户ID(35996674711058921174,

    由统计代码JS文件生成Cookies保存在用户本地),

    用户IP地址(121.28.39.163),

    来源地址(http://www.baidu.com/s?wd=google),

    用户操作系统,浏览器,屏幕等等信息(均由统计代码JS文件获取)…… 

     每个页面的每个用户的每次访问都只是记录一行log文本数据,文本数据可以按照小时分文件,按照url的不同分目录,这样将每个文件的大小进行控制。

     

    测试发现,因为访问量太大,直接写log文件,服务器IO根本来不及,总是丢失数据, ztotem同学想出了先写缓存,再由缓存排队写log文件的办法。 

     

     

     

    3.另外开发一个后台处理程序,来处理这些log文件。(以下form为示例,实际应该是一直默默运行的services)

     

    通过该程序的分析,将相关数据保存至数据库中。

    数据库的设计如下:

     

     

     

     

    4.管理后台再直接调用数据库里的相关数据形成图表显示:

     

  • 相关阅读:
    「杂文」随想录
    「小说」妖精舞于废墟之上
    昨日之盛,明日之俗 ~ SDOI2021 退役记
    P6292 区间本质不同子串个数
    「杂文」生之重
    「闭门造车」二叉分块树
    「杂文」雨色的魔法(一)
    「笔记」斜率优化 DP
    「笔记」后缀数组
    NOIP 2020 AFO 记
  • 原文地址:https://www.cnblogs.com/flyhigh1860/p/3876326.html
Copyright © 2011-2022 走看看