zoukankan      html  css  js  c++  java
  • 通过用户日志分析理解数据处理流程

    注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6625473586012357123/

    用户的操作日志

    系统界面

    通过用户日志分析理解数据处理流程

     

    查看日志信息

    进入到/usr/local/resin/log查看access_log

    通过用户日志分析理解数据处理流程

     

    我们把文件下载到本地查看

    通过用户日志分析理解数据处理流程

     

    每一行就是一条数据,是用户访问的一条记录,我们以一条数据为准

    通过用户日志分析理解数据处理流程

     

    看到这些数据我们应该知道:

    1、应用系统的web服务器(数据来源)

    2、每个字段的名称和含义(数据意义)

    因为例子我们已经知道是nginx服务器,如果实际情况中一定要弄清楚数据字段的含义。

    那么我们来查看nginx服务器的配置:

    查看配置:/etc/nginx/nginx.conf

    通过用户日志分析理解数据处理流程

     

    其中的配置信息

    通过用户日志分析理解数据处理流程

     

    我们变化一下,可以看到有下面的字段

    通过用户日志分析理解数据处理流程

     

    结合之前的数据和字段内容我们得到:

    通过用户日志分析理解数据处理流程

     

    日志数据字段我们弄清楚之后,我们就要对日志文件进行处理了。

    日志文件很多时候不能保证正好是如此的,即数据不符合我们的要求,例如:缺少某个字段、时间格式转换等。确保数据质量,数据质量差会出现很多问题,比如空指针异常,这就需要清洗原始数据成为我们需要的。比较常用的MapReduce、hive。比如我们的需要有以下的几种(里面的情况可以上网去查询下用途,这里提供个思路)

    通过用户日志分析理解数据处理流程

     

    那我们总结下基本的数据处理流程:

    通过用户日志分析理解数据处理流程
  • 相关阅读:
    GDB常用命令总结
    进程使用的文件描述符fd值达到最大值引起的问题
    RedHat静态Ip地址配置
    Hotspot JVM默认垃圾收集器
    JVM常用参数及调优
    spring-boot定制和优化内嵌的Tomcat
    平面设计技能
    docker 虚悬镜像
    Linux 常用命令
    同步、异步、阻塞、非阻塞
  • 原文地址:https://www.cnblogs.com/bqwzy/p/10081038.html
Copyright © 2011-2022 走看看