zoukankan      html  css  js  c++  java
  • 来到fsb的第24天

    背景:数据分析想看数据,就必须去各个平台把数据找出来放在EXCEL表中,然后通过透视表去进行统计,非常的耗时。

    大概清楚自己要做什么了

    将各个平台的数据存储到自己的数据库当中,

    然后搭建自己公司的CRM(后台管理平台),对数据进行进一步的处理,比如各渠道获取的人数(微信、微博等)能展现出一个图表,之前是靠人工去各个平台一个个去找,然后放入EXCEL中,然后进行统计,如果全在自己数据库中,汇总数据就可以不用人工了。

    所以我要做的是:

    1.通过各平台的API,然后自己创建相对应的表,添加必要的字段

    2.通过kettle将json格式的数据导入进去(每天开发会生成json格式的文件给我)

    3.各个平台都做好之后,在进行进一步的汇总统计,需要建新的表,将所有平台的数据汇总到这里,用于CRM的展示。

    为什么要用kettle而不让开发直接入库?

    因为会有重复数据(开发也可以去重~这不算问题),主要是便于管理,通过kettle可以很好的输出日志,知道本次入库了多少条数据,知道入库的成功或失败。

  • 相关阅读:
    python中常用的模块二
    python中常用的模块一
    python类与类的关系
    python类的成员
    关于python的面向对象
    python内置函数2
    python内置函数
    python fileinput模块
    python生成器
    python 迭代器
  • 原文地址:https://www.cnblogs.com/tangbinghaochi/p/7656680.html
Copyright © 2011-2022 走看看