zoukankan      html  css  js  c++  java
  • 数据分析工作的一点改进

    最近老是用python要对各种csv做各种统计,工作不可谓不繁琐啊,通常在一次csv扫描中完成几种到几十种统计,因此重复代码多、可读性也差。

    应该对不同统计做一些原型封装,以动态语言的灵活性不需要做代码生成器,只需要写不同的函数完成不同的功能即可,这样代码大大减少,可读性维护性都很好,唯一的问题会是对不同的工作都需要单独扫描一遍文件。

    如果对性能有要求,要把不同的统计放在一遍扫描中,又要避免每次统计之前认真确定好如何执行,可能真需要一个代码生成器。

    如果以后这部分工作切到hadoop上面,是不是有相应的类库或工具可以使用呢?

  • 相关阅读:
    asyncio
    pytz
    celery
    xml
    jsonpath
    requests
    SQLite 数据库存储
    SQLite 数据库存储
    Android 记住密码功能
    Android 记住密码功能
  • 原文地址:https://www.cnblogs.com/suncoolcat/p/3292000.html
Copyright © 2011-2022 走看看