zoukankan      html  css  js  c++  java
  • python数据处理(六)之数据清洗:标准化和脚本化

    1.数据归一化和标准化

    a. 归一化:对数据集进行计算,使数据都位于一个特定的范围

    b.标准化:

    c.删除离群值

    2.数据存储

    a.保存到SQLite数据库中

    b.导出到简单的文件中csv

    3.找到适合项目的数据清洗方法

    写脚本(确定代码结构,用于后续使用、学习和分享)代码是否能够帮你节省时间,提高效率

    4.数据清洗脚本化

    4.1 代码规范看python之禅,让代码更加清晰明确

    4.2 让可复用的代码更加通用

    4.3 为代码编写文档

    首要列出需要完成的任务

    编写脚本

    优化脚本

    为函数添加一些文档字符串和行内注释

    5.用新数据测试

    寻找相似的数据测试脚本

    内置测试模块unittest/nose/pytest库

  • 相关阅读:
    HDU 1013 Digital Roots
    HDU 1290 献给杭电五十周年校庆的礼物
    几何分割问题
    HDU 1222 Wolf and Rabbit
    HDU 1997 汉诺塔VII
    HDU 1443 Joseph
    HTML的标题样式
    HDU 1568 Fibonacci
    Hope
    HDU 1071 The area
  • 原文地址:https://www.cnblogs.com/qiu-hua/p/12622818.html
Copyright © 2011-2022 走看看