zoukankan      html  css  js  c++  java
  • 【Python】 用python实现定时数据解析服务(前言)

    一、Why do it?

      背景:项目里上传上来的数据都是未解析的数据,而且数据量还算挺庞大的,每天上传的数据有5kw左右,如果用数据库自带的作业来解析的话,数据库会造成严重的阻塞。因此打算把数据读到外部进行解析后再插入数据库。基于我对python还不是很熟悉,所以事先得做一些调查。

      Why Python?

      1.数量掌握python后,开发效率高

      2.python数据解析效率不错,有大量库可用,不比C#差。

      3.python是动态语言,不需要特别编译生成dll后调用,可以向写Sql脚本一样直接编写运行,维护性好。

      4.私心,天天写C#没意思,想换个口味。

    二、What shall we do?

      1.前期框架准备

        1).重新熟悉python的基本语言和库

        2).如何用python对SqlServer进行增删改查?并且保证效率

        3).如何在window平台下定时执行python脚本

               4).如何在无需停止定时服务的情况下,往指定文件夹下放如py脚本后,修改config文件,便可自动执行py脚本

               5).程序执行有日志功能,可以通过日志查找问题

  • 相关阅读:
    Spring cloud学习总结
    Spring boot学习笔记
    Rabbitmq安装步骤
    Mongodb 笔记采坑
    Rabbit Docker 部署及采坑
    各种知识汇总
    Echart 随便写的
    Linux常用命令
    Redis学习笔记
    Docker使用总结
  • 原文地址:https://www.cnblogs.com/nonkicat/p/4486864.html
Copyright © 2011-2022 走看看