zoukankan      html  css  js  c++  java
  • 【Python】 用python实现定时数据解析服务(前言)

    一、Why do it?

      背景:项目里上传上来的数据都是未解析的数据,而且数据量还算挺庞大的,每天上传的数据有5kw左右,如果用数据库自带的作业来解析的话,数据库会造成严重的阻塞。因此打算把数据读到外部进行解析后再插入数据库。基于我对python还不是很熟悉,所以事先得做一些调查。

      Why Python?

      1.数量掌握python后,开发效率高

      2.python数据解析效率不错,有大量库可用,不比C#差。

      3.python是动态语言,不需要特别编译生成dll后调用,可以向写Sql脚本一样直接编写运行,维护性好。

      4.私心,天天写C#没意思,想换个口味。

    二、What shall we do?

      1.前期框架准备

        1).重新熟悉python的基本语言和库

        2).如何用python对SqlServer进行增删改查?并且保证效率

        3).如何在window平台下定时执行python脚本

               4).如何在无需停止定时服务的情况下,往指定文件夹下放如py脚本后,修改config文件,便可自动执行py脚本

               5).程序执行有日志功能,可以通过日志查找问题

  • 相关阅读:
    学习网站
    HTML 5 Canvas 参考手册
    -webkit-overflow-scrolling:touch
    css中引入新的字体文件
    js转义html中的字符
    js 去掉html标签及 
    ajax解决IE跨域设置
    百度地图的简单使用
    jquery 阻止默认事件(传播和冒泡)
    IOS学习之路十九(JSON与Arrays 或者 Dictionaries相互转换)
  • 原文地址:https://www.cnblogs.com/nonkicat/p/4486864.html
Copyright © 2011-2022 走看看