zoukankan      html  css  js  c++  java
  • BatchFileProcessing流程设计

    最近在研究Excel数据处理,感觉能面对大数据量的挑战是一件很愉悦的事情,:)下面是批量创建商品处理流程设计图:

    2011-03-21_190839一个商品会包含很多属性,比如商品编号,商品名,商品简介,单价,库存,图片(图片链接,多个链接用逗号分隔)等。如何用UI引导用户创建商品见我的另一篇文章”企业应用之分多步创建商品”。我们可以用Excel中的一行来描述一个商品,比如:

    2011-03-22_222658

    流程设计:

    1) 用户上传Excel文件到FTP

    2) 程序下载Excel文件到本地

    3)检查Excel文件,看是否有格式错误,版本号支持等错误,如果有即时通知用户

    4)检查Excel文件通过后循环将每一行数据提取出来,将行号,文件号,业务检查(比如ItemName,UnitPrice,Inventory等必填,Inventory必须大于零等)结果等事务型数据存储到数据库,如果没有任何业务异常将业务数据以XML实例的形式存储到磁盘上,等待处理。

    5)循环处理第四步产生的XML实例,用以逗号分隔的图片链接下载图片,将图片放大缩小成预定义的各种格式,然后上传到图片服务器并得到真实可访问的图片链接,用以写入数据库。图片处理完成后,将业务数据写入数据库。

    6)创建一批(比如总量的三分之一)商品完成后,即时通知用户当前处理进度。

    为了得到好的性能可以引入多线程机制。具体实现后面再单独讨论。:)

  • 相关阅读:
    困扰多年的eclipse项目编码问题!
    什么是专注?什么是执行力?
    关于图表的理解
    去重与替换
    pandas 文本操作
    pandas 数值计算
    DatetimeIndex 时间序列
    Datatime 时间模块
    Numpy 常用方法
    Python迭代器 Iterator
  • 原文地址:https://www.cnblogs.com/fuhongwei041/p/1991949.html
Copyright © 2011-2022 走看看