zoukankan      html  css  js  c++  java
  • BatchFileProcessing流程设计

    最近在研究Excel数据处理,感觉能面对大数据量的挑战是一件很愉悦的事情,:)下面是批量创建商品处理流程设计图:

    2011-03-21_190839一个商品会包含很多属性,比如商品编号,商品名,商品简介,单价,库存,图片(图片链接,多个链接用逗号分隔)等。如何用UI引导用户创建商品见我的另一篇文章”企业应用之分多步创建商品”。我们可以用Excel中的一行来描述一个商品,比如:

    2011-03-22_222658

    流程设计:

    1) 用户上传Excel文件到FTP

    2) 程序下载Excel文件到本地

    3)检查Excel文件,看是否有格式错误,版本号支持等错误,如果有即时通知用户

    4)检查Excel文件通过后循环将每一行数据提取出来,将行号,文件号,业务检查(比如ItemName,UnitPrice,Inventory等必填,Inventory必须大于零等)结果等事务型数据存储到数据库,如果没有任何业务异常将业务数据以XML实例的形式存储到磁盘上,等待处理。

    5)循环处理第四步产生的XML实例,用以逗号分隔的图片链接下载图片,将图片放大缩小成预定义的各种格式,然后上传到图片服务器并得到真实可访问的图片链接,用以写入数据库。图片处理完成后,将业务数据写入数据库。

    6)创建一批(比如总量的三分之一)商品完成后,即时通知用户当前处理进度。

    为了得到好的性能可以引入多线程机制。具体实现后面再单独讨论。:)

  • 相关阅读:
    JVM基础和调优(一)
    Jtree(节点的渲染+资源管理器)(2)
    Jtree (节点的渲染+资源管理器)
    jtree(选择框)
    java进阶计划
    SQL优化
    spring 事务管理
    Spring事务配置的五种方式(转)
    spring与数据库之间的配置
    struct2(六) 为表单添加验证
  • 原文地址:https://www.cnblogs.com/fuhongwei041/p/1991949.html
Copyright © 2011-2022 走看看