zoukankan      html  css  js  c++  java
  • Connection Manager ->> Multiple Flat File Connection & Multiple File Connection

    遍历一个文件夹下的所有文件的方法有两钟:1)使用Multiple Flat File Connection,把所有我们要的文件用"|"作为连接符拼凑出一条connection string;2)用foreach loop container,指定文件名pattern和文件夹;

    前者需要在做一些功夫去找到那些文件夹,可能需要搞个script task之类的或者foreach loop container去找到那些文件,而且如果有子文件夹更麻烦;后者子文件夹搜索SSIS已经提供了一个选项,选择我们想要的enumerator就行,比较方便;但是不同点是后者是每个文件每个文件这个样来迭代处理的,这就意味着如果foreach loop里层的data flow需要被执行(文件数量)对应的次数,而前者只执行一次。不晓得这里会否出现性能问题,在文件数量非常多的情况下,不过还是倾向于后者,即便假定一次性处理的文件数量达到上千,用Multiple Flat File Connection一次性处理非常耗资源,如果服务器有其他的任务或者应用程序在跑就很可能被连累,很可能内存被吃光,这样还不如一个一个慢慢跑,在业务场景并不紧急的情况下。

    Multiple File Connection的话我没发现哪里可以用到它

  • 相关阅读:
    Spring5源码分析之Bean生命周期
    关系图
    Spring5源码分析之AnnotationConfigApplicationContext
    Spring中好玩的注解和接口
    MyBatis使用总结
    设计模式的应用
    C#:网络传输问题
    工具软件:
    Rar安装包
    C#:注册组件 (cmd)
  • 原文地址:https://www.cnblogs.com/jenrrychen/p/4458608.html
Copyright © 2011-2022 走看看