zoukankan      html  css  js  c++  java
  • Connection Manager ->> Multiple Flat File Connection & Multiple File Connection

    遍历一个文件夹下的所有文件的方法有两钟:1)使用Multiple Flat File Connection,把所有我们要的文件用"|"作为连接符拼凑出一条connection string;2)用foreach loop container,指定文件名pattern和文件夹;

    前者需要在做一些功夫去找到那些文件夹,可能需要搞个script task之类的或者foreach loop container去找到那些文件,而且如果有子文件夹更麻烦;后者子文件夹搜索SSIS已经提供了一个选项,选择我们想要的enumerator就行,比较方便;但是不同点是后者是每个文件每个文件这个样来迭代处理的,这就意味着如果foreach loop里层的data flow需要被执行(文件数量)对应的次数,而前者只执行一次。不晓得这里会否出现性能问题,在文件数量非常多的情况下,不过还是倾向于后者,即便假定一次性处理的文件数量达到上千,用Multiple Flat File Connection一次性处理非常耗资源,如果服务器有其他的任务或者应用程序在跑就很可能被连累,很可能内存被吃光,这样还不如一个一个慢慢跑,在业务场景并不紧急的情况下。

    Multiple File Connection的话我没发现哪里可以用到它

  • 相关阅读:
    fibnacci数列的python实现
    求最大公约数伪代码
    2020-2021-1 20201213信息安全专业导论第五周学习总结
    2020级201213《信息安全专业导论》第五周学习总结
    xor加密的python实现
    第四周学习总结
    BASE64编码
    师生关系
    2020-2021--1 20201205《信息安全专业导论》第2周学习总结
    师生关系
  • 原文地址:https://www.cnblogs.com/jenrrychen/p/4458608.html
Copyright © 2011-2022 走看看