zoukankan      html  css  js  c++  java
  • Connection Manager ->> Multiple Flat File Connection & Multiple File Connection

    遍历一个文件夹下的所有文件的方法有两钟:1)使用Multiple Flat File Connection,把所有我们要的文件用"|"作为连接符拼凑出一条connection string;2)用foreach loop container,指定文件名pattern和文件夹;

    前者需要在做一些功夫去找到那些文件夹,可能需要搞个script task之类的或者foreach loop container去找到那些文件,而且如果有子文件夹更麻烦;后者子文件夹搜索SSIS已经提供了一个选项,选择我们想要的enumerator就行,比较方便;但是不同点是后者是每个文件每个文件这个样来迭代处理的,这就意味着如果foreach loop里层的data flow需要被执行(文件数量)对应的次数,而前者只执行一次。不晓得这里会否出现性能问题,在文件数量非常多的情况下,不过还是倾向于后者,即便假定一次性处理的文件数量达到上千,用Multiple Flat File Connection一次性处理非常耗资源,如果服务器有其他的任务或者应用程序在跑就很可能被连累,很可能内存被吃光,这样还不如一个一个慢慢跑,在业务场景并不紧急的情况下。

    Multiple File Connection的话我没发现哪里可以用到它

  • 相关阅读:
    jira 解决结果配置
    .net core ef mysql in 参数化写法
    CentOS安装破解版Jira 亲测有效(附带破解包)
    实现js读取Excel数据
    android权限(permission)大全
    如何搭建Nuget服务器
    WebApi配置Swagger
    Aps.Net WebApi依赖注入
    解决.Net Core跨域问题
    一篇关于Asp.Net Model验证响应消息的问题处理
  • 原文地址:https://www.cnblogs.com/jenrrychen/p/4458608.html
Copyright © 2011-2022 走看看