zoukankan      html  css  js  c++  java
  • 去除DataTable重复数据的三种方法

    https://www.cnblogs.com/sunxi/p/4767577.html
    第二种中增加变量。 string name,保存 遍历的到的 i的 name值。倒叙遍历,如果 与之相等。那么就移除 i+1的数据

    业务需求

    最近做一个把源数据库的数据批次导出到目标数据库。源数据库是采集程序采集而来的原始数据库,所以需要对其进行一些处理(过滤一些为空,长度太短或太长,非法字符,重复数据)然后在进行入库。

    其中要避免目标库插入重复数据。这重复数据可能是源数据库本身就有重复数据,还有就是已经插入避免重复插入。

    过滤自身重复数据解决方案

    第一种:采用DataView.ToTable()方法

    DataView.ToTable 方法

    .NET Framework 2.0
     
    根据现有 DataView 中的行,创建并返回一个新的 DataTable

    重载列表

     
    名称说明
    DataView.ToTable () 根据现有 DataView 中的行,创建并返回一个新的 DataTable

    由 .NET Compact Framework 支持。

    DataView.ToTable (String) 根据现有 DataView 中的行,创建并返回一个新的 DataTable

    由 .NET Compact Framework 支持。

    DataView.ToTable (Boolean, String[]) 根据现有 DataView 中的行,创建并返回一个新的 DataTable

    由 .NET Compact Framework 支持。

    DataView.ToTable (String, Boolean, String[]) 根据现有 DataView 中的行,创建并返回一个新的 DataTable

    由 .NET Compact Framework 支持。

    实例代码

    复制代码
     public static DataTable Distinct(DataTable dt, string[] filedNames)
            {
                DataView dv = dt.DefaultView;
                DataTable DistTable = dv.ToTable("Dist", true, filedNames);
                return DistTable;
            }
    复制代码

    第二种方法:循环遍历+DataTable.Select()

    利用for循环遍历DataTable的数据行,利用DataTable.Select 方法判断是否重复,如果重复,则利用DataTable.Rows.RemoveAt(Index)删除重复的那一行。

    具体看代码。

    代码示例

    复制代码
     public DataTable GetDistinctSelf(DataTable SourceDt, string filedName)
            {
     for (int i = SourceDt.Rows.Count - 2; i > 0; i--)
                {
                    DataRow[] rows = SourceDt.Select(string.Format("{0}='{1}'", filedName, SourceDt.Rows[i][filedName]));
                    if (rows.Length > 1)
                    {
                        SourceDt.Rows.RemoveAt(i);
                    }
                }
             return SourceDt;
    
        }</span></pre>
    
    复制代码

    第三种方法

    利用双循环遍历(不推荐)

    复制代码
     public DataTable GetDistinctSelf(DataTable SourceDt, string filedName)
            {
                for (int i = SourceDt.Rows.Count - 2; i > 0; i--)
                {
                    string title = SourceDt.Rows[0][filedName].ToString();
                    for (int j = i + 1; j > 0; i--)
                    {
                        if (SourceDt.Rows[j][filedName].ToString() == title)
                        {
                            SourceDt.Rows.RemoveAt(i);
    
                    }
                }
    
            }
            </span><span style="color: rgba(0, 0, 255, 1)">return</span><span style="color: rgba(0, 0, 0, 1)"> SourceDt;
          }</span></pre>
    
    复制代码
  • 相关阅读:
    part11-1 Python图形界面编程(Python GUI库介绍、Tkinter 组件介绍、布局管理器、事件处理)
    part10-3 Python常见模块(正则表达式)
    Cyclic Nacklace HDU
    模拟题 Right turn SCU
    状态DP Doing Homework HDU
    Dp Milking Time POJ
    区间DP Treats for the Cows POJ
    DP Help Jimmy POJ
    Dales and Hills Gym
    Kids and Prizes Gym
  • 原文地址:https://www.cnblogs.com/sunny3158/p/14327661.html
Copyright © 2011-2022 走看看