zoukankan      html  css  js  c++  java
  • 千万级数据库(MSSQL)删除重复记录

    在抓取数据后对数据进行操作的途中,有时候会碰到重复数据,重复数据有时候会导致了数据库部分设置不能正确设置,所以就要进行筛选。

     

    首先,有两个意义上的重复记录,一是完全重复的记录,也即所有字段均重复的记录,二是部分关键字段重复的记录,比如Name字段重复,而其他字段不一定重复或都重复可以忽略。

     

    对于第一种重复,比较容易解决,使用:

      select distinct * from tableName

    就可以得到无重复记录的结果集。

    如果该表需要删除重复的记录(重复记录保留1条),可以按以下方法删除:

    select distinct * into #Tmp from tableName drop table tableName select * into tableName from #Tmp drop table #Tmp

     

    对于第二种重复,我们需要使用以下这种方法,假设重复字段为MobileUnitName

    select * from tableName 

    where [Mobile] in (select [Mobile] from info_user_a group by [Mobile] having count([Mobile])>1)

    and id not in (select min(id) from info_user_a group by [Mobile] having count([Mobile])>1)

    and [UnitName] in (select [UnitName] from info_user_a group by [UnitName] having count([UnitName])>1)

    and id not in (select min(id) from info_user_a group by [UnitName] having count([UnitName])>1)

    这样是得到了重复的数据,如果想要删除,只需把开头的select *改成delete即可。

     

    接下来是重点,如果数据库真的有一千万,或者上千万,千万别直接对整个库进行操作,好点的办法就是把一个库分成多个,比如原先有1000W,就分成10100W,然后分别对这10100W的库操作,不过如果真的有上千万的数据,建议还是改用oracle数据库比较好,我用sql server 2008感觉上都有点吃不消,而且还是双核酷睿CPU,可能是内存有点小,只有2G

     

    方法还有很多,这只是其中一种而已,希望对读者您有帮助。

  • 相关阅读:
    Mac 终端自动补全忽略大小写
    AtCoder ABC 155F Perils in Parallel
    AtCoder ABC 155E Payment
    AtCoder ABC 155D Pairs
    AtCoder ABC 154F Many Many Paths
    牛客 边界都是1的最大正方形大小
    牛客 打印N个数组整体最大的Top K
    牛客 数组中子数组的最大累乘积
    牛客 在数组中找到一个局部最小的位置
    牛客 子矩阵最大累加和问题
  • 原文地址:https://www.cnblogs.com/cyjch/p/2364076.html
Copyright © 2011-2022 走看看