重复记录（duplicate records）相关运营数据

MySQL 中查找反复数据，删除反复数据

• 创建表和測试数据
  

/* 表结构 */
DROPTABLEIFEXISTS `t1`;
CREATETABLEIFNOTEXISTS `t1`(
`id` INT(1)NOTNULL AUTO_INCREMENT,
`name` VARCHAR(20)NOTNULL,
`add`VARCHAR(20)NOTNULL,
PRIMARYKEY(`id`)
)Engine=InnoDB;

/* 插入測试数据 */
INSERTINTO `t1`(`name`,`add`)VALUES
('abc',"123"),
('abc',"123"),
('abc',"321"),
('abc',"123"),
('xzy',"123"),
('xzy',"456"),
('xzy',"456"),
('xzy',"456"),
('xzy',"789"),
('xzy',"987"),
('xzy',"789"),
('ijk',"147"),
('ijk',"147"),
('ijk',"852"),
('opq',"852"),
('opq',"963"),
('opq',"741"),
('tpk',"741"),
('tpk',"963"),
('tpk',"963"),
('wer',"546"),
('wer',"546"),
('once',"546");

执行完上面的SQL，能够用

SELECT*FROM `t1` 測试一下。

• 查找全部反复的数据
  

反复数据仅仅显示当中一条：

/* 查找全部反复数据，反复数据仅仅显示一次 */
SELECT 
    * 
FROM
    `t1` 
GROUP BY `name` 
HAVING COUNT(1) > 1 
#HAVING COUNT(1) = 1 #这条语句表示显示当中不反复的数据

效果例如以下：

    id  name    add     
------  ------  --------
     1  abc     123     
    12  ijk     147     
    15  opq     852     
    18  tpk     741     
    21  wer     546     
     5  xzy     123     

反复数据每条都显示

/* 查找全部反复数据（反复数据反复显示 */

SELECT 
    t1.* 
FROM
    t1,
    (SELECT 
        t1.name,
        t1.add 
    FROM
        t1 
    GROUP BY `name`,
        `add` 
    HAVING COUNT(1) > 1) AS `t2` 
WHERE `t1`.`name` = `t2`.`name` 
    AND `t1`.`add` = `t2`.`add` 

查询结果例如以下：

    id  name    add     
------  ------  --------
     1  abc     123     
     2  abc     123     
     4  abc     123     
     6  xzy     456     
     7  xzy     456     
     8  xzy     456     
     9  xzy     789     
    11  xzy     789     
    12  ijk     147     
    13  ijk     147     
    19  tpk     963     
    20  tpk     963     
    21  wer     546     
    22  wer     546     

• 显示全部数据（反复数据仅仅显示一次)
  

以下的SQL简单高速有效，但不能保证反复字段的records显示哪一个record。

SELECT 

    * 

FROM

    t1 

GROUP BY NAME 

#having count(*) > 1 #加上这条语句，反复字段的records仅仅显示一次

• 删除反复数据：
  

1 最简单高速 的方法：

1. 新建一个一样表结构的表，经反复内容字段设置为unique

2. 然后运行语句：INSERT IGNORE INTO new_table SELECT * FROM old_table

对于本题就是：

1. 新建t1_copy，然后将name。add设置为主键

2.运行INSERT IGNORE INTO t1_copy SELECT * FROM t1 ORDER BY t1.`id`。 OK

2 笨方法UNION（数据量大时非常慢）：

SELECT 
    * 
FROM
    t1 
GROUP BY `name`,
    `add` 
HAVING COUNT(1) > 1 
UNION
SELECT 
    * 
FROM
    t1 
GROUP BY `name`,
    `add` 
HAVING COUNT(1) = 1 
ORDER BY id 

注意：

这里表中有一个主键id。若没有主键id。数据量大时会非常慢。这样能够人为插入一个主键id。如

參考文章：

http://www.cnblogs.com/consatan/archive/2010/12/17/1909087.html

转载请注明出处：http://blog.csdn.net/acema/article/details/37692867

版权声明：本文博主原创文章，博客，未经同意不得转载。