MYSQL表或结果集有时会包含重复记录，需要采用某种方法标识这些重复的记录并移除它们，具体方案如下：
1、防止表中出现重复的记录
1.1、使用主键或唯一索引来防止出现重复的记录。例如，下表person_tbl允许出现first_name和last_name组合相同的记录。
CREATE TABLE person_tbl
(
first_name CHAR(20),
last_name CHAR(20),
sex CHAR(10)
);
1.2、设置（last_name，first_name）为主键，以确保不出现重复记录，语句如下。
CREATE TABLE person_tbl
(
first_name CHAR(20) NOT NULL,
last_name CHAR(20) NOT NULL,
sex CHAR(10),
PRIMARY KEY (last_name, first_name)
);
1.3、设置唯一索引，来强制记录是唯一的，语句如下。
CREATE TABLE person_tbl
(
first_name CHAR(20) NOT NULL,
last_name CHAR(20) NOT NULL,
sex CHAR(10)
UNIQUE (last_name, first_name)
);
2、数据库插入去除重复
对于可能出现重复的记录，我们可以考虑使用INSERT IGNORE语句。如果插入的记录并没有和现存的记录发生冲突，则正常插入之；如果有重复冲突，那么INSERT IGNORE将会告诉MySQL丢弃这条记录，且不报错。如下面这个例子。
mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)
VALUES ( 'Jay', 'Thomas');
mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)
VALUES ( 'Jay', 'Thomas');
还可以考虑采用REPLACE语句，如果记录是新的，那么它等同于INSERT。如果插入的是一个重复的记录，那么新记录将会替换旧的记录。
mysql> REPLACE INTO person_tbl (last_name, first_name)
VALUES ( 'Ajay', 'Kumar');
Query OK, 1 row affected (0.00 sec)
mysql> REPLACE INTO person_tbl (last_name, first_name)
VALUES ( 'Ajay', 'Kumar');
Query OK, 2 rows affected (0.00 sec)
综上所述，对于重复的记录，INSERT IGNORE仍然保留着现在的记录，丢弃新插入的记录。而REPLACE语句则会使用新的记录覆盖掉旧的记录。
文章基于MySQL DBA修炼之道整理，版权属于原作者