两年半丶
最常见的方式就是为字段设置主键或唯一索引，当插入重复数据时，抛出错误，程序终止，但这会给后续处理带来麻烦，因此需要对插入语句做特殊处理，尽量避开或忽略异常，下面我简单介绍一下，感兴趣的朋友可以尝试一下：
这里为了方便演示，我新建了一个user测试表，主要有id，username，sex，address这4个字段，其中主键为id（自增），同时对username字段设置了唯一索引：
01
insert ignore into
即插入数据时，如果数据存在，则忽略此次插入，前提条件是插入的数据字段设置了主键或唯一索引，测试SQL语句如下，当插入本条数据时，MySQL数据库会首先检索已有数据（也就是idx_username索引），如果存在，则忽略本次插入，如果不存在，则正常插入数据：
02
on duplicate key update
即插入数据时，如果数据存在，则执行更新操作，前提条件同上，也是插入的数据字段设置了主键或唯一索引，测试SQL语句如下，当插入本条记录时，MySQL数据库会首先检索已有数据（idx_username索引），如果存在，则执行update更新操作，如果不存在，则直接插入：
03
replace into
即插入数据时，如果数据存在，则删除再插入，前提条件同上，插入的数据字段需要设置主键或唯一索引，测试SQL语句如下，当插入本条记录时，MySQL数据库会首先检索已有数据（idx_username索引），如果存在，则先删除旧数据，然后再插入，如果不存在，则直接插入：
04
insert if not exists
即insert into … select … where not exist ... ，这种方式适合于插入的数据字段没有设置主键或唯一索引，当插入一条数据时，首先判断MySQL数据库中是否存在这条数据，如果不存在，则正常插入，如果存在，则忽略：
目前，就分享这4种MySQL处理重复数据的方式吧，前3种方式适合字段设置了主键或唯一索引，最后一种方式则没有此限制，只要你熟悉一下使用过程，很快就能掌握的，网上也有相关资料和教程，介绍的非常详细，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言进行补充。
小小猿爱嘻嘻
简要说下三者的区别：
insert into 最普遍的插入，如果表中存在主键相同的数据，执行会报错。
replace into 如果表中存在主键相同的数据则根据主键修改当前主键的数据，反之则插入（存在就删除然后插入，反之直接插入）
insert ignore 如果表中存在主键相同的数据不在插入该条数据，反之则插入（存在则忽略，反之插入）
测试：
1.新增一张测试表 并预置数据
我的新视界
MySQL数据库中避免重复数据插入
在数据库中已经存在重复数据 ，并且数据量很大 的时候，在修改sql语句在插入时 避免重复插入，可以有以下方法。
设置唯一索引
使用ignore或者REPLACE INTO 或者ON DUPLICATE KEY UPDATE
on duplicate key update
如果数据存在会触发更新操作 执行后面语句的update
INSERT INTO tb_table(a,b,c) VALUE('1','bbb','ccc') ON DUPLICATE KEY UPDATE b= 'bbb',c='ccc'ON DUPLICATE KEY UPDATE 之后的语句不是条件判断 条件的判断会根据你的唯一索引来判断触发update之后会执行 UPDATE之后的语句进行更新如果update之后写的是条件判断的话 就会出现只能插入无法更新的操作
replace into
如果数据存在就删除再插入
REPLACE INTO `student`(`name`, `age`) VALUES('Jack', 18);insert ignore into
如果插入时 数据存在则忽略此次插入数据
INSERT IGNORE INTO `student`(`name`, `age`) VALUES('Jack', 18);没有设置唯一索引
但是当你的数据库中数据存在重复，重复字段并没有设置唯一索引或者主键的时候，
上面的方法是无法使用的，这种情况可以使用
insert if not exists
insert if not existsINSERT INTO TABLE (field1, field2, fieldn) SELECT 'field1','field2','fieldn'FROM 表 WHERENOT EXISTS (SELECT * FROM 表名 WHERE 字段= ?)月下听风雨
数据重复需要根据不通的业务不通的方法来解决，下面是一些常规的解决方法：
1、根据业务，加唯一约束。例如订单表，你可以对流水号或者订单号增加unique。
2、根据业务，如果不能加唯一约束，通过加锁实现。例如mysql的get_lock和release_lock可以去显示。当然自己创建一个锁表也是可以的，将整个请求锁住。
3、如果mysql性能不好，就使用一些缓存系统去实现，例如redis或者Memcache。
4、异步队列
影客空间
数据库的唯一性是很多业务场景需要考虑的事情，我觉得可以有以下几种方案：
1.数据表建立唯一索引。唯一索引能在数据库层面确保数据不重发，重发insert的数据会返回报错。
2.数据insert前先查询是否存在。数据校验是必要的，不能什么数据都往数据库里操作，判断存在的数据执行update即可。
3.如果是可以直接覆盖的语句，又不想预先查询，可以使用replace关键字。这个关键字比较少用，方法原理：将相同的字段数据直接先删掉，再重新添加，成功之后显示操作条数的是删除的条数加上新添加的条数。
4.有时候后端语言层面会避免不了的并发操作，例如大量线程的情况下。可以以先写入redis，再写入mysql
环球新观察
你可以用insert if not exists写sql语句，例如：
INSERT INTO TABLE (field1, field2, fieldn) SELECT 'field1','field2','fieldn'
FROM
表名
WHERE
NOT EXISTS (
SELECT
*
FROM
表名
WHERE
字段= ?
)
php自学中心
首先数据重复定义需要明确，是某个字段还是多个字段重复。
重复定义的不同，使用的方法不同。
譬如
id不可重复，使用索引即可。保存数据会失败，进行异常回滚。
字段较多的，索引过多性能受影响，可以通过代码逻辑判断，先判断在保存。
如果在分布式下保存，此时还需要引入分布式锁，保证每次仅一端操作！分布式下还会引入其他问题，数据一致性问题，这些都是需要考虑的。
具体还是取决业务需求、利益权衡！
前端首席体验师
试着站在生活角度来回答一下这个数据库问题
1.人不能两次踏入一条河流，是因为时间，河流都随时发生了变化。
2.世界上没有两片完全相同的叶子，是因为造物主赋予了生命。
3.一个人不允许拥有两个身份证，是因为公安机关在管理。
对于数据库来说，是否有唯一性索引，是否有写入前判断机制，是否重复数据约定规则足够清晰，都是影响插入重复数据的关键。
生活中的规律，与此相似。
yicaigou
方法一：使用ignore关键字
如果是用主键primary或者唯一索引unique区分了记录的唯一性,避免重复插入记录可以使用：
复制代码 代码如下:
INSERT IGNORE INTO `table_name` (`email`, `phone`, `user_id`) VALUES ('[email protected]', '99999', '9999');
这样当有重复记录就会忽略,执行后返回数字0
