MySQL 中删除重复的数据并只保留一条

2024-07-12 1678阅读

要在 MySQL 中删除重复的数据并只保留一条,可以使用下面的方法。

MySQL 中删除重复的数据并只保留一条
(图片来源网络,侵删)

方法一:创建临时表

这种方法假设你有一个表 your_table,并且你要基于某些列来判断哪些数据是重复的。例如,如果你想删除基于 column1 和 column2 的重复记录,只保留一条记录,你可以按照以下步骤操作:

  1. 使用 CREATE TABLE 语句创建一个临时表,用于存储唯一的记录。
  2. 使用 INSERT INTO ... SELECT 语句将唯一的记录插入到临时表中。
  3. 删除原始表中的所有记录。
  4. 使用 INSERT INTO ... SELECT 语句将临时表中的记录插入回原始表。
  5. 删除临时表。

以下是一个完整的 SQL 例子:

-- Step 1: Create a temporary table
CREATE TABLE temp_table AS
SELECT * FROM your_table
WHERE 1=0;  -- Create an empty table with the same structure as your_table
-- Step 2: Insert unique records into the temporary table
INSERT INTO temp_table
SELECT * FROM your_table t1
WHERE t1.id = (
    SELECT MIN(t2.id)
    FROM your_table t2
    WHERE t1.column1 = t2.column1
    AND t1.column2 = t2.column2
);
-- Step 3: Delete all records from the original table
DELETE FROM your_table;
-- Step 4: Insert the records back from the temporary table to the original table
INSERT INTO your_table
SELECT * FROM temp_table;
-- Step 5: Drop the temporary table
DROP TABLE temp_table;

解释:

  1. 创建临时表:CREATE TABLE temp_table AS SELECT * FROM your_table WHERE 1=0; 这行代码创建了一个空的临时表,其结构与 your_table 相同。
  2. 插入唯一记录:INSERT INTO temp_table SELECT * FROM your_table t1 WHERE t1.id = (SELECT MIN(t2.id) FROM your_table t2 WHERE t1.column1 = t2.column1 AND t1.column2 = t2.column2); 这行代码将唯一记录插入到临时表中,基于 column1 和 column2 进行去重,只保留 id 最小的记录。
  3. 删除原始表中的所有记录:DELETE FROM your_table; 删除原始表中的所有记录。
  4. 将临时表中的记录插入回原始表:INSERT INTO your_table SELECT * FROM temp_table; 将临时表中的记录插入回原始表。
  5. 删除临时表:DROP TABLE temp_table; 删除临时表。

这样,你就成功地删除了原始表中的重复记录,只保留了一条唯一记录。

方法二:自连查询

上面的这个方案不太行,会改变原来的数据id

为了避免改变原来的数据 ID,我们可以使用一个不同的方法,通过使用自连接来标记重复的数据并删除多余的记录。这种方法在保留原始 ID 的情况下删除重复记录。

假设你的表结构如下:

  • 表名:your_table
  • 列名:id (主键), column1, column2, 以及其他列。

    你可以使用以下 SQL 语句来删除重复记录,只保留一条(通常是保留 ID 最小的那一条):

    -- Step 1: 标记要删除的重复记录
    DELETE t1
    FROM your_table t1
    INNER JOIN your_table t2 
    WHERE 
        t1.id > t2.id
        AND t1.column1 = t2.column1
        AND t1.column2 = t2.column2;
    -- Step 2: 确认删除成功,查看剩余数据
    SELECT * FROM your_table;
    

    解释:

    1. 标记要删除的重复记录:我们使用自连接 INNER JOIN 来找到重复的记录,并且使用 WHERE t1.id > t2.id 来确保只删除 id 较大的记录,从而保留 id 最小的记录。
    2. 确认删除成功:通过 SELECT 语句查看剩余的数据,确保删除操作正确。

    这个方法的优点是:

    • 不会改变原始数据的 ID。
    • 保留每组重复记录中 ID 最小的一条记录。
    • 操作简单且高效。

      方法三:使用子查询

      当然,还有其他方案可以在不改变原始数据 ID 的情况下删除重复记录。

      使用子查询来保留每组重复记录中 ID 最小的一条记录,并删除其余的重复记录。

      DELETE FROM your_table
      WHERE id NOT IN (
          SELECT MIN(id)
          FROM your_table
          GROUP BY column1, column2
      );
      

      解释:

      • 子查询:SELECT MIN(id) FROM your_table GROUP BY column1, column2 获取每组重复记录中 ID 最小的记录。
      • 删除记录:DELETE FROM your_table WHERE id NOT IN (...) 删除那些不在子查询结果中的记录,即删除重复记录中 ID 不是最小的记录。
VPS购买请点击我

免责声明:我们致力于保护作者版权,注重分享,被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理! 部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理! 图片声明:本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库和百度,360,搜狗等多加搜索引擎自动关键词搜索配图,如有侵权的图片,请第一时间联系我们,邮箱:ciyunidc@ciyunshuju.com。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!

目录[+]