在数据库管理中，删除重复数据是一项常见的任务，尤其是在大数据量的环境中，冗余数据可能导致存储空间浪费、查询效率降低以及数据分析的准确性下降。本篇文章主要介绍如何在MySQL中有效地删除重复数据，通过建立中间表的方式来实现这一目标。
我们来看一下问题的背景。在一个Linux性能采集项目中，由于某种原因，数据库中的数据出现了大量重复，导致入库操作变得非常缓慢。表`perf_linux`包含了设备ID（conf_id）、插入时间（insert_time）等字段，以及CPU使用率、内存使用率等性能指标。经过查询，发现对于同一台设备在同一点时间，本应只有一条数据，但实际上存在多条。这种状况使得数据量比实际需求大了约10倍，从而引发了入库效率的问题。
为了解决这个问题，我们需要删除这些冗余数据。在MySQL中，处理这种情况的一种常见方法是先创建一个中间表来保存非重复数据，然后再将原表替换为中间表。以下是具体的步骤：
1. **创建中间表**：
创建一个新的临时表，结构与原表相同，用于存储去重后的数据。例如：
```sql
CREATE TABLE perf_linux_temp LIKE perf_linux;
```
2. **导入唯一数据**：
使用`INSERT INTO...SELECT`语句，从原表中选择唯一记录插入到中间表中。这里可以通过`GROUP BY`和聚合函数`MIN(id)`（或其他能确保唯一性的字段）来确保每组唯一的`conf_id`和`insert_time`组合只插入一条记录：
```sql
INSERT INTO perf_linux_temp
SELECT MIN(id), conf_id, insert_time, cpu_usage, memory_usage, io_usage_write, io_usage_read
FROM perf_linux
GROUP BY conf_id, insert_time;
```
3. **删除原表数据**：
在确保中间表数据正确无误后，清空原表：
```sql
TRUNCATE TABLE perf_linux;
```
4. **恢复中间表为原表**：
将中间表的数据迁移到原表，完成替换：
```sql
RENAME TABLE perf_linux TO perf_linux_old, perf_linux_temp TO perf_linux;
```
或者使用`INSERT INTO...SELECT`语句：
```sql
INSERT INTO perf_linux
SELECT * FROM perf_linux_temp;
DROP TABLE perf_linux_temp;
```
以上步骤完成后，`perf_linux`表中的数据就去重了，入库速度也应该会得到显著提升。需要注意的是，在执行这些操作前，最好对原表进行备份，以防止意外情况导致数据丢失。
在实际应用中，可能还需要根据业务需求进一步优化这个过程，比如添加索引提高查询效率，或者在去重过程中考虑其他字段的组合以满足特定的业务规则。同时，为了预防未来再次出现重复数据的问题，可以在数据录入阶段加强数据校验，或者设计更严格的数据库约束，如唯一索引或主键约束。
