### Shell中删除文件中重复行的方法
在Shell脚本中，我们经常需要处理文本文件，尤其是在日志分析、数据清洗等场景中。去除文件中的重复行是一项常见的需求，本文将详细介绍几种有效的方法来实现这一目标。
#### 方法一：使用`uniq/sort`删除重复行
`uniq`命令用于报告或删除文本文件中的重复行。它要求输入已经排序，否则可能会漏删某些重复行。为了确保`uniq`能正确工作，通常会先对文件进行排序。
**命令格式**：
```bash
sort -k<column_number>n <filename> | uniq > <output_filename>
```
- `sort -k2n file`：对文件`file`按第二列进行数字排序。
- `| uniq`：管道符将排序后的结果传递给`uniq`命令，去重。
- `> a.out`：将处理后的结果重定向到`a.out`文件中。
**注意事项**：
- 单独使用`uniq`命令无法删除所有重复行，因为`uniq`默认只删除连续的重复行。
- 使用`sort`命令确保重复行被放在一起后，再用`uniq`处理才能达到目的。
#### 方法二：使用`sort+awk`命令
`awk`是一种强大的文本处理工具，能够灵活地处理文本中的字段和行。
**命令格式**：
```bash
sort -k<column_number>n <filename> | awk '{if($0!=line)print;line=$0}'
```
或者更简洁的方式：
```bash
awk '!seen[$0]++' <filename>
```
- `sort -k2n file`：与方法一相同，按第二列进行数字排序。
- `| awk '{if($0!=line)print;line=$0}'`：管道符将排序后的结果传递给`awk`命令，通过比较当前行与前一行是否相同来决定是否打印。
- 或者使用简化的表达式`awk '!seen[$0]++' log`，其中`$0`代表当前行，`seen`数组用于记录每行是否出现过。
**注意事项**：
- 与方法一类似，这种方法也需要先进行排序操作。
- `awk`命令提供了更多的灵活性，如条件判断和变量定义等，适用于更复杂的文本处理场景。
#### 方法三：使用`sort+sed`命令
`sed`（Stream Editor）是一种流编辑器，能够执行基本的文本转换和过滤任务。
**命令格式**：
```bash
sort -k<column_number>n <filename> | sed '$!N;/^\(.*\)\n\1$/!P;D'
```
- `sort -k2n file`：同上，对文件进行排序。
- `| sed '$!N;/^\(.*\)\n\1$/!P;D'`：管道符将排序后的结果传递给`sed`命令。
- `$!N`：如果不是最后一行，则读取下一行，并将当前行和下一行合并为一个模式空间。
- `/^\(.*\)\n\1$/!P;D`：如果当前行和下一行相同，则删除这两行；如果不相同，则打印当前行并删除模式空间中的内容。
**注意事项**：
- 同样需要先进行排序操作。
- `sed`命令适合进行简单的文本替换和删除操作，对于复杂的数据处理可能不如`awk`灵活。
### 总结
通过上述三种方法，我们可以有效地去除文本文件中的重复行。每种方法都有其适用场景：
- 如果只需要简单去重，推荐使用`sort`结合`uniq`。
- 对于更复杂的文本处理需求，可以选择`awk`或`sed`，它们提供了更多功能和灵活性。
- 在实际应用中，根据具体的文件结构和需求选择最合适的方法。
掌握了这些技巧后，你可以更加高效地处理各种文本文件，无论是日志分析还是数据预处理都将变得更加得心应手。
