### Python利用 utf-8-sig 编码格式解决写入 csv 文件乱码问题
#### 一、背景介绍
在处理包含非英文字符的数据时，尤其是使用 Python 的 `csv` 模块来操作 CSV 文件时，可能会遇到字符编码问题，导致中文等非英文字符无法正确显示或保存。本篇文章详细介绍了如何利用 `utf-8-sig` 编码格式来解决这一问题，并通过实际示例进行对比分析。
#### 二、不同编码方式下的结果比较
1. **不指定编码方式，直接存入 csv 文件**
当我们直接使用 Python 的 `csv` 模块来写入包含中文字符的数据时，如果没有指定编码方式，Python 默认会使用系统默认编码来处理数据。例如，在 Windows 系统中，默认编码通常为 `gbk` 或 `cp936`，这些编码无法完全支持所有的 Unicode 字符，因此会出现编码错误。如文中所示，运行程序时会报 `UnicodeEncodeError` 错误。
```python
import csv
with open('test.csv', 'w') as fp:
writer = csv.writer(fp)
writer.writerow(['汉语', '俄语', '韩语', '日语', '英语'])
writer.writerow(['爱你', 'люблютебя', '…', '愛しています', 'loveyou'])
```
2. **指定编码为 utf-8，再存入 csv 文件**
指定 `utf-8` 编码可以解决大多数字符编码问题，因为它是一种通用的多字节编码，可以支持几乎所有的 Unicode 字符。但是，当使用 `utf-8` 编码写入 CSV 文件时，如果文件开头没有 BOM (Byte Order Mark) 标记，那么 Excel 在打开文件时可能会出现乱码。这是因为 Excel 默认会根据 BOM 来判断文件的编码格式。
```python
import csv
with open('test.csv', 'w', encoding='utf-8') as fp:
writer = csv.writer(fp)
writer.writerow(['汉语', '俄语', '韩语', '日语', '英语'])
writer.writerow(['爱你', 'люблютебя', '…', '愛しています', 'loveyou'])
```
3. **指定编码为 utf-8-sig，再存入 csv 文件**
使用 `utf-8-sig` 编码格式可以有效地解决上述问题。`utf-8-sig` 实际上是在 `utf-8` 编码的基础上添加了一个 BOM 标记。这样，无论是在文本编辑器还是 Excel 中打开文件时，都能正确地识别到文件的编码格式，从而避免乱码问题。
```python
import csv
with open('test.csv', 'w', encoding='utf-8-sig') as fp:
writer = csv.writer(fp)
writer.writerow(['汉语', '俄语', '韩语', '日语', '英语'])
writer.writerow(['爱你', 'люблютебя', '…', '愛しています', 'loveyou'])
```
#### 三、编码格式详解
1. **utf-8**
- **定义**：UTF-8 是一种可变长度的字符编码，兼容 ASCII，适用于多种平台和编程语言。
- **特点**：UTF-8 以字节为编码单元，其字节顺序在所有系统中都是一样的，没有字节序问题。理论上并不需要 BOM。
2. **utf-8-sig**
- **定义**：UTF-8-sig 是 UTF-8 编码的一个变种，它在文件开头添加了一个特殊的 BOM 标记。
- **特点**：BOM 标记的存在可以帮助某些软件（如 Excel）正确地识别文件的编码格式。
#### 四、为何写入 txt 文件时通常使用 utf-8 而不是 utf-8-sig？
- **原因**：在写入 txt 文件时，如果不指定编码方式，Windows 系统会默认使用 `gbk` 编码来处理数据，这会导致某些非 `gbk` 支持的字符无法正确显示或存储。通过指定 `utf-8` 编码，可以确保所有字符都能被正确地存储和读取，而不需要 BOM 标记。
#### 五、总结
通过上述对比，我们可以看出，在写入 CSV 文件时，使用 `utf-8-sig` 编码格式能更好地兼容 Excel 和其他应用程序，有效避免乱码问题。而在写入普通的文本文件时，`utf-8` 编码格式就已经足够，因为大多数文本编辑器都能够正确地识别 `utf-8` 编码，不需要额外的 BOM 标记。掌握这些编码细节对于处理国际化的文本数据尤为重要。
