Pandas之read_csv()读取文件跳过报错行的解决

读取文件时遇到和列数不对应的行，此时会报错。若报错行可以忽略，则添加以下参数: 样式： pandas.read_csv(***,error_bad_lines=False) pandas.read_csv(filePath) 方法来读取csv文件时，可能会出现这种错误： ParserError：Error tokenizing data.C error:Expected 2 fields in line 407,saw 3. 是指在csv文件的第407行数据，期待2个字段，但在第407行实际发现了3个字段。 原因：header只有两个字段名，但数据的第407行却出现了3个字段（可能是该 在数据分析和处理中，Pandas库是Python编程语言中的一个强大工具，特别是在处理结构化数据时。`read_csv()`函数是Pandas库中用于读取CSV格式文件的关键方法。然而，在处理某些文件时，可能会遇到解析错误，比如ParserError，这通常是因为文件中的数据格式不符合预期，比如列数不匹配。本文将详细介绍如何使用Pandas的`read_csv()`函数来解决这类问题。 当`read_csv()`尝试读取CSV文件时，如果某一行的字段数量与列定义不符，它会抛出ParserError。例如，如果CSV文件的header有两列，但在第407行却发现有三列数据，这就会引发错误。错误信息可能会像这样：“ParserError：Error tokenizing data.C error:Expected 2 fields in line 407,saw 3。”这意味着在第407行，解析器期望看到两列数据，但实际上看到了三列。 解决这个问题的一种方法是直接修正数据源，确保每行的数据字段数量与header定义的列数一致。但有时候，我们可能希望忽略这些错误行，特别是当这些异常行是少数且不影响整体分析时。这时，可以利用`read_csv()`函数的一个参数`error_bad_lines=False`。例如： ```python import pandas as pd # 忽略错误行读取文件 df = pd.read_csv(filePath, error_bad_lines=False) ``` 通过设置`error_bad_lines=False`，Pandas会跳过那些解析错误的行，继续读取其余的正确行。然而，这种方法可能导致数据的不完整，因此在实际应用中应谨慎使用。 此外，有时可能会遇到KeyError，这通常是由于试图访问DataFrame中不存在的列或字段。例如，如果尝试访问一个名为'id'的列，但这个列在DataFrame中不存在，就会报错。为了避免这种情况，应先确认DataFrame的列名，可以使用`df.columns`或`df.columns.values`来查看所有列名。 在Pandas中，直接使用索引操作符`[]`获取列时，需要注意返回结果的类型。如果`df[df['id']]`，返回的是一个Series，而非DataFrame。如果需要保持DataFrame类型，可以使用双括号`[[‘id’]]`来选取列。例如： ```python # 取id列的值，返回Series df_id = df['id'] # 只取df的id列作为新的DataFrame df_id_only = df[['id']] ``` 在过滤行时，要确保比较操作的两边类型一致，否则会导致TypeError。例如，如果`df['id']`不是字符串类型，直接用`'null'`进行比较就会出错。如果不确定id列的数据类型，最好先转换或检查后再进行过滤操作。 另外，对于一些特殊字符引起的解析问题，如EOF（End Of File）错误，可以调整`read_csv()`的`quoting`参数。例如，如果遇到EOF inside string starting at line的错误，可以设置`quoting=csv.QUOTE_NONE`，以避免解析器错误地解读字符串内的特殊字符。 Pandas的`read_csv()`函数提供了丰富的参数来处理各种文件读取问题。通过正确理解和使用这些参数，可以有效地解决文件解析过程中的错误，保证数据加载的顺利进行。在处理大型数据集时，对这些问题的了解和处理能力至关重要，能够确保数据预处理的效率和准确性。