十分钟搞定pandas

pandas是一个Python的开源数据处理和分析库，它是基于NumPy构建的，提供了快速、灵活和表达式丰富的数据结构，设计用来处理结构化（表格、多维、异质）和时间序列数据。pandas拥有大量的内置方法，可以实现数据清洗和准备、数据分析、数据可视化等功能。pandas对处理真实世界的数据尤其有用，比如表格数据、TSV和CSV文件、SQL数据库等。 pandas的核心数据结构有两大类：Series和DataFrame。Series是一种一维的、可变的、大小固定的字典类型。DataFrame则是一种二维的、大小可变的、潜在异质型表格数据结构，既有行索引也有列名。 安装pandas非常简单，只需在Python环境中执行以下命令： ``` pip install pandas ``` 或者使用conda环境： ``` conda install pandas ``` 导入pandas库到Python工作环境中，通常使用别名`pd`： ``` import pandas as pd ``` 与之经常一起使用的库还有NumPy和matplotlib，分别用于数值计算和数据可视化： ``` import numpy as np import matplotlib.pyplot as plt ``` 创建一个简单的Series可以通过以下方式进行： ``` s = pd.Series([1, 3, 5, np.nan, 6, 8]) ``` 这里`np.nan`代表一个缺失值。输出Series会显示其索引和对应的数据值，像这样： ``` ***.* ***.* ***.* * NaN 4 6.0 5 8.0 dtype: float64 ``` 在创建时，如果不指定索引，pandas会默认创建一个从0开始的整数索引。 另一个重要的数据结构是DataFrame，它是一个二维的表格数据结构，有行和列： ``` df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD')) ``` 在这个例子中，我们创建了一个6x4的DataFrame，其索引由`dates`变量指定，列名为'A', 'B', 'C', 'D'。其中`np.random.randn`函数生成的是一个符合标准正态分布的随机数数组。 DataFrame的输出结果可能如下： ``` A B C D 2013-01-01 -0.469112 -0.282863 -1.509059 -1.*** ***-01-02 1.212112 -0.173215 0.119209 -1.*** ***-01-03 -0.861849 -2.104569 -0.494929 1.*** ***-01-04 0.721555 -0.706771 -1.039575 0.*** ***-01-05 -0.424972 0.567020 0.276232 -1.*** ***-01-06 -0.673690 0.113648 -1.478427 0.524988 ``` 我们看到，每个列标题（A、B、C、D）和索引（日期）都作为DataFrame的属性存在，可以通过列名或索引名来访问特定的列或行数据。 pandas提供了一系列强大的数据处理功能，如数据清洗、数据合并、数据重塑、数据聚合、数据筛选、数据分组等。这些功能非常贴近实际工作中数据处理的需求。例如，使用`describe`方法可以快速得到数据的统计摘要： ``` df.describe() ``` 此外，pandas的`read_csv`和`read_excel`等函数可以方便地从文件中读取数据，而`to_csv`和`to_excel`等方法则可以把数据写入文件。 pandas的数据结构支持复杂的索引操作，比如使用布尔索引、切片索引等，使得数据处理更加灵活。使用`groupby`函数可以对数据进行分组操作，然后执行聚合操作，这在处理分类数据时非常有用。 通过本篇介绍，我们可以快速掌握pandas的基本使用方法，为后续学习数据分析、数据处理等更高级的功能打下坚实的基础。对于新用户而言，pandas的学习曲线相对平缓，一旦掌握，就能极大提高数据处理的效率和质量。