pandas分组聚合

一 前言 pandas学到分组迭代，那么基础的pandas系列就学的差不多了，自我感觉不错，知识追寻者用pandas处理过一些数据，蛮好用的； 知识追寻者(Inheriting the spirit of open source, Spreading technology knowledge;) 二 分组 2.1 数据准备 # -*- coding: utf-8 -*- import pandas as pd import numpy as np frame = pd.DataFrame({ 'user' : ['zszxz','craler','rose','zszxz','ros 在数据分析领域，Pandas库是不可或缺的工具，尤其在数据预处理和清洗阶段。本文将深入探讨Pandas的分组聚合功能，这是处理复杂数据集的关键步骤。分组聚合允许我们按照特定列的值对数据进行分类，并对这些类别的数据执行聚合操作，如计算平均值、数量等。 让我们从数据准备开始。在Python中，我们导入Pandas和NumPy库，创建一个DataFrame对象`frame`，包含用户（user）、爱好（hobby）、价格（price）和数量（number）四列。例如： ```python import pandas as pd import numpy as np frame = pd.DataFrame({ 'user' : ['zszxz','craler','rose','zszxz','rose'], 'hobby' : ['reading','running','hiking','reading','hiking'], 'price' : np.random.randn(5), 'number' : np.random.randn(5) }) ``` 接下来，我们讨论如何对数据进行分组和聚合操作。 **分组求均值：** 我们可以使用`groupby()`函数根据一列或多列的值对数据进行分组，然后对分组后的数据应用聚合函数。例如，要计算每个爱好的平均价格，可以这样操作： ```python group = frame['price'].groupby(frame['hobby']) print(group.mean()) ``` 这将返回一个Series，显示每种爱好的价格平均值。 **分组求数量：** 除了求均值，我们还可以统计每组的数量。使用`size()`函数可以轻松实现这一目标： ```python group = frame.groupby(frame['hobby']) print(group.size()) ``` 这将给出每种爱好出现的次数。 **分组迭代：** 如果我们想对每个分组进行更复杂的操作，可以迭代`groupby()`的结果。例如，对于单列分组，我们可以这样遍历： ```python group = frame['price'].groupby(frame['hobby']) for key, data in group: print(key) print(data) ``` 这将分别打印出每个爱好及其对应的价格数据。 对于多列分组，我们需要指定更多的key来匹配分组的维度： ```python group = frame['price'].groupby([frame['hobby'], frame['user']]) ``` 这时，我们可以用两个key（如'hobby'和'user'）来遍历分组，但具体实现方式取决于实际需求。 **分组聚合的其他操作：** 除了求均值和计数，Pandas还提供了许多其他聚合函数，如`sum()`、`median()`、`min()`、`max()`等。例如，我们可以计算每个爱好总价格： ```python group = frame.groupby('hobby')['price'] print(group.sum()) ``` 此外，`agg()`函数允许我们同时应用多个聚合函数，或者自定义聚合函数。例如： ```python group = frame.groupby('hobby')['price'].agg(['mean', 'sum']) print(group) ``` 这将返回一个DataFrame，其中包含每个爱好价格的平均值和总和。 总结来说，Pandas的分组聚合功能是强大的数据分析工具，它让我们能够根据数据的不同属性进行定制化分析，从而挖掘隐藏的模式和洞察。熟练掌握这些技巧对于数据分析师和数据科学家来说至关重要，它们有助于高效地处理大量数据，提供有价值的见解。