[Pandas Day4]变形

1.上面提到了许多变形函数，如melt/crosstab/pivot/pivot_table/stack/unstack函数，请总结它们各自的使用特点。 pivot函数是透视表，不过局限性比较大，除了功能上较少之外，还不允许values中出现重复的行列索引对 pivot_table是pivot函数的引申，允许出现行索引的重复，默认为求均值mean，与pivot相比，运行速度较慢 unstack函数是stack函数的逆操作，即解压，性质与stack函数类似 stack函数是最基本的变形函数，顾名思义就是压缩，总共只有两个参数：level和dropna，stack函数可以看做将横向的索引放到纵向， 在Pandas库中，变形函数是用来转换DataFrame结构的重要工具，主要涉及数据的堆叠、解压、透视等操作。以下是对这些变形函数的详细说明： 1. **melt**： - `melt`函数主要用于将宽格式的DataFrame转换为窄格式。它将列名作为标识符（id_vars），并将剩余的列视为测量变量（value_vars）。通过melt，多列数据被压缩到一列，方便处理分组和统计分析。 2. **crosstab**： - `crosstab`函数创建交叉表，用于统计两个或更多分类变量之间的交互频率。它可以帮助快速计算不同类别的组合出现的次数，是统计分析中的常见操作。 3. **pivot**： - `pivot`函数创建简单的透视表，但它的功能相对较有限，不允许在values中出现重复的行列索引对。它需要指定行索引、列索引和值，但不能处理行索引的重复。 4. **pivot_table**： - `pivot_table`是`pivot`的扩展，允许行索引有重复，并可以执行更复杂的聚合操作，如求平均值（mean）、总和（sum）等。默认情况下，当行索引重复时，它计算平均值。相比于`pivot`，`pivot_table`可能运行速度较慢，但功能更强大。 5. **stack**： - `stack`函数将DataFrame的列索引转换为行索引，将数据从宽格式变为长格式。它有两个参数：`level`和`dropna`。`level`用于指定要堆叠的索引级别，而`dropna`决定是否丢弃含有缺失值的行。它将DataFrame的内部层次索引的最内层（如果没有指定`level`）或指定层移动到行索引，增加了数据的维数。 6. **unstack**： - `unstack`是`stack`的逆操作，将行索引转换回列，将长格式数据恢复为宽格式。它同样接受`level`参数，用于指定要展开的索引级别。通过`unstack`，可以将之前由`stack`堆叠的索引重新展开回到DataFrame的列。 变形函数与多级索引密切相关，它们可以通过改变索引的层次和结构来调整DataFrame的形状。`melt`和`pivot_table`会使索引维度增加，而`pivot`、`pivot_table`、`stack`和`unstack`则可能增加或减少索引的维数，具体取决于它们如何操作数据。 哑变量（dummy variables）是处理分类变量的一种方式，特别是无序多分类变量。在模型中，为避免非线性关系或赋予分类变量不必要的顺序，通常需要将分类变量转化为哑变量。例如，血型A、B、O、AB可以转化为四列二进制（0/1）变量，每列代表一种血型。对于有序分类变量，如疾病严重程度的轻、中、重，可以采用等距或等比的赋值，但可能需要根据具体情况考虑哑变量处理，以确保模型的合理性。对于连续性变量，如年龄，有时也会选择离散化并转化为哑变量，以便更好地解释模型中的关系。 Pandas提供的变形函数是数据预处理和分析中的重要工具，它们帮助我们灵活地转换数据结构以适应各种分析需求。而哑变量的使用则是处理分类变量的关键步骤，确保模型的准确性和解释性。在实际应用中，应根据数据的特性和分析目标来选择合适的变形函数和哑变量策略。