python知识点整理大全

【Python知识点整理大全】 Python是一种广泛使用的高级编程语言，以其简洁明了的语法和强大的功能深受程序员喜爱。在学习Python时，了解其基本语法、数据结构、控制流、函数、类和模块等核心概念至关重要。 1. **基本语法**： - Python支持整数、浮点数和复数，但通过`numpy`和`pandas`库可以处理更多的数值类型，如`int64`、`int32`等，这些库提供了更高效的数值计算能力。 - 创建全零数组可以使用`numpy.zeros()`函数，例如`a = np.zeros((3, 4), dtype='int32')`将生成一个3行4列的全零`ndarray`对象。 2. **数据结构**： - `pandas`库中的`Series`是类似于一维数组的对象，每个元素都有一个索引。如`s = pd.Series(10, index=['a', 'b', 'c'])`创建了一个`Series`，其中所有元素值为10，索引分别为'a'、'b'和'c'。 - `DataFrame`是二维表格型数据结构，包含列名（`columns`）和行索引（`index`）。例如`a = pd.DataFrame(dt)`，其中`dt`是一个字典，将创建一个`DataFrame`，`print(a.values)`会显示二维数组形式的数据。 3. **操作和属性**： - `Series`和`DataFrame`的`.index`属性返回索引，`.values`返回值数组，`.columns`返回列名。如`print(a.index)`将打印索引，而`print(a.values)`会显示数据值。 - 访问特定列或行可以使用`[]`操作符，如`a['two']`获取列'two'的数据，`a.iloc[1]`获取第二行的数据。 4. **Hadoop和大数据相关知识点**： - HDFS（Hadoop Distributed File System）是Hadoop的核心组件，块默认备份3份，HDFS1.0的默认Block Size为64MB。 - Hadoop运行模式包括单机版、伪分布式和分布式，SecondaryNameNode并不作为NameNode的热备，而是帮助合并EditLog，减少NameNode重启时间。 - 大数据的特点包括Volume（海量）、Variety（多样）、Velocity（快速）和Value（价值密度低），通常需要大数据技术如Hadoop进行处理。 - Google提出了当前大数据技术的基础，HDFS由NameNode管理命名空间，FsImage和EditLog存储关键信息。 5. **Numpy和Pandas的使用**： - Numpy库提供高效数组操作，其底层由C语言实现，支持多种数值类型，方便存储和计算。 - Pandas库基于Numpy构建，提供更高级的数据操作和分析功能，如`.cumsum()`方法可以计算序列的累计和，对于Series和DataFrame，它会依次计算前n个元素的和。 6. **代码补全**： 若要随机生成一个(3, 4)的数组，可以使用`numpy.random.rand()`函数，如下： ```python import numpy as np a = np.random.rand(3, 4) ``` 上述代码将生成一个3行4列的二维数组，元素值在0到1之间均匀分布。 通过理解这些核心概念，你可以更深入地学习Python及其在大数据分析中的应用，以及Hadoop的相关知识。不断练习和实践将使你更加熟练地掌握这些工具和技术。