Python数据分析实践：pandas读写html表格数据new.pdf

2022/3/6 4.3 pandas读写html表格数据 4.3.5 读取html表格数据-read_html函数 谈及pandas的read.xxx系列的函数，常用的读取数据方法为：pd.read_csv() 和 pd.read_excel() ，而 pd.read_html() 这个方法虽然少用，但它的功能 非常强大，特别是用于抓取Table表格型数据，无需掌握正则表达式或者xpath等工具，短短的几行代码就可以将网页数据快速抓取下来并保存到本 地。 读取网页数据这种操作被称为网页抓取，应用比较广泛，它逐渐演变成数据分析过程中的一项基础操作，被整合到了数据分析的第一步-数据挖掘 和数据准备。一般的爬虫套路无非是发送请求、获取响应、解析网页、提取数据、保存数据等步骤。构造请求主要用到requests库，定位提取数据 用的比较多的有xpath和正则匹配。一个完整的爬虫，代码量少则几十行，多则百来行，对于新手来说学习成本还是比较高的。 针对网页结构类似的表格类型数据，pd.read_html()可以将网页上的表格都抓取下来，并以DataFrame的形式装在一个列表中返回。具体是这么个流 在Python数据分析领域，pandas库提供了丰富的数据处理和分析功能，其中包括读取和写入不同格式的数据。在处理HTML表格数据时，pandas的`read_html()`函数是一个非常实用的工具。这个函数允许用户轻松地从网页中抓取表格数据，而无需深入学习复杂的网页抓取技术，如正则表达式或XPath。 `read_html()`函数的基本用法是通过提供一个URL、文件路径或HTML字符串作为输入。它可以识别页面中所有的表格（`<table>`标签）并将它们以DataFrame列表的形式返回。这样，你可以快速地获取网页上的多个表格数据，对于结构化的表格数据，这是一种非常高效的处理方式。 例如，如果你有一个包含多个表格的网页，`pd.read_html()`会将每个表格解析为一个DataFrame，并将所有DataFrame放入一个列表。你可以通过索引来访问这些DataFrame，就像处理普通的Python列表一样。 除了基本的`io`参数，`read_html()`还有其他一些关键参数，如： 1. `header`: 用于指定列名所在的行。默认情况下，`read_html()`会尝试将第一行作为列名，但你可以根据实际表格结构进行调整。 2. `encoding`: 指定解码网页页面所使用的编码，这对于处理不同语言和字符集的网页至关重要。 3. `attrs`: 这是一个字典，你可以用它来指定特定表格的HTML属性。例如，如果你只想抓取具有特定类名或ID的表格，可以通过此参数进行筛选。 此外，`parse_dates`参数可以帮助你解析日期列，将其转化为日期类型，这在处理时间序列数据时非常有用。 另一方面，`to_html()`函数是pandas提供的另一个重要功能，它允许我们将DataFrame对象转换为HTML格式的字符串。这在你需要将数据展示在网页上，或者在网页开发中集成数据分析结果时非常方便。`to_html()`会根据DataFrame的结构自动生成相应的HTML表格代码，包括索引和列名。你可以直接将生成的HTML字符串写入文件，然后在浏览器中查看。 在示例中，创建了两个不同的DataFrame `dt1` 和 `dt2`，并分别调用了 `to_html()` 函数。生成的HTML代码随后被写入文件 `totbl.html`，这样就完成了从DataFrame到HTML的转换。 总结起来，`pandas` 的 `read_html()` 和 `to_html()` 函数为HTML表格数据的读取和输出提供了极大的便利，使得数据分析人员可以更专注于数据本身，而不是处理数据获取的技术细节。通过掌握这两个函数，可以大大简化从网页抓取数据以及将数据展示为美观表格的过程，提高工作效率。