Python爬取数据保存为Json格式的代码示例

在Python编程中，经常需要从网络上爬取数据，然后将其存储为便于处理和分析的格式，如JSON。JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。在本篇内容中，我们将探讨如何使用Python进行网页爬虫并把抓取的数据保存为JSON格式。 我们需要导入必要的库。在给出的代码示例中，可以看到导入了`urllib.request`用于发送HTTP请求，`BeautifulSoup`用于解析HTML文档，`os`用于操作文件系统，`time`用于获取当前时间，`codecs`用于处理编码问题，以及`json`用于处理JSON数据。 代码中的`getDatas()`函数是实现爬取和保存数据的主要部分。它首先定义了一个伪装的User-Agent，这是为了避免被网站服务器识别为机器人而可能的封锁。然后，它向目标URL发送请求，并使用BeautifulSoup解析返回的HTML内容。在解析过程中，它找到包含所需数据的HTML元素，并将这些元素的值存储到字典`dict1`中。 字典`dict1`的键包括`rank`（排名）、`title`（电影名称）和`picUrl`（图片链接）。这些键对应的值通过BeautifulSoup的查找方法从HTML中提取出来。例如，`dict1['rank']`的值是通过查找`div`类为'pic'的元素中的`em`标签的文本内容来获取的。 接下来，代码创建一个名为"output"的文件夹（如果不存在的话），并根据当前时间创建一个JSON文件。文件名中包含日期，以便区分不同时间爬取的数据。然后，使用`codecs.open()`以追加模式打开文件，以UTF-8编码写入数据。`json.dumps()`方法用于将字典转换为JSON字符串，`ensure_ascii=False`参数是为了确保非ASCII字符（如中文）能正确显示。每条数据后面添加一个逗号，以方便后续数据的追加。 如果在写入文件时发生IO错误，代码会捕获异常并打印错误信息。无论是否发生异常，最后都会关闭文件。 文章的总结部分强调了爬取数据和保存为JSON格式的重要性，指出这有助于后续的数据处理和分析。这个代码示例提供了一个完整的Python爬虫流程，从请求网页、解析HTML到存储数据为JSON格式，对于初学者来说是非常有价值的参考。