【python网络爬虫】-爬取天气数据

Python爬虫抓取天气信息 问题：获取苏州8-15天的天气信息,包含: 日期、天气、温度、风力等信息，然后将数据存入一个文档中，网址为：http://www.weather.com.cn/weather/101190401.shtml。 1. 问题分析 首先我们进入天气网，然后开始对页面进行分析。右键页面检查网页源代码或者F12或者Ctrl+Shift+F等进入当前页面，有html学习基础的可以直接在网页源码中找相应的信息标签，当然也可以直接点击左上方的按钮，开启快速查找，开启后可以点击网页中的信息及可迅速定位到该信息的网页源码。 Python网络爬虫是一种用于自动化获取网页内容的工具，它能够帮助我们从互联网上抓取大量信息，例如在本例中，我们将使用Python爬虫来抓取苏州未来8-15天的天气预报数据，包括日期、天气状况、温度以及风力等信息。目标网站是http://www.weather.com.cn/weather/101190401.shtml。 我们需要对网页进行分析。通常，我们可以使用浏览器的开发者工具（如右键检查网页源代码、F12或Ctrl+Shift+F）来查看HTML源码，以便找出我们要抓取的数据所在的位置。对于有HTML基础知识的人来说，可以直接在源码中找到对应的标签。在这个例子中，我们关注的是id为"7d"且class为"c7d"的元素，里面包含了一个class为"t clearfix"的`<ul>`标签，而天气信息则位于`<ul>`下的多个`<li>`标签中。 接下来，我们将使用Python的requests库发送HTTP GET请求获取网页内容，然后用BeautifulSoup库解析HTML。以下是一个基本的步骤： ```python import requests from bs4 import BeautifulSoup # 发送GET请求并处理响应 res = requests.get('http://www.weather.com.cn/weather15d/101190401.shtml') res.encoding = 'utf-8' # 设置编码以正确解码中文内容 html = res.text # 解析HTML soup = BeautifulSoup(html, 'html.parser') # 找到包含天气信息的元素 weathers = soup.find(id="7d", class_="c7d").find('ul', class_="t clearfix").find_all('li') ``` 在解析过程中，我们使用BeautifulSoup提供的方法，如`find`和`find_all`，来定位到特定的HTML元素。接着，我们遍历`<li>`标签，提取日期、天气、温度和风力信息： ```python for weather in weathers: weather_date = weather.find('span', class_="time") weather_wea = weather.find('span', class_="wea") weather_tem = weather.find('span', class_="tem") weather_wind = weather.find('span', class_="wind") weather_wind1 = weather.find('span', class_="wind1") # 组合结果 result = '日期：' + weather_date.text, '天气：' + weather_wea.text, '温度：' + weather_tem.text, '风力：' + weather_wind.text + weather_wind1.text # 输出并保存结果到文件 print(result) print(result, file=mylog) ``` 这里，我们遍历每个`weather`对象，利用`find`方法获取指定class的`<span>`标签，提取出所需信息。将结果打印出来并写入到文件中，以便后续处理或分析。 完整的代码应该包括异常处理、更健壮的URL处理以及可能的数据清洗和格式化。需要注意的是，由于网站结构可能会变化，所以实际操作时应确保所选的HTML标签和类名是准确无误的。同时，频繁的爬虫访问可能违反网站的使用条款，因此在编写爬虫时要考虑尊重网站的robots.txt文件和合理控制请求频率。 Python网络爬虫是获取网页数据的有效工具，结合BeautifulSoup库可以方便地解析HTML结构，实现自动化数据抓取。在本例中，我们学习了如何抓取天气预报数据，并将其保存到文件中，这为数据分析和其他应用提供了便利。在实际项目中，可以进一步扩展这个基础，例如使用更高级的库（如Scrapy）进行更复杂的数据抓取任务，或者利用API接口直接获取数据，以提高效率和稳定性。