Python爬虫案例可以有很多种.pdf
需积分: 1 83 浏览量
2024-05-14
10:30:20
上传
评论
收藏 89KB PDF 举报
Python 爬虫案例可以有很多种，但我会为你提供一个简单的案例，该案例使用 Python 的
`requests`库来爬取一个网页的内容，并使用`BeautifulSoup`库来解析 HTML 并提取特定的信
息。
假设我们要从某个新闻网站（例如：[示例网站](https://example.com/news)）上爬取所有新
闻标题。
首先，你需要安装必要的库：
```bash
pip install requests beautifulsoup4
```
然后，你可以使用以下代码来爬取新闻标题：
```python
import requests
from bs4 import BeautifulSoup
def fetch_news_titles(url):
# 发送 HTTP 请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用 BeautifulSoup 解析 HTML 内容
soup = BeautifulSoup(response.text, 'html.parser')
# 假设新闻标题都在<h2>标签内，并且这些<h2>标签都在一个 ID 为'news-list'的 div
内
# 注意：这只是一个示例，实际网站的结构可能不同
news_titles = soup.find(id='news-list').find_all('h2')
# 提取并打印新闻标题
for title in news_titles:
print(title.text.strip())
else:
print(f"Failed to fetch the page. Status code: {response.status_code}")
# 调用函数，传入新闻页面的 URL
fetch_news_titles('https://example.com/news')
```
**注意**：
资源评论
