Python 爬虫开发案例
### 介绍
本项目展示了如何使用 Python 编写一个简单的网页爬虫,从目标网站上抓取特定的数据。
我们将使用`requests`库来发送 HTTP 请求,并使用`BeautifulSoup`库来解析 HTML 内容。这
个项目的目标是从一个示例网站(如 quotes.toscrape.com)上抓取名言和作者信息。
### 项目准备
1. **安装 Python**:确保你的系统上已经安装了 Python。如果没有,可以从[Python 官
网](https://www.python.org/)下载并安装。
2. **安装依赖库**:使用 pip 安装`requests`和`BeautifulSoup`库。
```bash
pip install requests beautifulsoup4
```
### 项目结构
项目结构如下:
```
web_scraper/
│
├── main.py
└── requirements.txt
```
### 步骤 1:编写爬虫代码
1. **创建并编写主程序(main.py)**
```python
import requests
from bs4 import BeautifulSoup
def fetch_quotes():
url = "http://quotes.toscrape.com/"
response = requests.get(url)
if response.status_code != 200:
print("Failed to retrieve the webpage.")