### Python的pycurl包用法详解
#### 一、引言
`pycurl` 是一个功能强大的 Python 库，用于处理 URL 和网络请求。它基于 libcurl 库编写，因此性能非常优秀，远超 Python 自带的 `urllib` 和 `httplib`。本文将详细介绍 `pycurl` 的基本用法及其常用方法。
#### 二、安装与导入
在使用 `pycurl` 前，首先需要确保已安装该库。可以通过 pip 安装：
```bash
pip install pycurl
```
接着，在 Python 脚本中导入 `pycurl`：
```python
import pycurl
```
#### 三、基本用法
创建一个 `Curl` 对象并设置 URL：
```python
c = pycurl.Curl()
c.setopt(pycurl.URL, 'http://api.minicloud.com.cn/statuses/public_timeline.xml')
```
通常还需要设置一个写入函数来捕获返回的数据：
```python
import StringIO # 在 Python 3 中使用 io.StringIO
b = StringIO.StringIO()
c.setopt(pycurl.WRITEFUNCTION, b.write)
c.perform()
print(b.getvalue())
```
这里的 `perform()` 方法用于发起实际的网络请求，并通过 `getvalue()` 获取结果。
#### 四、高级用法
1. **处理重定向**：设置 `FOLLOWLOCATION` 选项可以自动处理重定向。
```python
c.setopt(pycurl.FOLLOWLOCATION, 1)
```
2. **设置超时时间**：可以为连接和数据传输设置超时。
```python
c.setopt(pycurl.CONNECTTIMEOUT, 60) # 连接超时时间
c.setopt(pycurl.TIMEOUT, 300) # 数据传输超时时间
```
3. **模拟用户代理**：设置 `USERAGENT` 选项以模拟特定的浏览器或客户端。
```python
c.setopt(pycurl.USERAGENT, "Mozilla/4.0(compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)")
```
4. **获取 HTTP 状态码**：使用 `getinfo` 方法获取 HTTP 状态码。
```python
http_code = c.getinfo(pycurl.HTTP_CODE)
print(http_code)
```
5. **监控性能指标**：可以获取多种性能指标，如域名解析时间、连接时间和传输时间等。
- `NAMELOOKUP_TIME`: 域名解析时间
- `CONNECT_TIME`: 远程服务器连接时间
- `PRETRANSFER_TIME`: 连接上后到开始传输时的时间
- `STARTTRANSFER_TIME`: 接收到第一个字节的时间
- `TOTAL_TIME`: 上一请求总的时间
- `REDIRECT_TIME`: 如果存在重定向，则记录花费的时间
```python
print(c.getinfo(pycurl.NAMELOOKUP_TIME))
print(c.getinfo(pycurl.CONNECT_TIME))
print(c.getinfo(pycurl.TOTAL_TIME))
```
6. **处理 SSL 验证**：如果需要验证 SSL 证书，可以使用 `SSL_VERIFYPEER` 和 `SSL_VERIFYHOST` 选项。
```python
c.setopt(pycurl.SSL_VERIFYPEER, 0) # 不验证证书
c.setopt(pycurl.SSL_VERIFYHOST, 0) # 不验证主机名
```
7. **其他常用选项**
- `MAXREDIRS`: 设置最大重定向次数
- `SIZE_UPLOAD`: 上传的数据大小
- `SIZE_DOWNLOAD`: 下载的数据大小
- `SPEED_DOWNLOAD`: 下载速度
- `CONTENT_TYPE`: 内容的类型
#### 五、示例代码
以下是一个完整的示例，演示如何使用 `pycurl` 获取网页内容，并检查 HTTP 状态码：
```python
import pycurl
import StringIO
# 创建 Curl 对象
c = pycurl.Curl()
# 设置 URL
c.setopt(pycurl.URL, 'http://example.com')
# 设置写入缓冲区
buffer = StringIO.StringIO()
c.setopt(pycurl.WRITEFUNCTION, buffer.write)
# 设置超时时间
c.setopt(pycurl.CONNECTTIMEOUT, 60)
c.setopt(pycurl.TIMEOUT, 300)
# 模拟浏览器
c.setopt(pycurl.USERAGENT, "Mozilla/5.0")
# 执行请求
c.perform()
# 获取 HTML 内容
html = buffer.getvalue()
print(html)
# 获取 HTTP 状态码
http_code = c.getinfo(pycurl.HTTP_CODE)
print("HTTP Status Code:", http_code)
# 清理资源
c.close()
```
#### 六、总结
`pycurl` 提供了一个高效且灵活的方式来处理网络请求，支持各种复杂的配置选项。无论是简单的 GET 请求还是复杂的 POST 操作，甚至是处理 SSL 证书验证或重定向，`pycurl` 都能轻松应对。希望本文介绍的这些知识点能够帮助你在项目中更好地利用 `pycurl`。
