### Python爬虫之urllib, 伪装, 超时设置, 异常处理的方法
在Python爬虫领域，`urllib`库是基础而重要的工具之一，它可以帮助开发者完成基本的HTTP请求任务，比如获取网页内容、设置请求头等。本文将详细介绍`urllib`的使用方法以及如何进行请求头的伪装、设置超时时间和处理异常。
#### 一、Urllib简介
`urllib`是Python内置的一个用于处理URL的功能强大的库。它由几个子模块组成，如`urllib.request`, `urllib.parse`, 和`urllib.error`。其中`urllib.request`提供了打开URL的基本功能，并支持多种类型的URL，如HTTP, HTTPS等。
#### 二、Urllib的基本用法
1. **urllib.request.urlopen()**
- **读取HTML源码**:
```python
from urllib import request
response = request.urlopen('http://www.example.com')
html = response.read().decode()
print(html)
```
- **返回值说明**: 返回一个HTTPResponse对象，可以通过调用`.read()`来获取网页内容的二进制形式，再通过`.decode()`将其转换为字符串格式。
2. **urlretrieve()**
- **下载文件到本地**:
```python
from urllib import request
request.urlretrieve("http://www.example.com/file.txt", filename="localfile.txt")
```
- 此函数可以直接将远程文件下载并保存到本地。
3. **urlcleanup()**
- **清理缓存**:
```python
from urllib import request
request.urlcleanup()
```
- 清除`urlretrieve()`产生的临时文件或缓存。
4. **info()**
- **获取服务器头部信息**:
```python
from urllib import request
resp = request.urlopen("http://www.example.com")
headers = resp.info()
print(headers)
```
- 返回一个`httpMessage`对象，包含了远程服务器返回的所有头部信息。
5. **getcode()**
- **获取状态码**:
```python
from urllib import request
resp = request.urlopen("http://www.example.com")
status_code = resp.getcode()
print(status_code)
```
- 获取当前请求的状态码，例如200代表成功，404代表页面未找到。
6. **geturl()**
- **获取当前URL**:
```python
from urllib import request
resp = request.urlopen("http://www.example.com")
url = resp.geturl()
print(url)
```
- 获取当前请求的实际URL，这在处理重定向时非常有用。
#### 三、超时设置
在爬虫开发中，经常会遇到因为网络原因导致请求响应过慢的情况。为了避免这种情况下程序无限制地等待响应，我们可以为请求设置一个超时时间。
```python
from urllib import request
try:
resp = request.urlopen("http://www.example.com", timeout=5)
print(len(resp.read()))
except Exception as e:
print("出现异常:", str(e))
```
上述代码中，`timeout=5`指定了请求的超时时间为5秒，如果在这5秒内没有收到响应，则会抛出异常。
#### 四、伪装（User-Agent设置）
许多网站会对爬虫进行检测，一旦发现是爬虫访问就会拒绝服务。为了避免这种情况，我们需要对爬虫进行伪装，最常见的方式就是修改User-Agent字段。
```python
from urllib import request
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
req = request.Request('http://www.example.com', headers=headers)
resp = request.urlopen(req)
html = resp.read().decode()
print(html)
```
通过`Request`对象设置`headers`参数，可以自定义请求头中的User-Agent字段。
#### 五、异常处理
爬虫在运行过程中可能会遇到各种异常情况，如连接失败、服务器错误等，因此需要进行适当的异常处理。
```python
from urllib import request
from urllib.error import URLError, HTTPError
try:
resp = request.urlopen("http://www.example.com")
html = resp.read().decode()
print(html)
except HTTPError as e:
print("HTTP Error:", e.code, e.reason)
except URLError as e:
print("URL Error:", e.reason)
```
在上述代码中，我们使用了`try...except`结构来捕获可能发生的异常，并根据不同类型的异常做出相应的处理。
通过以上介绍，我们已经了解了使用`urllib`进行基本的爬虫开发所需的一些技巧，包括如何发送HTTP请求、处理响应、设置超时时间、伪装请求头以及异常处理。这些技能对于初学者来说是非常有用的，也是构建更复杂爬虫应用的基础。
