kentanvictor#STUDY#基于Python的简单爬虫结构1

# 爬虫 ## 简单爬虫结构 

---

## URL管理器 

---

## URL实现方式 

---

## 这里是一个爬虫网页下载器 ### 网页下载器-urllib2 * urllib2下载网页方法1：最简洁方法  * urllib2下载网页方法2：添加data、http、header  * urllib2下载网页方法3：添加特殊情景的处理器  **代码如下** ```python from urllib import request import http.cookiejar url = 'http://www.baidu.com' print('第一种方法:') response1 = request.urlopen(url) print(response1.getcode()) print(len(response1.read())) print('第二种方法') req = request.Request(url) req.add_header('user-agent', 'Mozilla/5.0') response2 = request.urlopen(req) print(response2.getcode()) print(len(response