Python中urllib+urllib2+cookielib模块编写爬虫实战_urllib爬虫实战资源-CSDN文库

42 浏览量 2020-12-25 02:34:05 上传评论收藏 665KB PDF 举报

资源推荐

资源详情

资源评论

Python中中urllib+urllib2+cookielib模块编写爬虫实战模块编写爬虫实战

超文本传输协议http构成了万维网的基础，它利用URI（统一资源标识符）来识别Internet上的数据，而指定文档地址的URI被称为

URL（既统一资源定位符），常见的URL指向文件、目录或者执行复杂任务的对象（如数据库查找，internet搜索），而爬虫实质上正是

通过对这些url进行访问、操作，从而获取我们想要的内容。对于没有商业需求的我们而言，想要编写爬虫的话，使用urllib，urllib2与

cookielib三个模块便可以完成很多需求了。

首先要说明的是,urllib2并非是urllib的升级版，虽然同样作为处理url的相关模块，个人推荐尽量使用urllib2的接口，但我们并不能用

urllib2完全代替urllib，处理URL资源有时会需要urllib中的一些函数（如urllib.urllencode）来处理数据。但二者处理url的大致思想都是通

过底层封装好的接口让我们能够对url像对本地文件一样进行读取等操作。

下面就是一个获取百度页面内容的代码：

import urllib2

connect= urllib2.Request('http://www.baidu.com')

url1 = urllib2.urlopen(connect)

print url.read(）

短短4行在运行之后，就会显示出百度页面的源代码。它的机理是什么呢？

当我们使用urllib2.Request的命令时，我们就向百度搜索的url（“www.baidu.com”）发出了一次HTTP请求，并将该请求映射到connect

变量中，当我们使用urllib2.urlopen操作connect后，就会将connect的值返回到url1中，然后我们就可以像操作本地文件一样对url1进行

操作，比如这里我们就使用了read()函数来读取该url的源代码。

这样，我们就可以写一只属于自己的简单爬虫了~下面是我写的抓取天涯连载的爬虫：

import urllib2

url1="http://bbs.tianya.cn/post-16-835537-"

url3=".shtml#ty_vip_look[%E6%8B%89%E9%A3%8E%E7%86%8A%E7%8C%AB"

for i in range(1,481):

a=urllib2.Request(url1+str(i)+url3)

b=urllib2.urlopen(a)

path=str("D:/noval/天眼传人"+str(i)+".html")

c=open(path,"w+")

code=b.read()

c.write(code)

c.close

print "当前下载页数:",i

事实上，上面的代码使用urlopen就可以达到相同的效果了：

import urllib2

url1="http://bbs.tianya.cn/post-16-835537-"

url3=".shtml#ty_vip_look[%E6%8B%89%E9%A3%8E%E7%86%8A%E7%8C%AB"

for i in range(1,481):

#a=urllib2.Request(url1+str(i)+url3)

b=urllib2.urlopen((url1+str(i)+url3)

path=str("D:/noval/天眼传人"+str(i)+".html")

c=open(path,"w+")

code=b.read()

c.write(code)

c.close

print "当前下载页数:",i

为什么我们还需要先对url进行request处理呢？这里需要引入opener的概念，当我们使用urllib处理url的时候，实际上是通过

urllib2.OpenerDirector实例进行工作，他会自己调用资源进行各种操作如通过协议、打开url、处理cookie等。而urlopen方法使用的是默

认的opener来处理问题，也就是说，相当的简单粗暴~对于我们post数据、设置header、设置代理等需求完全满足不了。

因此，当面对稍微高点的需求时，我们就需要通过urllib2.build_opener()来创建属于自己的opener,这部分内容我会在下篇博客中详细写~

而对于一些没有特别要求的网站，仅仅使用urllib的2个模块其实就可以获取到我们想要的信息了，但是一些需要模拟登陆或者需要权限

的网站，就需要我们处理cookies后才能顺利抓取上面的信息，这时候就需要Cookielib模块了。cookielib 模块就是专门用来处理cookie

相关了，其中比较常用的方法就是能够自动处理cookie的CookieJar()了，它可以自动存储HTTP请求生成的cookie，并向传出HTTP的请

求中自动添加cookie。正如我前文所提到的，想要使用它的话，需要创建一个新的opener：

import cookielib, urllib2

cj = cookielib.CookieJar()

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

经过这样的处理后，cookie的问题就解决了~

而想要将cookies输出出来的话，使用print cj._cookies.values()命令后就可以了~

抓取豆瓣同城、登陆图书馆查询图书归还抓取豆瓣同城、登陆图书馆查询图书归还

在掌握了urllib几个模块的相关用法后，接下来就是进入实战步骤了~

(一一)抓取豆瓣网站同城活动抓取豆瓣网站同城活动

豆瓣北京同城活动该链接指向豆瓣同城活动的列表，向该链接发起request：

# encoding=utf-8

import urllib

剩余6页未读，继续阅读

内容反馈

weixin_38711110

粉丝: 5
资源: 932

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip