Python网络编程中urllib2模块的用法总结资源-CSDN文库

179 浏览量 2021-01-20 04:45:04 上传评论收藏 90KB PDF 举报

资源推荐

资源详情

资源评论

Python网络编程中网络编程中urllib2模块的用法总结模块的用法总结

一、最基础的应用一、最基础的应用

import urllib2

url = r'http://www.baidu.com'

html = urllib2.urlopen(url).read()

print html

客户端与服务器端通过request与response来沟通，客户端先向服务端发送request，然后接收服务端返回的response

urllib2提供了request的类，可以让用户在发送请求前先构造一个request的对象，然后通过urllib2.urlopen方法来发送请求

import urllib2

url = r'http://www.baidu.com'

req = urllib2.Request(url)

html = urllib2.urlopen(req).read()

print html

上例中先使用

req = urllib2.Request(url)

实例化一个resquest对象，接下来使用

urllib2.urlopen(req)

来打开这个网页。

我们注意到在实例化Request对象的时候，队了url是必须的，还有几个默认的参数

基中data与header也是使用的比较多的，一些需要登录的才能浏览的网站经常需要这两个参数

import urllib

import urllib2

url = 'http://www.baidu.com/'

values = {'name' : 'Michael Foord', 'location' : 'Northampton','language' : 'Python' }

data = urllib.urlencode(values)

req = urllib2.Request(url,data)

response = urllib2.urlopen(req)

the_page = response.read()

print the_page

这个例子是向百度发送几个数据，这个例子是会返回一个错误页面，很正常，因为我们在访问百度的时候并不需要post什么信

息，post了倒是会出错

百度是找不到相应的网页就会报错。

当然这个是POST数据，也可以用在GET方法，稍将上面的代码进行改造

百度是通过http://www.baidu.com/s?wd=XXX 来进行查询的，这样我们需要将{‘wd’:’xxx’}这个字典进行urlencode

#coding:utf-8

import urllib

import urllib2

url = 'http://www.baidu.com/s'

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余3页未读，立即下载

内容反馈

weixin_38698174

粉丝: 3
资源: 980

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip