python3中使用urllib问题以及urllib详解资源-CSDN下载

5星 · 超过95%的资源 111 浏览量 2021-01-19 23:54:59 上传评论收藏 105KB PDF 举报

资源推荐

资源详情

资源评论

python3 中使用中使用urllib问题以及问题以及urllib详解详解

今天遇到一个蛮奇怪的问题：当我在控制台中使用 urllib 没问题，但是当我在 vscode 中 .py 文件中导入 urllib 使用时会报错：

AttributeError: module ‘urllib’ has no attribute ‘request’

查了一下资料是 python3 的 urllib 不会自动导入其under层的包，需要手动导入。

import urllib

import urllib.parse

import urllib.request

再次使用即可成功。

urllibe 是 python3 中将中文 urlencode 编码使用的函数，urlencode 使用如下：

import urllib

import urllib.parse

urllib.parse.quote(string, safe='/', encoding=None, errors=None)

urllib 将编码后的字符串转为中文则使用：

import urllib

import urllib.parse

urllib.parse.unquote(string, encoding='utf-8', errors='replace')

聊到这里就顺带讲讲 urllibe 的使用吧

urllib 是一个 python 内置包，不需要额外安装即可使用，它包含一下几个用来处理 url 的模版。

urllib.request，用来打开和读取 url，意思就是可以用它来模拟发送请求，就像在浏览器里输入网址然后敲击回车一样，获取

网页响应内容。

urllib.error，用来处理 urllib.request 引起的异常，保证程序的正常执行。

urllib.parse，用来解析 url，可以对 url 进行拆分、合并等。

urllib.robotparse，用来解析 robots.txt 文件，判断网站是否能够进行爬取。

urllib.request 模块模块

urllib.request 模块定义了以下几个函数。

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

该函数主要用于模拟网站请求，返回一个 HTTPResponse 类型的对象。

urlopen 函数中参数定义函数中参数定义

url，必选参数，是一个 str 字符串或者 Request 对象(后面会介绍)。

data，bytes 类型的可选参数，如果传递的是字典型数据，可以用 urllib.parse.urlencode() 进行编码，返回 str 字符串，再将

str 转换成 bytes 字节流。如果传递 data 参数，urlopen 将使用 HTTP POST 方式请求，否则为 HTTP GET 请求。

timeout，可选参数，设置超时时间(未设置时使用全局默认超时时间)，以秒为单位计时，如果 urlopen 请求超出了设置时间还

未得到响应则抛出异常。

cafile 和 capath，可选参数，在 HTTPS 连接请求时指定已认证的 CA 证书以及证书路径。

cadefault，一般可忽略该参数。

context，ssl.SSLContext 类型的可选参数，用来指定 SSL 设置。

urlopen 函数返回类型函数返回类型

urlopen 函数请求返回一个 HTTPResponse 响应上下文，或者请求异常抛出 URLError 协议错误，一般有如下属性：

geturl()，返回检索的 url，通常用于判定是否进行了重定向。

info()，返回网页的头信息。

getcode()，返回 HTTPResponse 响应的状态码。

urlopen 函数的应用实例函数的应用实例

# 创建一个 HTTP GET 请求，输出响应上下文

from urllib.request import urlopen

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余5页未读，立即下载

内容反馈

章满莫

2023-06-18

看完这篇文章对于urllib的使用有了更深入的认识，十分感谢作者
小明斗

2023-06-18

对于在Python3中使用urllib的小伙伴来说，这篇文章是一本必读的教程
城北伯庸

2023-06-18

作者对于每个问题的解答都非常详细，很少留下疑惑
我要WhatYouNeed

2023-06-18

不论你是初学者还是熟悉python语言的工程师，这篇文章都将对你有所帮助
woo静

2023-06-18

这篇文章对于初学者来说非常实用，循序渐进的讲解让人容易理解

前往

页

weixin_38609732

粉丝: 8

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip