几种常见Python基础爬虫方法介绍，入门级教程
需积分: 5 16 浏览量
2024-05-20
09:17:54
上传
评论
收藏 265KB PDF 举报
Python 爬虫在数据获取和自动化任务中扮演着重要角色。以下介绍几种常见的
基础 Python 爬虫方法。
一、使用 Urllib 方法
在 Python 中，urllib 库是另一个用于处理 URL 和进行网络请求的标准库。虽
然 requests 库因其简洁易用而广受欢迎，但 urllib 库也提供了基本的网络爬
虫功能。
代码语言：javascript
Urllib 是 python 内置的 HTTP 请求库 import urllib.request
#1.定位抓取的 url
url='http://www.baidu.com/'
#2.向目标 url 发送请求
response=urllib.request.urlopen(url)
#3.读取数据
data=response.read()
# print(data) #打印出来的数据有 ASCII 码 print(data.decode('utf-8')) #decode 将相应编码格式的数据转换
成字符串
代码语言：javascript
#post 请求 import urllib.parse
url='http://www.iqianyue.com/mypost/'
#构建上传的 data
postdata=urllib.parse.urlencode({
'name':'Jack',
'pass':'123456'}).encode('utf-8') #字符串转化成字节流数据
html=urllib.request.urlopen(url,data=postdata).read()print(html)
剩余12页未读，继续阅读
资源评论
