没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
上一篇博文 一篇万字博文带你入坑爬虫这条不归路(你还在犹豫什么&抓紧上车) 【❤熬夜整理&建议收藏
❤】被众多爬虫爱好者/想要学习爬虫的小伙伴们阅读之后,很多小伙伴私信我说——大佬搞爬虫都是用的
socket套接字嘛?
(苦笑)“那肯定不是啊!python为我们封装了那么多伟大而又简单实用的爬虫库,”不过我想说的是,“ 学啥技术学啥技术
都是从底层抓起,万丈高楼平地起,它也是基于地基稳!都是从底层抓起,万丈高楼平地起,它也是基于地基稳! 所以在入坑文中简单地介绍使用了下底层爬虫库——
socket!”
而本文,本博主就带领小伙伴们认真地学习一下Python中一大广为使用的爬虫库——Requests—— 专为人类而构
建;有史以来下载次数最多的Python软件包之一!
这篇文章曝光很大,很多小伙伴因为这篇文章成功入坑爬虫,但是!我发现一个很严重的问题,有些人基础都没咋
学,就来直接搞爬虫,很多问我很基础很基础的问题!所以,我希望大家python基础一定要好好过一遍,费不了多
少时间,我的python基础专栏也是下功夫最大,结合了我四五年项目经验而成,希望大家认真学习,有问题可以群
里交流或者私信我。
【Python全栈基础教程】
重点来啦!重点来啦!!
相信有不少小伙伴已经通过我的上篇博文入坑爬虫,而本篇文讲解的Requests库也是学习爬虫之路的一大最为重要
的知识点,在我们日后的爬虫开发中使用的最多的也是它哦!
学好Requests,你的爬虫之路日后将畅通无阻!!!
❤❤两万字两万字Requests库详解库详解❤❤
1.简介
2.发起请求
参数详解:
(1)请求方法method:
(2)统一资源定位符url
(3)传递url参数params
(4)传递form表单数据——data
(5)传递json数据——json
(6)自定义headers
(7)自定义cookies
①获取cookies:
②使用Cookie维持登录状态的两种方法:
(8)设置代理proxies
(9)重定向allow_redirects
(10)禁止证书验证vertify
(11)设置超时timeout
拓展:
(12)文件上传
(13)Prepared Request
总结:
3.接收响应
(1)响应内容
(2)字符编码
(3)二进制数据
(4)json数据
(5)状态码
(6)响应报头
(7)服务器返回的cookies
(8)查看响应的url
总结:
4.使用requests库进行实战:
(1)基操 之 实战项目一:进行百度贴吧指定搜索内容获取到的html源码头5页的爬取!
①上代码:
②实现效果:
(2)升级版操作 之 实战项目二:使用session实现人人网登录状态维持
①上代码:
②实现效果:
1.简介简介
安装的话就直接通过pip这个包管理工具即可:
pip install requests
Requests是一个优雅而简单的Python HTTP库,专为人类而构建。
Requests是有史以来下载次数最多的Python软件包之一,每天下载量超过400,000次。
之前的urllib(后面会更新文章讲解哦——敬请期待!)做为Python的标准库,因为历史原因,使用的方式可以说是
非常的麻烦而复杂的,而且官方文档也十分的简陋,常常需要去查看源码。与之相反的是,Requests的使用方式非常的
简单、直观、人性化,让程序员的精力完全从库的使用中解放出来。
Requests的官方文档同样也非常的完善详尽,而且少见的有中文官方文档&&英文官方文档。
2.发起请求发起请求
根据入坑文可知爬虫:模拟浏览器发送请求,获取响应。那么首先我们就要学会使用Requests发起请求!
Requests的请求不再像urllib一样需要去构造各种Request、opener和handler,直接使用Requests构造的方法,并在
其中传入需要的参数即可。
源码:
def request(method, url,params=None, data=None, headers=None, cookies=None,
timeout=None, allow_redirects=True, proxies=None,verify=None, json=None):
参数详解:参数详解:
((1)请求方法)请求方法method::
每一个请求方法都有一个对应的每一个请求方法都有一个对应的API,比如GET请求就可以使用get()方法方法:
而POST请求就可以使用post()方法方法,并且将需要提交的数据传递给data参数即可:
而其他的请求类型,都有各自对应的方法:
知识点补给站——POST请求方法的小知识点:
应用场景:登录注册
需要传输大文本内容的时候使用(post请求对长度没有要求)。
((2)统一资源定位符)统一资源定位符url
URL((Universal Resource Locator),即统一资源定位符。),即统一资源定位符。
((3)传递)传递url参数参数params
传递URL参数也不用再像urllib中那样需要去拼接URL,而是简单的,构造一个字典,并在请求时将其传递给简单的,构造一个字典,并在请求时将其传递给
params参数:参数:
import requests
params = {'key': 'value1', 'key2': 'value2'}
resp = requests.get("http://httpbin.org/get", params=params)
print(resp.url)
小知识点:小知识点:
有时候我们会遇到相同的url参数名,但有不同的值,而python的字典又不支持键的重名,那么我们可以把键的值用
列表表示:
import requests
params = {'key': 'value1', 'key2': ['value2', 'value3']}
resp = requests.get("http://httpbin.org/get", params=params)
print(resp.url)
知识点补给站:
本文大多使用的URL站点是httpbin.org,它可以提供HTPP请求测试哦!
((4)传递)传递form表单数据表单数据——data
剩余22页未读,继续阅读
资源评论
毕业课程设计
- 粉丝: 2247
- 资源: 1634
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 技术面试最后反问面试官的话 校招面试非技术问题有哪些 非技术问题如何回答.png
- NB-IOT-BC26全网通模块Altium+ CADENCE +PADS三种格式(原理图SCH+PCB封装库)文件.zip
- 基于微信小程序开发的校园失物招领系统源码毕业设计(优质项目源码).zip
- 词向量是一种将自然语言中的单词转换为数值向量的技术,它能够捕捉词义和上下文信息
- nmap与masscan的简单使用
- MyBatis动态SQL.pdf
- 基于stm32单片机protues仿真的温湿度控制系统设计(仿真图、源代码)
- 词向量:自然语言处理的基石
- mybatis动态sql
- 40G微信小程序开发教程(工具插件+视频教程)
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功