python 使用request时关于timeout参数设置无效和报错遇到的一些问题以及解决（csdn）————程序..pdf
版权申诉
189 浏览量
2021-12-03
10:43:40
上传
评论 1
收藏 176KB PDF 举报
python request timeout 参数设置无效
学习爬虫的过程，写了一个敏感路径探测的脚本，在探测某一
URL 响应码是否为 200 的过程中，脚本超时了很久（大概十分钟
的样子）才弹出来报错，开始了对 timeout 参数以及 request 报
错的学习
• 最初的报错
核心代码如下：
response = requests.get(url, headers=headers)
print(url+" 响应码:"+str(response.status_code))
if response.status_code == 200:
domain.append(url)
只要响应码为 200，就加入到 domain 这个列表中
最终在访问 /actuator/heapdump 目录的时候，卡住跑不动了，大概得过了十
多分钟，才给报错，报错为以下三条：
socket.timeout: timed out
urllib3.exceptions.ConnectTimeoutErro
requests.exceptions.ConnectionError
• 修改 DNS
上网搜了一下，从最后一句报错得知原因可能是网络问题，需要改一下 DNS 地
址，所以我将 DNS 修改为阿里的 223.5.5.5
这时再跑一遍程序，跑到/actuator/heapdump 目录的时候又停住了（卡住至少
10 分钟），但过了很久一看程序跑完了，给的响应码是 200，为可以访问，说
明修改 DNS 还是有效果的，现在问题出现在这个目录/actuator/heapdump
• 遇到大图片或文件
当我访问这个 目录时，游览器马上弹出下载文件的选项，这不挺快的
嘛，为啥 python 跑到这这么慢呢？是因为游览器发送的包和 python 发
送的包不一样吗？
资源评论
