Python爬取视频(其实是一篇福利)过程解析_python爬取vip视频,python解析vip视频资源-CSDN文库

版权申诉

5星 · 超过95%的资源 156 浏览量 2020-09-18 22:37:57 上传评论 6 收藏 61KB PDF 举报

资源推荐

资源详情

资源评论

Python爬取视频爬取视频(其实是一篇福利其实是一篇福利)过程解析过程解析

主要介绍了Python爬取视频(其实是一篇福利)过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者

工作具有一定的参考学习价值,需要的朋友可以参考下

窗外下着小雨，作为单身程序员的我逛着逛着发现一篇好东西，来自知乎你都用 Python 来做什么？的第一个高亮答案。

到上面去看了看，地址都是明文的，得，赶紧开始吧。

下载流式文件，requests库中请求的stream设为True就可以啦，文档在此。

先找一个视频地址试验一下：

# -*- coding: utf-8 -*-

import requests

def download_file(url, path):

with requests.get(url, stream=True) as r:

chunk_size = 1024

content_size = int(r.headers['content-length'])

print '下载开始'

with open(path, "wb") as f:

for chunk in r.iter_content(chunk_size=chunk_size):

f.write(chunk)

if __name__ == '__main__':

url = '就在原帖...'

path = '想存哪都行'

download_file(url, path)

遭遇当头一棒：

AttributeError: __exit__

这文档也会骗人的么！

看样子是没有实现上下文需要的__exit__方法。既然只是为了保证要让r最后close以释放连接池，那就使用contextlib的closing

特性好了：

# -*- coding: utf-8 -*-

import requests

from contextlib import closing

def download_file(url, path):

with closing(requests.get(url, stream=True)) as r:

chunk_size = 1024

content_size = int(r.headers['content-length'])

print '下载开始'

with open(path, "wb") as f:

for chunk in r.iter_content(chunk_size=chunk_size):

f.write(chunk)

程序正常运行了，不过我盯着这文件，怎么大小不见变啊，到底是完成了多少了呢？还是要让下好的内容及时存进硬盘，还能

省点内存是不是：

# -*- coding: utf-8 -*-

import requests

from contextlib import closing

import os

def download_file(url, path):

with closing(requests.get(url, stream=True)) as r:

chunk_size = 1024

content_size = int(r.headers['content-length'])

print '下载开始'

with open(path, "wb") as f:

for chunk in r.iter_content(chunk_size=chunk_size):

f.write(chunk)

f.flush()

os.fsync(f.fileno())

文件以肉眼可见的速度在增大，真心疼我的硬盘，还是最后一次写入硬盘吧，程序中记个数就好了：

def download_file(url, path):

with closing(requests.get(url, stream=True)) as r:

chunk_size = 1024

content_size = int(r.headers['content-length'])

print '下载开始'

with open(path, "wb") as f:

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余2页未读，立即下载

内容反馈

版权申诉

☆沉♂默☆

2022-10-27

资源内容详细全面，与描述一致，对我很有用，有一定的使用价值。
恩奇都aki

2024-01-01

资源不错，很实用，内容全面，介绍详细，很好用，谢谢分享。
笛秋白

2022-12-19

资源不错，很实用，内容全面，介绍详细，很好用，谢谢分享。
godfreya5

2023-04-08

超级好的资源，很值得参考学习，对我启发很大，支持！
2301_80907327

2024-02-14

资源很实用，对我启发很大，有很好的参考价值，内容详细。

前往

页

weixin_38638002

粉丝: 4
资源: 977

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip