Simpyder - Simple Python Spider
Simpyder - 轻量级协程Python爬虫
特点
轻量级:下载便利,依赖较少,使用简单。
协程:单线程,通过协程实现并发。
可定制:简单配置,适应各种爬取场合。
快速开始
下载
#使用pip3
pip3 install simpyder --user
# 更新包
pip3 install simpyder --upgrade
编码
用户只需要定义三个函数,实现三个模块:
链接获取
我们需要一个定义一个,用于产生链接。
async def gen_url():
for each_id in range(100):
yield "https://www.biliob.com/api/video/{}".format(each_id)
链接解析
我们需要定义一个解析链接的函数。其中第一个参数是Respo