10个线程的Python多线程爬虫(采集新浪数据).rar

所需积分/C币:50 2019-07-10 09:29:17 31KB RAR
收藏 收藏 2
举报

一个Python多线程爬虫,在工作时,开10个线程来抓取新浪网页的数据,抓取并保存页面, 并且根据deep返回页面链接,根据key确定是否保存该页面,其中:   deep == 0时,是抓取的最后一层深度,即只抓取并保存页面,不分析链接   deep > 0时,返回该页面链接。   编写本采集爬虫的具体要求:1. 指定网站爬取指定深度的页面,将包含指定关键词的页面内容存放到sqlite3数据库文件中   2. 程序每隔10秒在屏幕上打印进度信息   3. 支持线程池机制,并发爬取网页   4. 代码需要详尽的注释,自己需要深刻理解该程序所涉及到的各类知识点   5. 需要自己实现线程池   功

...展开详情
立即下载 低至0.43元/次 身份认证VIP会员低至7折
抢沙发
一个资源只可评论一次,评论内容不能少于5个字
  • 至尊王者

    成功上传501个资源即可获取
关注 私信 TA的资源
上传资源赚积分,得勋章
最新推荐