网络爬虫技术实现文档1
需积分: 0 111 浏览量
2022-08-03
14:23:20
上传
评论
收藏 1.52MB PDF 举报
网络爬虫
简要概述
该爬虫是基于 scrapy +redis + scrapyd 的分布式网络爬虫系统，实现从 4 个
不同的网站：智联招聘、智联卓聘、Boss 直聘、以及 51 招聘上爬取职位招聘信
息，包括：职位名称、职位链接、公司名称、工作地点、职位发布日期、职位招
聘人数、职位类型、公司简介、职位具体信息、公司规模、公司类型、公司行业、
公司地址、公司主页、专业要求等相关信息。最终将爬取数据存入到 MongoDB
数据库中，实现项目数据的获取任务。
具体实现
Scrapy
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。其可
以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了
页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取 API 所返回的
数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy 用
途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy 使用了 Twisted 异步
网络库来处理网络通讯。整体架构大致如下：
剩余27页未读，继续阅读
评论0
最新资源