没有合适的资源?快使用搜索试试~ 我知道了~
资源详情
资源评论
资源推荐
基于 Scrapy 的 WebUI 开发
——项目需求分析说明书
SY1906514 汪凌风 SY1906508 明 昊
SY1906513 汪丽萍 SY1906431 郑泽西
SY1806220 闫奕涛 SY1906509 邵志钧
2020/03/25
版本记录
版本
日期
修改说明
参与者
审核人
1.0.0
2020.3.26
完成第一版
全体成员
汪凌风
1.1.0
2020.3.26
增加版本记录,修改用
例图及 RUCM
全体成员
汪凌风
1.1.1
2020.4.3
修改了 RUCM 图及部分
描述
邵志钧,汪丽萍
汪凌风
目 录
基于 Scrapy 的 WebUI 开发.........................................................................................1
版本记录........................................................................................................................2
一、引言........................................................................................................................5
1.1 编写目的.........................................................................................................5
1.2 背景.................................................................................................................5
1.3 定义.................................................................................................................5
1.4 参考资料.........................................................................................................6
二、任务概述................................................................................................................7
2.1 目标.................................................................................................................7
2.2 用户特点.........................................................................................................7
2.3 假定与约束.....................................................................................................7
三、需求与设计............................................................................................................8
3.1 需求.................................................................................................................8
3.1.1 业务需求...............................................................................................8
3.1.2 功能需求...............................................................................................9
3.1.3 非功能性需求......................................................................................9
3.2 框架及组件概述...........................................................................................10
3.3 用例图...........................................................................................................11
3.3.1 调度模块............................................................................................12
3.3.2 接受请求............................................................................................13
3.3.3 发送请求............................................................................................14
3.3.4 下载页面............................................................................................15
3.3.5 生成请求............................................................................................16
3.3.6 解析响应............................................................................................16
3.3.7 处理 item............................................................................................18
四、运行环境规定......................................................................................................20
4.1 设备...............................................................................................................20
4.2 支持软件.......................................................................................................20
4.3 接口.............................................................................................................20
4.3.1 硬件接口..........................................................................................20
4.3.2 软件接口..........................................................................................20
4.3.3 通信接口..........................................................................................20
4.3.4 用户接口..........................................................................................20
五、基于 Scrapy 的 WebUI 开发...............................................................................21
5.1 整体思路说明...............................................................................................21
5.2 WebUI 用例图 ...............................................................................................22
5.3 功能详细设计...............................................................................................23
5.3.1 管理脚本............................................................................................23
5.3.2 自动化生成脚本................................................................................24
5.3.3 生成词云............................................................................................25
5.3.4 在线编辑调试....................................................................................25
5.3.5 选择优化............................................................................................27
一、引言
本软件 Scrapy 是开源爬虫框架。本需求规格说明书详细描述了 Scrapy 框架
的功能需求、非功能需求、业务流程、架构以及改进需求及技术路线。
1.1 编写目的
本软件需求规格说明书,是为了软件设计、软件测试人员和用户所编写的。
本软件规格说明书的适用读者,包括参加能力验证的开发测试人员、Scrapy
技术人员,以及项目的其他相关人员。
1.2 背景
软件名称:Scrapy
项目的组织机构:Scrapy 开源项目开发组
项目的实施机构:Github 站点上的 359 位贡献者
项目背景:本项目是一个高速并发的网络爬虫框架,用于对网站进行爬网并
从其页面提取结构化数据。
1.3 定义
Engine
引擎,处理整个系统的数据流处理、触发事务,是整个框架的
核心。
Item
项目,它定义了爬取结果的数据结构,爬取的数据会被赋值成
该 Item 对象。
Selectors
Scrapy 有自己的数据提取机制。它们被称为选择器,因为它们
“选择”HTML 文档的某些部分 XPath 或 CSS 表达。
Scheduler
调度器,接受引擎发过来的请求并将其加入队列中,在引擎再
次请求的时候将请求提供给引擎。
Downloader
下载器,下载网页内容,并将网页内容返回给“蜘蛛”。
剩余28页未读,继续阅读
马李灵珊
- 粉丝: 34
- 资源: 297
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0