爬虫服务化方案介绍.docx
需积分: 9 201 浏览量
2021-05-25
10:43:17
上传
评论
收藏 1.52MB DOCX 举报
网络爬虫服务化方案建议书
一 引言
网络爬虫作为一种强有力的数据获取手段，迄今为止被运用到各个方面。
本团队需要相关行业数据作为支撑，广泛收集互联网数据势在必行。如何提高
收集效率和有效管理是团队需要面临的问题。本篇旨在提出一种网络爬虫微服
务架构，有效管理各个组件功能，利用各个组件相互协调有效完成数据收集。
二 网络爬虫分层架构
按照分层模型，主要基于各个层次提供的功能和服务划分：
最底层是硬件设备：相关软件和网络带宽作为支撑，这部分作为网络爬
虫的基本设施，主要提供强有力的硬件，资源支撑。提供足够的内存，
剩余36页未读，继续阅读
马修马
- 粉丝: 3
- 资源: 7
评论0