- 爬虫项目背景说明
- 爬虫项目整体步骤说明
- 爬虫项目需求算法说明
- http请求简单说明
- 获取初始页面信息
- 提取URL和城市
- 解析器与http请求分析模块抽离
- Fetch模块封装
- 城市列表解析器功能分析
- 单任务版爬虫实现思路分享
- 单任务版爬虫城市列表解析器实现
- 单任务版engine总控函数实现
- 城市解析器单元测试函数
- 城市解析与用户解析逻辑分析
- 模拟网页请求说明
- 爬虫性能需求分析
- 并发版架构分析
- 代码抽离之worker封装分析
- worker创建实现
- worker数据交互通道实现
- worker通道的配置
- 死锁bug与修正
- 循环等待问题分析
- 用户信息打印测试
- 用户数据统计测试
- 用户数据统计测试bug修改
- Scheduler实现之worker队列说明
- Scheduler实现之总控函数实现说明
- 回顾
- 调度器队列控制实现
- channel request worker匹配对应答疑
- 并发队列调度结构图和流程图分析
- 并发重构说明
- 重构测试
- 爬取所有城市和用户去重操作
- 数据存储及有效数据传输通道说明
- itemServer原理说明
- elasticSearch与docker简述安装说明
- elasticSearch基本操作
- docker基本操作说明
- golang连接elasticSearch测试
- elasticSearch数据存储
- item结构封装
0/1024
暂无留言
