. . . .
目录
1 绪论..........................................................................................................................................1
1.1 网络爬虫的发展...............................................................................................................1
1.2 国外技术发展现状...........................................................................................................2
1.3 系统设计的意义...............................................................................................................2
2 总体设计方案..........................................................................................................................3
2.1 系统设计方案...................................................................................................................3
2.2 系统设计框图...................................................................................................................3
否.............................................................................................................................................4
是 否........................................................................................................................................4
是.............................................................................................................................................4
.................................................................................................................................................5
图 2.1.1 网页解析部分流程图...............................................................................................5
.................................................................................................................................................6
图 2.1.2 客户端文件遍历流程图 图 2.1.3 服务器端与客户端通信流程图........................6
2.3 网络爬虫的相关技术.......................................................................................................6
2.3.1 URL.............................................................................................................................6
2.3.2 协议.............................................................................................................................7
2.3.3 JAVA 多线程.............................................................................................................10
2.3.4 JAVA 网络编程.........................................................................................................15
3 系统软件设计........................................................................................................................18
3.1 系统软件概述.................................................................................................................18
3.2 ECLIPSE 软件介绍...........................................................................................................19
3.3 服务器端设计.................................................................................................................20
3.3.1 网本页解析部分.......................................................................................................20
3.3.2 获取新的网络代理部分...........................................................................................30
3.4.1 登录部分...................................................................................................................30
3.4.2 Table 模块.................................................................................................................30
3.4.2 上传档与查询部分...................................................................................................32
3.5 SOCKET 通信部分...........................................................................................................32
3.5.1 什么是 Socket...........................................................................................................32
3.5.2 服务端部分...............................................................................................................35
3.5.3 客户端部分...............................................................................................................37
4 系统运行................................................................................................................................39
4.1 服务器端界面.................................................................................................................39
4.2 客户端界面.....................................................................................................................40
结论..........................................................................................................................................41
III / 58
