目录
1 绪论..........................................................................................................................1
1.1 网络爬虫的发展 ................................................................................................1
1.2 国内外技术发展现状 ........................................................................................2
1.3 系统设计的意义 ................................................................................................3
2 总体设计方案..........................................................................................................4
2.1 系统设计方案.....................................................................................................4
2.2 系统设计框图 ....................................................................................................4
2.3 网络爬虫的相关技术 ........................................................................................5
2.3.1 URL.............................................................................................................5
2.3.2 HTTP 协议..................................................................................................6
2.3.3 JAVA 多线程..............................................................................................9
2.3.4 JAVA 网络编程........................................................................................16
3 系统软件设计........................................................................................................21
3.1 系统软件概述 ..................................................................................................21
3.2 ECLIPSE 软件介绍 ............................................................................................21
3.3 服务器端设计 ..................................................................................................22
3.3.1 网本页解析部分.......................................................................................22
3.3.2 获取新的网络代理部分...........................................................................36
3.4.1 登录部分...................................................................................................37
3.4.2 Table 模块................................................................................................37
3.4.2 上传档及查询部分...................................................................................39
3.5 SOCKET 通信部分.............................................................................................39
3.5.1 什么是 Socket ...........................................................................................39
3.5.2 服务端部分...............................................................................................44
3.5.3 客户端部分...............................................................................................46
4 系统运行..................................................................................................................48
4.1 服务器端界面 ..................................................................................................48
4.2 客户端界面 ......................................................................................................50
结论..............................................................................................................................51
致 谢............................................................................................................................52
参考文献......................................................................................................................53
外文资料原文..............................................................................................................55
附录 B 汉语翻译 ........................................................................................................62
附录 C 程序代码 ........................................................................................................66
