网络爬虫（Spider）Java 实现原理 收藏
网络蜘蛛”或者说“网络爬虫”，是一种能访问网站并跟踪链接的程序，通过它，可
快速地画出一个网站所包含的网页地图信息。本文主要讲述如何使用 编程来构建一个
“蜘蛛”，我们会先以一个可复用的蜘蛛类包装一个基本的“蜘蛛”，并在示例程序中演示如何
创建一个特定的“蜘蛛”来扫描相关网站并找出死链接。
语言在此非常适合构建一个“蜘蛛”程序，其内建了对 协议的支持，通过它可以
传输大部分的网页信息；其还内建了一个 解析器，正是这两个原因使 语言成
为本文构建“蜘蛛”程序的首选。
文章后面例 的示例程序，将会扫描一个网站，并寻找死链接。使用这个程序时需先输入
一个 并单击“按钮，程序开始之后，“按钮会变成“按钮。在程
序扫描网站期间，会在“按钮之下显示进度，且在检查当前网页时，也会显示相关
正常链接与死链接的数目，死链接将显示在程序底部的滚动文本框中。单击“按钮
会停止扫描过程，之后可以输入一个新的 ；如果期间没有单击“，程序将会一
直运行直到查找完所有网页，此后，“按钮会再次变回“，表示程序已停止。
下面将演示示例程序是如何与可复用“类交互的，示例程序包含在例 的
类中，这个类实现了 ! 接口，如例 " 所示，正是通过这个
接口，蜘蛛类才能与示例程序相交互。在这个接口中，定义了三个方法：第一个方法是
“#$，它在每次程序定位一个 时被调用，如果方法返回 $，表示
程序应继续执行下去并找出其中的链接；第二个方法是“%，它在每次程序
检测 导致错误时被调用（如“&'&(页面未找到”）；第三个方法是
“#$%，它在每次发现电子邮件地址时被调用。有了这三个方法，
类就能把相关信息反馈给创建它的程序了。
在 ! 方法被调用后，“蜘蛛”就开始工作了；为允许程序重绘其用户界面，“蜘蛛”是作为
一个单独的线程启动的。点击“按钮会开始这个后台线程，当后台线程运行之后，
又会调用“类的 $ 方法，而 $ 方法是由 对象实例化时启动的，如
下所示：
()(*(+ ,-(
.+,-(
!()(*(+$. / +,,-(
剩余23页未读，继续阅读
资源评论
Cqsh19880524
- 粉丝: 0
- 资源: 3
最新资源
- 通过python实现抽象工厂模式（Abstract Factory Pattern）.rar
- 学习记录111111111111111111111111
- JavaScript函数
- java-leetcode题解之Range Sum Query 2D - Mutable.java
- java-leetcode题解之Random Pick Index.java
- java-leetcode题解之Race Car.java
- java-leetcode题解之Profitable Schemes.java
- java-leetcode题解之Product of Array Exclude Itself.java
- java-leetcode题解之Prime Arrangements.java
- MCU51-51单片机
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
