Heritrix的使用入门

 很强大，这点在前面的章节中，已经作了详细介绍。但是，无论多么

强大的搜索引擎工具，在其后台，都需要一样东西来支援它，那就是网络爬虫

。

网络爬虫，又被称为蜘蛛 ，或是网络机器人、 等，这些都无关紧

要，最重要的是要认识到，由于爬虫的存在，才使得搜索引擎有了丰富的资源。

 是一个纯由  开发的、开源的  网络爬虫，用户可以使用它从

网络上抓取想要的资源。它来自于 。 最出色之处在

于它的可扩展性，开发者可以扩展它的各个组件，来实现自己的抓取逻辑。本

 的下载页面为：。从

上面可以链接到   的下载页面。当前  的最新版本为

!!"。

（!）在下载完  的完整开发包后，解压到本地的一个目录下，如图 !"#

! 所示。

图 !"#!$% 的目录结构

其中， 所用到的工具类库都存于  下，#!!"!& 是

 的  包。另外，在  目录下有一个 ' 目录，其中包含了一

个很重要的文件：。

（(）在  中配置了大量与  运行息息相关的参数，

码而已。

（+）在设置完登录名和密码后，就可以开始运行  了。 有多

种方式启动，例如，可以使用 ,,，以后台方式加载一个抓取任

务，即为编程式启动。不过最常见的还是以 )* 的方式启动它。

（-） 的主类为 ，运行它，就可以启动

。当然，在运行它的时候，需要为其加上  目录下的所有 & 包。以

下是笔者在命令行中启动  时所使用的批处理文件，此处列出，仅供读

者参考（笔者的  目录是位于 . 盘的根目下，即 ./）。

代码 !"!

&%-Xmx512m%-Dheritrix.home=e:\\heritrix%-cp%0.//////

##!+&1.//////##+!&1.//

////&#!2(&1.//////##("#3,!#

(""+!!"(&1.//////##!"-&1.//////

##+"!&1.//////##!"&1.////

!2(&1.//////'#:"+###!"&1.//////&#

+"!(&1.//////##!+&1.//////&#

##-!+"&1.////#!!"!&0%

org.archive.crawler.Heritrix

（:）在上面的批处理文件中，将  所用到的所有的第三方  包都写进

了  中，同时执行了  这个主类。图

!"#+ 为  启动时的画面。

图 !"#+$% 的启动画面

（2）在这时， 的后台已经对服务器的 8"8" 端口进行了监听，只需要

通过浏览器访问 8"8"，就可以打开  的 )* 了。

用户名和密码，就可以进入如图 !"#: 所示的  的 )* 的主界面。

讲完了通过命令行方式启动的 ，当然要讲一下如何在 . 中配置

 的开发环境，因为可能需要对代码进行调试，甚至修改一些它的源代

码，来达到所需要的效果。下面来研究一下  的下载包。

（!） 文件夹是用来提供  引擎的，也就是提供  的

)* 的部分，因此，在构建开发环境时必不可少。' 文件夹是用来提供

配置文件的，因此也需要配置进入工程。 目录下主要是  在运行时