### Heritrix 1.4.4 安装配置与使用详解
#### 一、Heritrix 1.4.4 简介
Heritrix 是一款开源的网络爬虫工具，主要用于网页数据的抓取与归档，广泛应用于数字图书馆、历史档案馆等领域。Heritrix 采用了模块化设计，支持自定义爬虫策略，能够高效地抓取并保存网页资源。
#### 二、Heritrix 1.4.4 的安装配置
##### 1. **下载 Heritrix**
- **Heritrix 版本**: 1.14.4 (注意文档中的版本号存在笔误，应为 1.4.4)
- **下载地址**: [http://sourceforge.net/projects/archive-crawler/files/archive-crawler%20(heritrix%201.x)/](http://sourceforge.net/projects/archive-crawler/files/archive-crawler%20(heritrix%201.x)/)
- **下载文件**:
- `heritrix1.14.4.zip`: 主程序包
- `heritrix-1.14.4-src.zip`: 源代码包
##### 2. **安装与配置步骤**
- **解压主程序包**:
- 将 `heritrix1.14.4.zip` 解压至指定目录，例如 `F:\Heritrix`。
- **解压 `heritrix-1.14.4.jar`**:
- 解压后，将 `profiles\default` 目录下的 `order.xml` 和 `seeds.txt` 复制到 `F:\Heritrix\conf`。
- **配置管理员账户**:
- 编辑 `F:\Heritrix\conf\heritrix.properties` 文件，添加管理员账号密码:
```properties
heritrix.cmdline.admin = admin:admin
```
- **配置 JMX 密码文件**:
- 将 `F:\Heritrix\conf\jmxremote.password.template` 文件复制到 `F:\Heritrix` 目录下，并重命名为 `jmxremote.password`。
- 编辑该文件，替换 `"monitorRole @PASSWORD@"` 和 `"controlRole @PASSWORD@"` 中的 `@PASSWORD@` 为实际密码:
```plaintext
monitorRole admin
controlRole admin
```
##### 3. **启动 Heritrix**
- 打开命令提示符，定位到 `F:\Heritrix\bin` 目录。
- 输入以下命令启动 Heritrix:
```shell
heritrix --admin=admin:admin
```
- **注意事项**:
- 确保系统端口 8080 未被其他应用占用。
- 访问 `http://127.0.0.1:8080` 或 `http://localhost:8080/`，使用管理员账号登录。
#### 三、常见问题及解决方法
1. **Java 类未找到异常**:
- **异常信息**: `java.lang.ClassNotFoundException:org.archive.crawler.Heritrix`
- **原因**: 启动时未能找到 `heritrix-1.4.4.jar`。
- **解决方案**: 确认 `F:\Heritrix` 目录下是否存在该 `.jar` 文件。若存在，检查是否正确设置了 `HERITRIX_HOME` 环境变量，如有设置，请删除后再试。
2. **JMX 密码文件错误**:
- **异常信息**: `JMX password file is missing or permission not set correctly.`
- **原因**: 密码文件缺失或权限设置不正确。
- **解决方案**: 按照上述步骤正确创建并配置 `jmxremote.password` 文件。
#### 四、在 Eclipse 中配置 Heritrix
##### 1. **创建 Java 项目**
- 在 Eclipse 中新建一个空 Java 项目，命名为 `heritrix`。
##### 2. **导入源代码**
- 从 `heritrix-1.14.4-src\src\java` 目录下导入 `org`、`st` 和 `com` 文件夹到 `heritrix\src` 目录下。
##### 3. **导入 Web 应用**
- 将 `heritrix-1.14.4-src\src\wbapps` 目录下的文件复制到 `heritrix` 项目根目录。
##### 4. **配置库文件**
- 通过 Eclipse 的 `Java Build Path` 功能，将 `heritrix-1.14.4-src\lib` 目录下的所有 `.jar` 文件添加到项目构建路径中。
##### 5. **导入解压后的文件**
- 解压 `heritrix-1.14.4.jar`，并将除 `org`、`st`、`com` 文件夹和 `heritrix.properties` 文件之外的所有文件复制到 `heritrix` 目录下。
##### 6. **复制配置文件**
- 将 `heritrix-1.14.4\conf` 文件夹复制到 `heritrix` 项目的根目录。
#### 五、总结
通过上述步骤，您可以成功安装配置 Heritrix 1.4.4，并在 Eclipse 中进行开发。Heritrix 提供了一套灵活且强大的框架来实现网页数据的抓取和归档，适用于多种应用场景。如果您在使用过程中遇到任何问题，可以参考官方文档或社区寻求帮助。
