nutch crawl代码解析
4星 · 超过85%的资源 需积分: 3 162 浏览量
2008-11-26
14:50:49
上传
评论
收藏 33KB DOC 举报 
中， 类中提供了一个入口主函数
，通过接收键入的命令行，根据命令行指定的参数对 进行配置，
从而启动 抓取程序，通过阅读 类的
源代码来了解 是如何根据接收的命令行进行配置及其启动的。
类的主函数如下所示：
应该知道， 查找文件系统是基于 系统的机制的，所以提供启动的命令与
的 命令很相似。
!"#$%
& '(#%检查命令行参数是否合法，如果小于 ( 个参数，则给出提示。
)
*+,'-.!"!"!"!"*#/
/
0
1&21 #/使用静态类
1 创建一个 &1 实例，可以
在 3 的源代码中查看到该类的定义 读取 配置文件#
&-&4 **#/读取并设置抓取工具的配置文件，
可以在 5& 目录下找到 文件
6&726 &#/抓取任务配置实例的创建
8+-2/初始 +4 文件所在的目录，使用 3 的
&8 类创建目录
828 **9- ##/设置默认抓取到网页的存放目录。
如果命令行中没有指定的值就会使用默认的值：时间。
27: *&&*;(#/设置默认抓取工作启动
线程数目，默认值为 (。
2</默认抓取工作遍历深度，默认值为 <。
2:=>?@A>+$/抓取任务抓取网页的数量，默认为最大值。
& 2/'/99#%根据读取的命令行，设置抓取工作配置信
息。
& **B !"##%
28 !9("#/
99/
0& **B !"##%
2:: !9("#/
99/
0& **B !"##%
资源评论
春水_2014-03-28是nutch0.9的版本比较老了 但还是谢谢分享了
