Heritrix源码分析
需积分: 4 149 浏览量
2010-04-15
17:08:10
上传
评论
收藏 494KB DOC 举报
Heritrix
源码分析 ( 一 ) 包介绍
之前说过要分享下我的爬虫经验，但一直找不到突破口，现在才感觉写点东西
真的很难，所以大家真的要感谢那些无私的前辈们，在网上留下的一篇篇可以
指点迷津的文章。
想了很久，还是先从 的包开始说起，然后再说类，最后讲下如何加工
，也就是将其打造成自己想要的爬虫，这里补充下，我用的版本是
同时欢迎加入我建的 爬虫群一起讨论学习
序
号
包名 说明
封装了 的
用于 网页
内容
封装了 的
用于 网页
内容这里主要处理
封装了 的
用于 网页
内容还待研究
!"
程序运行的入口包
如 运行可以直接抓
取
!"#
的管理包比如
"$% 表示一个抓取任务
&% "$%# 管理
$'(以及日志统计等
) !"#*
服务于 +, 管理界面如 $% 参
数的设置
!"##
的数据模型包如在
中代表一个 +-. 的
##+-,
!"###
管理 数据模型中的
凭证如抓取某些网站需要用
户名和密码
/ !"##*
的规则包如决定哪
些 +-. 可以抓取可以调度
!"##*"
还待研究应该是决定哪些
+-. 需要重新抓取
!"!
事件管理如 的暂
停、重启、停止等
!"
的造血器通过它抽
剩余37页未读，继续阅读
资源评论
