Sosoo 1.0网络爬虫程序.doc

所需积分/C币:16 2010-12-18 19:50:24 39KB APPLICATION/MSWORD
41
收藏 收藏
举报

Sosoo 1.0网络爬虫程序 ---用户开发手册 编写人:王建华(rimen/jerry) 编写目的:基于sosoo定制web spider程序的编程人员。 目录 一:安装sosoo 2 二:功能定制 2 1.基本功能参数的设置。 2 2.配置机器人对url的检查 3 3:实现文件管理。 4 4.定制html文档下载规则。 4 5.设置对下载后http文档的过滤处理 5 6.启用机器人运行期监控。 5 7.启用对http协议分析的监控。 5 三:sosoo描述 6 四:应用开发指南 6 1.Roboter类,spider程序的主类。 6 2.TaskList接口,解决对处理任务的存储。 7 3.Http客户端实现。 7 4.实现网页存储或处理 7 5.实现运行期的监控 8 五.程序例子 9 六.参考依赖 10 一:安装sosoo sosoo提供的是一个sosoo-core.jar包,其中并没有提供可运行的程序入口。如果要使用可以通过src中的examples进行体验。开发者可以基于在这上开发出基于UI,j2ee等spider程序 把sosoo-core包加入到你应用的classpath中。 Sosoo 提供一个线程类的来代表一个机器人com.sosoo.robot.spider. Roboter。 通过一个测试类 public static void main(String[] args) throws Exception { Roboter robby = new Roboter(); robby.setStartURL(new URL("http://10.25.101.173:7001/pa18Web/framework/images/framevork_04.gif")); robby.setMaxDepth(0); //设置最大连接访问深度 robby.setSleepTime(0); robby.setWalkToOtherHosts(true); robby.run(); //启动 } 这样就启动了一个spider程序,sosoo将根据你对javaBean参数的设置进行对网络上html 的抓取. 停止机器人. robot.stopRobot(); 二:功能定制 Sosoo利用回调的方式实现了aop,用户可以通过回调的方式注入javaBean对象,以实现其外部功能 1.基本功能参数的设置。 基本功能指: roboter的原生类型参数(或String),例如:startURL,maxDepth等。 设置开始处理的url【startURL】:必须参数,roboter会根据这个地址开始在网络上进行查找。 robby.setStartURL(URL url); 设置从开始路径能找的最大深度【maxDepth】:程序会判断当前处理的链接深度是否超过最大链接深度,如果超过这个链接将忽略,当然你可以通过设置depthIsEffect来屏蔽这个功能。默认值为1。 robby.setMaxDepth(0); 设置处理文档的时间间隔【sleepTime】:当处理完一个url时,设置这个间隔时间处理下一个url。单位为s,默认值为60,推荐使用5s。 robby.setSleepTime(0); 设置http连接超时时间:在连接服务器时,可能由于网络或者本身服务的原因,可 能会出现超时的情况,通过设置超时时间来限制对某个url连接的最大时间,这样就可以提高处理的速度,但是如果这个值设置太小,可能很多连接都会连接不到,建议使用大于30的值,默认为60s。 robby.setUrlConnectTimeOut(30); 停止robby线程【stopIt】:你可以通过对robby对象进行操作来停止当前的线程。 robby.stopRobot(); 暂停robby线程【sleep】:可以对当前运行的robby线程进行暂停。 robby.setSleep(true); 2.配置机器人对url的检查 sosoo spider会根据用户的设置把收集到url列表中过滤掉不符合条件的url。 过滤的顺序:walkToOtherHosts-allowWholeHost-flexibleHostCheck- allowWholeDomain-用户提供url列表。 设置是否访问其他的主机【walkToOtherHosts】:如果你需要进行整个互联网的搜索,而不限于你开始提供的url中的主机,把这个参数设置为true。默认为false。 robby.setWalkToOtherHosts(true); 设置是否访问本主

...展开详情
立即下载
限时抽奖 低至0.43元/次
身份认证后 购VIP低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 签到新秀

关注 私信
上传资源赚钱or赚积分
最新推荐
Sosoo 1.0网络爬虫程序.doc 16积分/C币 立即下载
1/0