package com.hengking.crawl;
import java.text.SimpleDateFormat;
import java.util.*;
import java.net.*;
import java.awt.image.BufferedImage;
import java.io.*;
import java.util.regex.*;
import javax.imageio.ImageIO;
import com.hengking.crawl.util.UtilSeriz;
// 搜索Web爬行者
public class SearchCrawler implements Runnable{
/* disallowListCache缓存robot不允许搜索的URL。 Robot协议在Web站点的根目录下设置一个robots.txt文件,
*规定站点上的哪些页面是限制搜索的。 搜索程序应该在搜索过程中跳过这些区域,下面是robots.txt的一个例子:
# robots.txt for http://somehost.com/
User-agent: *
Disallow: /cgi-bin/
Disallow: /registration # /Disallow robots on registration page
Disallow: /login
*/
public static SimpleBloomFilter filterUrl;
public static SimpleBloomFilter filterImg;
private HashMap< String,ArrayList< String>> disallowListCache = new HashMap< String,ArrayList< String>>();
ArrayList< String> errorList= new ArrayList< String>();//错误信息
ArrayList< String> result=new ArrayList< String>(); //搜索到的结果
String startUrl;//开始搜索的起点
int maxUrl;//最大处理的url数
String searchString;//要搜索的字符串(英文)
boolean caseSensitive=false;//是否区分大小写
boolean limitHost=false;//是否在限制的主机内搜索
private static String outdir;
private static String seroutdir;
private static String seroutdirimg;
private boolean blnFlag=false;
/***
* 构造函数
* @param startUrl
* @param maxUrl
* @param searchString
*/
public SearchCrawler(String startUrl,int maxUrl,String searchString)
{
this.startUrl=startUrl;
this.maxUrl=maxUrl;
this.searchString=searchString;
}
public ArrayList< String> getResult(){
return result;
}
public void run(){//启动搜索线程
new Thread(new TimeWrite2File()).start();
blnFlag=true;
crawl(startUrl,maxUrl, searchString,limitHost,caseSensitive);
}
//检测URL格式
private URL verifyUrl(String url) {
// 只处理HTTP URLs.
if (!url.toLowerCase().startsWith("http://"))
return null;
URL verifiedUrl = null;
try {
verifiedUrl = new URL(url);
} catch (Exception e) {
return null;
}
return verifiedUrl;
}
// 检测robot是否允许访问给出的URL.
private boolean isRobotAllowed(URL urlToCheck) {
String host = urlToCheck.getHost().toLowerCase();//获取给出RUL的主机
//System.out.println("主机="+host);
// 获取主机不允许搜索的URL缓存
ArrayList< String> disallowList =disallowListCache.get(host);
// 如果还没有缓存,下载并缓存。
if (disallowList == null) {
disallowList = new ArrayList< String>();
try {
URL robotsFileUrl =new URL("http://" + host + "/robots.txt");
BufferedReader reader =new BufferedReader(new InputStreamReader(robotsFileUrl.openStream()));
// 读robot文件,创建不允许访问的路径列表。
String line;
while ((line = reader.readLine()) != null) {
if (line.indexOf("Disallow:") == 0) {//是否包含"Disallow:"
String disallowPath =line.substring("Disallow:".length());//获取不允许访问路径
// 检查是否有注释。
int commentIndex = disallowPath.indexOf("#");
if (commentIndex != - 1) {
disallowPath =disallowPath.substring(0, commentIndex);//去掉注释
}
disallowPath = disallowPath.trim();
disallowList.add(disallowPath);
}
}
// 缓存此主机不允许访问的路径。
disallowListCache.put(host, disallowList);
} catch (Exception e) {
return true; //web站点根目录下没有robots.txt文件,返回真
}
}
String file = urlToCheck.getFile();
//System.out.println("文件getFile()="+file);
for (int i = 0; i < disallowList.size(); i++) {
String disallow = disallowList.get(i);
if (file.startsWith(disallow)) {
return false;
}
}
return true;
}
private String downloadPage(URL pageUrl) {
try {
// Open connection to URL for reading.
BufferedReader reader =
new BufferedReader(new InputStreamReader(pageUrl.openStream()));
// Read page into buffer.
String line;
StringBuffer pageBuffer = new StringBuffer();
while ((line = reader.readLine()) != null) {
pageBuffer.append(line);
}
return pageBuffer.toString();
} catch (Exception e) {
}
return null;
}
// 从URL中去掉"www"
private String removeWwwFromUrl(String url) {
int index = url.indexOf("://www.");
if (index != -1) {
return url.substring(0, index + 3) +
url.substring(index + 7);
}
return (url);
}
// 解析页面并找出链接
private ArrayList< String> retrieveLinks(URL pageUrl, String pageContents,
boolean limitHost)
{
// 用正则表达式编译链接的匹配模式。
Pattern p =Pattern.compile("<a\\s+href\\s*=\\s*\"?(.*?)[\"|>]",Pattern.CASE_INSENSITIVE);
Matcher m = p.matcher(pageContents);
ArrayList< String> linkList = new ArrayList< String>();
while (m.find()) {
String link = m.group(1).trim();
if (link.length() < 1) {
continue;
}
// 跳过链到本页面内链接。
if (link.charAt(0) == '#') {
continue;
}
if (link.indexOf("mailto:") != -1) {
continue;
}
if (link.toLowerCase().indexOf("javascript") != -1) {
continue;
}
if (link.indexOf("://") == -1){
if (link.charAt(0) == '/') {//处理绝对地
link = "http://" + pageUrl.getHost()+":"+pageUrl.getPort()+ link;
} else {
String file = pageUrl.getFile();
if (file.indexOf('/') == -1) {//处理相对地址
link = "http://" + pageUrl.getHost()+":"+pageUrl.getPort() + "/" + link;
} else {
String path =file.substring(0, file.lastIndexOf('/') + 1);
link = "http://" + pageUrl.getHost() +":"+pageUrl.getPort()+ path + link;
}
}
}
int index = link.indexOf('#');
if (index != -1) {
link = link.substring(0, index);
}
link = removeWwwFromUrl(link);
URL verifiedLink = verifyUrl(link);
if (verifiedLink == null) {
continue;
}
/* 如果限定主机,排除那些不合条件的URL*/
if (limitHost &&
!pageUrl.getHost().toLowerCase().equals(
verifiedLink.getHost().toLowerCase()))
{
continue;
}
// 跳过那些已经处理的链接.
// if (crawledList.contains(link)) {
// continue;
// }
if(filterUrl.contains(link))
{
continue;
}
else
{
filterUrl.add(link);
}
linkList.add(link);
}
return (linkList);
}
// 解析页面并找出链接
private ArrayList< String> retrieveImgLinks(URL pageUrl, String pageContents,
boolean limitHost)
{
// 用正则表达式编译链接的匹配模式。
Pattern p =Pattern.compile("<img\\s+src\\s*=\\s*\"?(.*?)[\"|>]",Pattern.CASE_INSENSITIVE);
Matcher m = p.matcher(pageContents);
ArrayList< String> linkList = new ArrayList< String>();
while (m.find()) {
String link = m.group(1).trim();
if (link.length() < 1) {
continue;
}
// 跳过链到本页面内链接。
if (link.charAt(0) == '#') {
continue;
}
if (link.indexOf("mailto:") != -1) {
continue;
}
if (link.toLowerCase().indexOf("javascript") != -1) {
continue;
}
if (link.indexOf("://") == -1)
{
if (link.char
没有合适的资源?快使用搜索试试~ 我知道了~
自己写的Java抓图程序(用了BloomFilter算法)
共13个文件
class:6个
java:3个
cmd:1个
5星 · 超过95%的资源 需积分: 9 33 下载量 45 浏览量
2010-07-12
14:13:25
上传
评论 1
收藏 31KB RAR 举报
温馨提示
自己写的Java抓图程序 原理见 http://blog.csdn.net/binyao02123202/archive/2010/07/12/5728840.aspx 用了序列化 线程 和BloomFilter算法
资源推荐
资源详情
资源评论
收起资源包目录
JavaCrawl.rar (13个子文件)
JavaCrawl
.project 385B
JavaCrawler.cmd 94B
bin
com
hengking
crawl
SimpleBloomFilter$SimpleHash.class 1008B
SearchCrawler$ImgDownThread.class 3KB
SearchCrawler$TimeWrite2File.class 2KB
SimpleBloomFilter.class 2KB
SearchCrawler.class 11KB
util
UtilSeriz.class 1KB
JavaCrawler.jar 13KB
src
com
hengking
crawl
SimpleBloomFilter.java 2KB
SearchCrawler.java 17KB
util
UtilSeriz.java 1KB
.classpath 232B
共 13 条
- 1
资源评论
- icezhanghui2013-06-28还算详细,谢谢
君望永远
- 粉丝: 1628
- 资源: 45
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功