网络爬虫抓取程序

/**
 * @author Jack.Wang
 * 
 */
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.HashSet;
import java.util.LinkedHashSet;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

// 搜索Web爬行者
public class SearchCrawler implements Runnable {

 /*
  * disallowListCache缓存robot不允许搜索的URL。 Robot协议在Web站点的根目录下设置一个robots.txt文件,
  * 规定站点上的哪些页面是限制搜索的。 
  * 搜索程序应该在搜索过程中跳过这些区域,下面是robots.txt的一个例子: 
  * # robots.txt for http://somehost.com/ User-agent:
  * Disallow: /cgi-bin/ 
  * Disallow: /registration # Disallow robots on registration page
  * Disallow: /login
  */

 private HashMap<String, ArrayList<String>> disallowListCache = new HashMap<String, ArrayList<String>>();
 ArrayList<String> errorList = new ArrayList<String>();// 错误信息
 ArrayList<String> result = new ArrayList<String>(); // 搜索到的结果

 String startUrl;// 开始搜索的起点
 int maxUrl;// 最大处理的url数
 String searchString;// 要搜索的字符串(英文)
 boolean caseSensitive = false;// 是否区分大小写
 boolean limitHost = false;// 是否在限制的主机内搜索

 public SearchCrawler(String startUrl, int maxUrl, String searchString) {
  this.startUrl = startUrl;
  this.maxUrl = maxUrl;
  this.searchString = searchString;
 }

 public ArrayList<String> getResult() {
  return result;
 }

 public void run() {// 启动搜索线程
  crawl(startUrl, maxUrl, searchString, limitHost, caseSensitive);
 }

 // 检测URL格式
 private URL verifyUrl(String url) {
  // 只处理HTTP URLs.
  if (!url.toLowerCase().startsWith("http://"))
   return null;
  URL verifiedUrl = null;
  try {
   verifiedUrl = new URL(url);
  } catch (Exception e) {
   return null;