java网络爬虫,用java做的一个简单的网络爬虫项目

用多线程实现的 Java 爬虫程序

2008-10-23 14:45

用多线程实现的

Java

爬虫程序

以下是一个 Java 爬虫程序，它能从指定主页开始，按照指定的深度抓取该站点域名下的网

本程序用到了多线程(静态变量和同步)，泛型，文件操作，URL 类和连接，Hashtable 类关联

数组，正则表达式及其相关类。运行时需使用命令行参数，第一个参数应使用 http://开头的

有效 URL 字符串作为爬虫的主页，第二个参数（可选）应输入可转换为 int 型的字符串（用

Integer.parseInt(String s)静态方法可以转换的字符串，如 3）作为爬虫深度，如果没有，则默

认深度为 2。

本程序的不足之处是：只考虑了 href= href=' href="后加绝对 url 的这三种情况(由于 url 地址

在网页源文件中情况比较复杂，有时处理也会出现错误)，还有相对 url 和 window.open('的情

况没有考虑。异常处理程序也只是简单处理。如果读者有改进办法可以把源代码帖出，不胜

感激。

附上源代码如下（保存名为 GetWeb.java）：

import java.io.PrintWriter;

import java.net.URL;

import java.net.URLConnection;

import java.util.ArrayList;

import java.util.regex.Matcher;

import java.util.regex.Pattern;

import java.util.Hashtable;

public class GetWeb {

private int webDepth = 2;//爬虫深度

private int intThreadNum = 10;//线程数

private Hashtable<String,Integer> allUrls = new

Hashtable<String,Integer>();//存储所有 URL 的网页号

private Hashtable<String,Integer> deepUrls = new

Hashtable<String,Integer>();//存储所有 URL 深度

private int intWebIndex = 0;//网页对应文件下标，从 0 开始

private String charset = "GB2312";

private String report = "";

private long startTime;

private int webSuccessed = 0;

private int webFailed = 0;

this.strHomePage = s;

this.webDepth = i;

}

public synchronized void addWebSuccessed()

{

webSuccessed++;

}

public synchronized void addWebFailed()

{

webFailed++;

PrintWriter pwReport = new PrintWriter(new FileOutputStream("report.txt"));

pwReport.println(report);

pwReport.close();

}

catch(Exception e)

{

}

}

public synchronized String getAUrl()

{

String tmpAUrl = arrUrls.get(0);

arrUrls.remove(0);

return tmpAUrl;

}

public synchronized String getUrl()

{

String tmpUrl = arrUrl.get(0);

/**

* @param args

*/

{

if (args.length == 0 || args[0].equals(""))

{

System.out.println("No input!");

System.exit(1);

}

else if(args.length == 1)