Nutch全文搜索学习笔记
需积分: 9 201 浏览量
2009-03-20
14:11:29
上传
评论 1
收藏 95KB DOC 举报
1. Nutch
1.1. 安装配置
1.1.1. Linux
一、 安装 JDK
如果你已经安装了 JDK,并且已经设置了 JAVA_HOME，那么跳过这一步
安装 jdk 代码
sudo apt-get install sun-java5-jdk
或者从 sun 公司网站下载 bin 文件执行安装
设置了 JAVA_HOME 代码
sudo vi ~/.bashrc
在最后面增加代码
export JAVA_HOME=/usr/lib/jvm/java-1.5.0-sun
export PATH=$PATH:$JAVA_HOME/bin
二、 下载 nutch 的最新版本 nutch0.8.1
代码
wget http://apache.justdn.org/lucene/nutch/nutch-0.8.1.tar.gz
释放下来即可
代码
tar zxvf nutch-0.8.1.tar.gz
三、 抓取页面
增加 url
代码
cd nutch-0.8.1
mkdir urls
echo http://www.xici.net>>urls/xici
编辑 conf/crawl-url3lter.txt,修改 MY.DOMAIN.NAME 为
代码
+^http://([a-z0-9]*\.)*xici.net/
资源评论
