没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
28页
网络中的资源非常丰富,但是如何有效的搜索信息却是一件困难的事情。建立搜索 引擎就是解决这个问题的最好方法。本文首先详细介绍了基于英特网的搜索引擎的系统 结构,然后从网络机器人、索引引擎、Web 服务器三个方面进行详细的说明。为了更加 深刻的理解这种技术,本人还亲自实现了一个自己的搜索引擎——新闻搜索引擎。 新闻搜索引擎是从指定的 Web 页面中按照超连接进行解析、搜索,并把搜索到的 每条新闻进行索引后加入数据库。然后通过 Web 服务器接受客户端请求后从索引数据 库中搜索出所匹配的新闻。 本人在介绍搜索引擎的章节中除了详细的阐述技术核心外还结合了新闻搜索引擎 的实现代码来说明,图文并茂、易于理解。
资源推荐
资源详情
资源评论
仰恩大学毕业设计(论文)
I
摘 要
网络中的资源非常丰富,但是如何有效的搜索信息却是一件困难的事情。建立搜索
引擎就是解决这个问题的最好方法。本文首先详细介绍了基于英特网的搜索引擎的系统
结构,然后从网络机器人、索引引擎、Web 服务器三个方面进行详细的说明。为了更加
深刻的理解这种技术,本人还亲自实现了一个自己的搜索引擎——新闻搜索引擎。
新闻搜索引擎是从指定的 Web 页面中按照超连接进行解析、搜索,并把搜索到的
每条新闻进行索引后加入数据库。然后通过 Web 服务器接受客户端请求后从索引数据
库中搜索出所匹配的新闻。
本人在介绍搜索引擎的章节中除了详细的阐述技术核心外还结合了新闻搜索引擎
的实现代码来说明,图文并茂、易于理解。
关键词:搜索引擎;网络蜘蛛;搜索策略
仰恩大学毕业设计(论文)
II
Abstract
The resources in the internet are abundant, but it is a difficult job to search some
useful information. So a search engine is the best method to solve this problem. This
article fist introduces the system structure of search engine based on the internet in
detail, then gives a minute explanation form Spider search, engine and web server. In
order to understand the technology more deeply, I have programmed a news search
engine by myself.
The news search engine is explained and searched according to hyperlink from a
appointed web page, then indexes every searched information and adds it to the index
database. Then after receiving the customers' requests from the web server, it soon
searches the right news form the index engine,
In the chapter of introducing search engine, it is not only elaborate the core
technology, but also combine with the modern code, pictures included, easy to
understand.
Key Words :Search engine ;Web spider ;Search strategy
仰恩大学毕业设计(论文)
III
目 录
摘 要............................................................ I
Abstract........................................................... I I
引 言............................................................ 1
1 搜索引擎的结构.................................................... 2
1.1搜索引擎系统概述........................................................................................... 2
1.2搜索引擎的构成............................................................................................... 2
1.2.1网络蜘蛛................................................................................................. 2
1.2.2索引与搜索............................................................................................. 2
1.2.3 Web 服务器 ............................................................................................ 3
1.3搜索引擎的主要指标及分析........................................................................... 3
2 网络机器人........................................................ 4
2.1什么是网络机器人........................................................................................... 4
2.2网络机器人的结构分析................................................................................... 4
2.2.2 Spider 程序结构 ..................................................................................... 4
2.2.3如何构造 Spider 程序 ............................................................................ 5
2.2.4如何提高程序性能................................................................................. 7
2.2.5网络机器人的代码分析......................................................................... 7
3 基于 lucene 的索引与搜索、tomcat 服务器........................... 10
3.1什么是 L
UCENE
全文检索 .............................................................................. 10
3.2
L
UCENE
的原理分析 ....................................................................................... 10
3.2.1客户端设计........................................................................................... 10
3.2.2全文检索的实现机制........................................................................... 11
3.2.3 Lucene 的索引效率 .............................................................................. 11
3.2.4 中文切分词机制.................................................................................. 13
3.2.5服务端设计........................................................................................... 14
3.3
L
UCENE
与 S
PIDER
的结合 .............................................................................. 15
3.3.1如何解析 HTML .................................................................................. 16
3.4
基于 T
OMCAT
的 W
EB
服务器 ....................................................................... 19
3.5在 T
OMCAT
上部署项目 ................................................................................. 19
4 搜索引擎策略..................................................... 21
4.1简介................................................................................................................. 21
4.2面向主题的搜索策略..................................................................................... 21
4.2.1导向词................................................................................................... 21
4.2.2网页评级............................................................................................... 21
4.2.3权威网页和中心网页........................................................................... 22
结 论........................................................... 23
参考文献........................................................... 24
致 谢........................................................... 25
仰恩大学毕业设计(论文)
1
引 言
面对浩瀚的网络资源,搜索引擎为所有网上冲浪的用户提供了一个入口,毫
不夸张的说,所有的用户都可以从搜索出发到达自己想去的网上任何一个地方。
因此它也成为除了电子邮件以外最多人使用的网上服务。
搜索引擎技术伴随着 WWW 的发展是引人注目的。搜索引擎大约经历了三代
的更新发展:
第一代搜索引擎出现于 1994 年前后。以 Altavista, Yahoo 和 Infoseek 为代表,
注重反馈结果的数量,主要特征是“求全”。它主要依靠人工分拣的分类目录搜
索,通常由网页制作人自行建立网站名称、网站内容的文字摘要,并将其加入到
搜索引擎的资料库中。搜索引擎根据用户键入的信息,根据预先设定的规则进行
简单的匹配、排序和显示。这种方法只能进行简单的字符串匹配,无法进行全文
搜索。研究表明,搜索引擎性能并没有想象中的那么优秀,在全球 11 个主要的
搜索引擎中,搜索引擎仅能搜索到国际互联网上全部页面的 16% ,甚至更低,造
成这种情况的原因,主要是这些搜索引擎没有及时更新资料。
第二代搜索引擎,利用超链接分析为基础的机器抓取技术,由搜索引擎使用
一个程序在网络上撷取资料,并自动将得到的结果存入索引库中。搜索引擎根据
用户键入的信息进行匹配、排序和显示。这些引擎的主要特点是提高了查准率,
可以用“求精”来描述它的优点,即不需要网站制作人单独键入供搜索的信息,
并且从理论上讲,可将任意网站的所有网页加入到它的资料库中。第二代搜索引
擎的大多数查询都会返回成千上万条信息,查询结果中无关信息太多,而且查询
结果显示比较混乱,使用者仍然难以找到真正想要的资料。
第三代搜索引擎是对第二代搜索引擎的改进,相对于前两代,其更注重智能
化和用户使用的个性化,主要增加了互动性和个性化等高级的技术,采用了中文
自动分类、自动聚类等人工智能技术,而且使用了中文内容分析技术以及区域智
能识别技术,增强了搜索引擎的查询能力。同时,搜索技术将更加智能化,可搜
索资源将更加广泛,搜索方式也将更加便捷有效,为用户使用搜索引擎获取信息
获得更好的体验。
在美国搜索引擎通常指的是基于因特网的搜索引擎,他们通过网络机器人程
序收集上千万到几亿个网页,并且每一个词都被搜索引擎索引,也就是我们说的
全文检索。著名的因特网搜索引擎包括 First Search、Google、HotBot 等。本人
这里研究的就是基于因特网的搜索技术。
仰恩大学毕业设计(论文)
2
1 搜索引擎的结构
1.1 搜索引擎系统概述
搜索引擎是根据用户的查询请求,按照一定算法从索引数据中查找信息返回
给用户。为了保证用户查找信息的精度和新鲜度,搜索引擎需要建立并维护一个
庞大的索引数据库。一般的搜索引擎由网络机器人程序、索引与搜索程序、索引
数据库等部分组成。
系统结构图
1.2 搜索引擎的构成
1.2.1 网络蜘蛛
网络蜘蛛也称为“网络机器人”(Spider) ,是一个功能很强的 WEB扫描程序。
它可以在扫描 WEB页面的同时检索其内的超链接并加入扫描队列等待以后扫描。
因为 WEB中广泛使用超链接,所以一个 Spider 程序理论上可以访问整个 WEB页
面。
为了保证网络机器人遍历信息的广度和深度需要设定一些重要的链接并制
定相关的扫描策略。
1.2.2 索引与搜索
网络机器人将遍历得到的页面存放在临时数据库中,如果通过 SQL直接查询
信息速度将会难以忍受。为了提高检索效率,需要建立索引,按照倒排文件的格
式存放。如果索引不及时跟新的话,用户用搜索引擎也不能检索到。
WWW
文档
网络机器人程序
建立 Lucene 索引
从数据库中搜索信息
Tomcat 服务器
Lucene 索引数据库
WWW 浏览器
WWW 浏览器
JSP
网络机器人程序
剩余27页未读,继续阅读
资源评论
- 2301_816709782024-01-22实在是宝藏资源、宝藏分享者!感谢大佬~
Rocky006
- 粉丝: 5749
- 资源: 1332
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功