没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
1
目录
摘要.................................................................................................................................................3
abstract............................................................................................................................................4
一、 绪论 .......................................................................................................................................5
1.1 研究的背景 ...........................................................................................................................5
1.2 研究的现状 ...........................................................................................................................5
1.3 研究的意义 ...........................................................................................................................5
二、开发环境和相关技术 .............................................................................................................7
2.1 开发环境 ...............................................................................................................................7
2.2Python 语言............................................................................................................................7
2.3Python 搜寻器框架................................................................................................................7
2.4MySQL 数据库........................................................................................................................7
2.5 语义搜索的概念 ...................................................................................................................8
三、系统分析 .................................................................................................................................9
3.1 系统开发流程分析 ...............................................................................................................9
3.1.1 模块实现 ........................................................................................................................9
3.1.2 信息管理模块实现 ........................................................................................................9
3.2 可行性分析 ........................................................................................................................10
3.2.1 技术可行性 ..................................................................................................................10
3.2.2 经济可行性 ..................................................................................................................10
3.2.3 操作可行性 ..................................................................................................................11
3.2.4 法律的可行性 ..............................................................................................................11
3.3 对功能的规定 .....................................................................................................................11
四、 数据库设计 .........................................................................................................................12
4.1 数据库的概念设计 .............................................................................................................12
4.2 数据库的逻辑设计 .............................................................................................................12
五、系统的实现 ...........................................................................................................................14
5.1 搜索引擎首页界面 .............................................................................................................14
5.2 注册页面实现 .....................................................................................................................14
5.3 最新资讯的实现 .................................................................................................................14
5.4 牛闻牛评界面实现 .............................................................................................................15
5.5 搜索功能的实现 .................................................................................................................15
六、测试 .......................................................................................................................................17
6.1 测试的目的 ......................................................................................................................17
2
6.2 问题层次 ..........................................................................................................................17
6.3 测试评定 ..........................................................................................................................17
6.4 测试的设计 ........................................................................................................................17
6.4 测试结果 .............................................................................................................................17
六、总结 .........................................................................................................................................1
七、致谢 .........................................................................................................................................1
八、参考文献 .................................................................................................................................1
3
摘要
现如今的网络运行环境中,搜索引擎是一项被广泛使用的搜索技术,通过网络爬虫
来在网络中为用户输入的语义关键词进行有效的信息搜索。现在的网络爬虫的版本很多,
有些是专门服务于网页的,在页面上进行信息的爬取,也有着是以网络机器人的形式在
服务器中进行信息的爬取的,通过覆盖的范围不同来实现共同的目标功能,就是对特定
的输入内容与之相关的信息进行爬取。对网页中的数据进行怕趋势,能够通过自动锁迎
来模拟程序运行,依托于强大的万维网信息技术来实现关键内容的相关信息搜集过程的
高效、搜索内容的完整、准确。
本次通过对搜索引擎的研究,以 Python 技术来打造一款带有爬虫功能的爬虫安全
牛网站,该网站主要服务于与安全相关的信息内容搜索,通过对输入的语义关键词来作
为爬取的核心方向,在万维网上进行相关的信息爬取,从而实现以系统化的自动信息爬
取来代替传统的人工搜索,提高信息的搜索的效率,提升服务的效果。
关键词:信息安全领域;语义搜索引擎;Python;
4
abstract
In today's network environment, search engine is a widely used search technology, which
uses web crawlers to search effectively information for the semantic keywords entered by
users in the network. Nowadays, there are many versions of web crawlers, some are dedicated
to serving web pages, crawling information on the page, or crawling information in the server
in the form of a network robot. The common goal function is to crawl information related to
specific input content through different coverage. The data in web pages is trendy, can run
simulation programs through automatic locks, and relies on the powerful information
technology of the World Wide Web to achieve efficient information collection process of key
content, complete and accurate search content.
Through the research of search engine, this paper uses Python technology to create a
crawler safe cattle website with crawler function. This website mainly serves the search of
information content related to security. By using the semantic keywords as the core direction
of crawling, related information is crawled on the World Wide Web, so as to achieve
systematic automatic information crawling instead of traditional manual search and improve
the efficiency of information search. Improve the effectiveness of services.
Key words: information security field; Semantic search engine; Python
5
一、 绪论
1.1 研究的背景
自 2015 年在广州举办的网页搜索方式营销峰会的顺利召开,代表着中国的信息化
泛化水平已经提升到了一个全兴的高度,新的营销模式的出现,让新媒体、新的信息传
播方式的到了非常广泛的应用,并且已经成为了社会发展的主要信息传播路径。而在 21
世纪下,网络中的网页搜索模式也在不断的推陈出新,通过在线网页的搜索方式为人们
提供了极其便利的使用条件。网页搜索的出现是伴随着网络的普及而出现的一款能够给
网民们带来更加便捷的信息搜索的工具。在没有搜索引擎时,人们需要输入准确的网址
才能够进入到某一个网站中,如果输入的地址错误则无法打开相应的网页。而自从搜索
引擎出现以来,通过简单的输入关键词,系统就会根据语义内容来主动的在网络中进行
爬虫搜索,通过爬取与语义相关的内容来呈现在页面中,可以是网站、是与语义相关的
内容等等。通过这种搜索方式大大的提升了人们对于网络的利用效率,能够通过简单的、
模糊的词语输入来快速的查找到想要获取的内容,并且搜索引擎的使用简单,功能直接,
操作便捷。
1.2 研究的现状
实际上搜索引擎的出现伴随着互联网的不断成熟也从不断成长的阶段发展到了现
如今的成熟阶段。互联网的初期,主要的易用是各个门户网站、电子邮箱,但是随着网
络上的资源越来越多,需要更好的查找网络中的信息的需求越来越大,如何能够快速的
在众多的信息中找到想要的信息是一项非常重要的发展方向。实际上雅虎作为最早的搜
索引擎公司通过以人工搜索、编译导航目录的方式来实现半自动化的搜索过程实现,对
于当时并不发达的网络而言是相对可以满足人们的搜索需求的,因此雅虎也成为那个时
期最为主要的搜索引擎。但是随着互联网发展的不断壮大,这种引擎已经无法满足人们
的使用需求了,所以当谷歌的出现,以全新的排序技术,实现了很好的链接分析,从而
实现了市场的占有率大幅提升,而之后,我国比较著名的百度也依靠着中文的搜索优势
成为了国内最大的搜索引擎公司。当下,搜索引擎的发展仍然在继续,而国内的很多搜
索引擎存在一些被人所诟病的问题,当输入关键词后,系统会推送出很多的广告信息,
给人们的搜索带来一些不便,造成了国内搜索引擎的口碑相对较差。
1.3 研究的意义
搜索引擎在当下的应用已经非常的普遍,但是针对于某一个方向的专业化的引擎搜
索在当下的网络中大多都是需要付费的,比如专业的化工网站,在我们想要查询某一类
的大宗商品价格时,是需要在网站付费才能够提供相关的数据,这种行业化的搜索引擎
具有更好的专业性,能够将搜索的范围集中在某一特定领域从而实现较强的专业度提升,
保证有很好的服务专业水平。而当下在时代的大发展下,网络安全的问题逐渐的凸显出
来,使得人们对于网络安全的相关内容也在高度的重视。而当下针对于网络信息安全方
面的专业搜索引擎匮乏,本次就通过以安全为主体来通过语义搜索的方式时间一款安全
剩余20页未读,继续阅读
资源评论
五星资源
- 粉丝: 5663
- 资源: 1565
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功