基于Python实现的通用小规模搜索引擎【100013276】

> # ♻️ 资源 > **大小：** 43.6MB > **文档链接：**[**https://www.yuque.com/sxbn/ks/100013276**](https://www.yuque.com/sxbn/ks/100013276) > **➡️ 资源下载：**[**https://download.csdn.net/download/s1t16/88329405**](https://download.csdn.net/download/s1t16/88329405) > **注：更多内容可关注微信公众号【神仙别闹】，如当前文章或代码侵犯了您的权益，请私信作者删除！** >  # 基于Python实现的通用小规模搜索引擎 ## 1.项目简介 ### 1.1背景 《信息内容安全》网络信息内容获取技术课程项目设计 - 一个至少能支持10个以上网站的爬虫程序，且支持增量式数据采集;并至少采集10000个实际网页; - 针对采集回来的网页内容， 能够实现网页文本的分类; - 可进行重复或冗余网页的去重过滤; - 对经去冗以后的内容建立倒排索引; - 采用PageRank算法实现搜索结果的排序; - 支持自然语言的模糊检索; - 可实现搜索结果的可视化呈现。 - 可以在线记录每次检索的日志，井可对日志数据进统计分析和关联挖掘。 ### 1.2运行环境 - 平台：全平台 - jdk 1.8.0 - ElasticSearch 7.4.0 - Python 3.6 及以上 - 安装依赖模块 - PageRank算法、AI文本分类与上传 ```python > pip install paddlepaddle numpy elasticsearch ``` - 数据的爬取与预处理 ```python > pip install requests bs4 ``` ### 1.3运行步骤 #### 安装配置ElasticSearch并启动 - [下载](https://www.elastic.co/cn/downloads/elasticsearch) 并解压Elasticsearch，详细步骤自行搜索 - 可以从 apt 和 yum 的软件仓库安装，也可以使用 Windows MSI 安装包安装 - [安装](https://github.com/medcl/elasticsearch-analysis-ik/releases) IK 中文分词器，详细步骤自行搜索 - 创建索引 ```json PUT http://127.0.0.1/page { "settings": { "number_of_shards": "5", "number_of_replicas": "0" }, "mappings": { "properties": { "title": { "type": "text", "analyzer": "ik_max_word" }, "weight": { "type": "double" }, "content" : { "type" : "text", "analyzer": "ik_max_word" }, "content_type": { "type": "text" }, "url": { "type": "text", "analyzer": "ik_max_word" }, "update_date": { "type": "date", "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis" } } } } ``` - 启动 ElasticSearch ，在 bash 中执行 `bin/elasticsearch` 或者在 Windows 的 cmd、powershell 执行 `bin\elasticsearch.bat` #### 启动Web服务 ``` > cd WebApp > java -jar *.jar ```  #### 数据的爬取与预处理 ```shell > cd DataCrawler > python crawler.py ```  #### 计算PageRank值 ```shell > cd DataProcess > python PageRank.py ```  #### 利用AI进行文本分类并上传至ES ```shell > cd DataProcess/Text_Classification > python Classify.py ```  ## 2.需求分析 ### 2.1数据描述 #### 2.1.1 静态数据 | 变量名 | 描述 | | --- | --- | | `thread_accoun` | 线程个数 | | `initial_url` | 种子页面 | #### 2.1.2 动态数据 | 变量名 | 描述 | 类型 | | --- | --- | --- | | `restricted_domain` | 限定域名 | 列表 | | `banned_domain` | 禁止域名 | 列表 | | `thread_account` | 线程个数 | 整型 | | `total_pages` | 限定页面个数 | 整型 | #### 2.1.3索引数据字典 页面（page）信息索引： | 数据项名称 | 含义 | 别名 | 类型 | 备注 | | --- | --- | --- | --- | --- | | `title` | 网站标题 | | `text` | 使用`ik_max_word` 分词 | | `weight` | PageRank值 | pr值，PR值 | `double` | | | `content` | 网站中的内容 | | `text` | 使用`ik_max_word` 分词 | | `content_type` | 网站中的内容分类 | | `text` | 文化, 娱乐, 体育, 财经, 房产, 汽车, 教育, 科技, 国际, 证券 | | `url` | 网站的链接 | | `text` | 使用`ik_max_word` 分词 | | `update_date` | 数据更新的时间 | | `date` | `yyyy-MM-dd HH:mm:ss` ||`yyyy-MM-dd` ||`epoch_millis` | ### 2.2. 数据采集 种子 url 数据从 init_url 列表中选取，并按照顺序，依次以各个 url 为起点进行递归的数据采集 爬取数据的url需要限制在 restricted_url 列表里面 ### 2.3功能需求 #### 2.3.1 数据爬取与预处理功能 利用Python爬虫，执行以下步骤： 1. 开始 2. 选取一个链接作为起点 3. 如果爬取的网页总数达到要求，则结束，否则执行第 4 步 4. 爬取指定链接的相关信息，并获取当前网站中的所有链接 5. 对 4 中获取的网站中的所有链接中的每一条数据，执行过程3 爬取网站如下信息，详细描述见[3.4. 索引数据字典](#34-%E7%B4%A2%E5%BC%95%E6%95%B0%E6%8D%AE%E5%AD%97%E5%85%B8) - title - content - content_type - update_date - url - link（当前网站中包含的所有链接，用于计算pr值） #### 2.3.2. 计算 PageRank 功能 根据`link`计算爬取下来的每个网站的PageRank值，迭代次数为50次。解决pr值呈周期性变化的问题。将pr值作为网站重要程度的指标，并补充到网站信息中 #### 2.3.3. AI 文本分类并提交到 ES 功能 利用深度学习，分析每个页面的content的类别。将类别补充到网站信息中，同时删除网站信息中不再使用的`link`项，形成最终数据（参考[3.4. 索引数据字典](#34-%E7%B4%A2%E5%BC%95%E6%95%B0%E6%8D%AE%E5%AD%97%E5%85%B8)），并上传至ES，供用户交互功能调用。 #### 2.3.4. 用户交互功能 设计WebApp，用户通过浏览器访问页面。用户提交搜索信息后，判断合法性，不合法则返回ERROR界面提示用户。如果合法，则后端代码从本地 E