word源码java-Gwenson-robot:这是一个使用JAVA语言开发的应用级的分布式爬虫搜索引擎机器人

word源码java Gwenson-robot爬虫机器人 这是一个使用JAVA语言开发的可分布式的爬虫机器人，利用redis的list实现匀速爬取目标，并实现了url去重和目标内容去重。其中目标内容去重是先利用word分词然后再利用simhash算法得到一个SimHashCode值，再利用抽屉原理判断海明距离从而得到相似度。注意：使用JDK1.8 [TOC] 我的项目应用部署地址 ​ 该项目都用到了哪些技术？ ​ spring boot、spring data redis、jsoup、word、mybatis、spring data elasticsearch、spring mvc、bootstrap、JSP等等 ​ 工程项目结构的介绍 common 模块项目是一个公共工具类依赖包模块。 项目结构介绍： common └─src └─main └─java └─com └─gwenson └─common ├─dao │ └─redis ├─model └─utils search-robot模块项目是一个基于spring boot框架的爬虫机器人模块。 项目结构介绍： searc