没有合适的资源?快使用搜索试试~ 我知道了~
spider:利用spring boot + webmagic开发的java爬虫系统
共30个文件
java:15个
xml:6个
properties:2个
需积分: 42 5 下载量 74 浏览量
2021-03-11
21:11:30
上传
评论
收藏 277KB ZIP 举报
温馨提示
蜘蛛 一。简介 通过spring boot建造的爬虫系统 二。技术选型 spring boot:构建项目框架,比较Swift,集成嵌入式tomcat,部署运行方便,零配置代码简洁 elasticSearch:作为nosql数据存储引擎 elastic-job:分布式作业调度系统,依赖zookeeper环境作为分布式协同 WebMagic:爬虫框架,有去重功能,支持Xpath,regex,css等选择器 三。运行方式 先启动zookeeper和elasticsearch ,并修改相应配置,然后按下面任意方式启动项目 方式一:执行命令mvn spring-boot:run立即启动 方式二:maven打成jar包后,将使用命令java -jar spider-1.0.0-SNAPSHOT.war &启动spider-1.0.0-SNAPSHOT.war 方式三:部署在tomcat中直接运行 四。
资源推荐
资源详情
资源评论
收起资源包目录
spider-master.zip (30个子文件)
spider-master
.gitignore 330B
biz
src
main
java
cn
pomelo
biz
utils
MD5Util.java 1006B
CustomPrefixThreadFactory.java 1KB
AsyncUtil.java 3KB
constant
Constant.java 198B
service
impl
ElasticSearchServiceImpl.java 4KB
SpiderServiceImpl.java 2KB
processor
FuniSpiderProcessor.java 4KB
intf
SpiderService.java 249B
ElasticSearchService.java 437B
pipeline
ElasticSearchPipeline.java 2KB
pom.xml 5KB
pom.xml 6KB
README.md 1KB
web
src
main
resources
elastic-job.xml 2KB
elastic.job.properties 508B
application.properties 406B
logback.xml 2KB
java
cn
pomelo
controller
Spider.java 677B
Monitor.java 489B
job
SpiderElasticJob.java 1KB
main
SpringBootWebApplication.java 1KB
webapp
index.jsp 255B
image
kibana-2.png 108KB
kibana-1.png 189KB
WEB-INF
jsp
home.jsp 94B
js
jquery-1.8.3.min.js 91KB
web.xml 302B
test
java
cn
pomelo
AppTest.java 637B
pom.xml 3KB
共 30 条
- 1
资源评论
乘风破浪的海伦
- 粉丝: 28
- 资源: 4546
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功