没有合适的资源?快使用搜索试试~ 我知道了~
JavaProject-Crawler-Elasticsearch:多线程爬虫与Elasticsearch搜索引擎的项目实战
共21个文件
java:6个
ds_store:5个
xml:4个
需积分: 10 0 下载量 126 浏览量
2021-03-28
10:17:48
上传
评论
收藏 23KB ZIP 举报
温馨提示
项目:多线程爬虫与Elasticsearch搜索引擎的项目实战 1,内容: 概要:用Java编写一个多线程爬虫,完成HTTP请求,模拟登录,Cookie保存,HTML解析等工作。在得到数据后,将数据存储到H2数据库,通过Flyway将建表等操作自动化。当数据大到一定规模后,使用弹性拱处理和分析数据,并完成一个简单的搜索引擎。 任务点: 版本1:使用Maven进行包管理,使用CircleCI进行自动化测试,在生命周期绑定Checkstyle,SpotBugs插件保证代码质量。使用Flyway工具完成数据库初始化建表并添加原始数据工作 版本2:每个类的逻辑尝试的少,将版本1的代码进行分解,分成一个独立的模块(高内聚,低转化)通过ORM(对象关系映射) 注意1:代码要小步迭代的更新 2,建立: 建立GitHub仓库并克隆到本地: # 后期建议使用SSH git clone https://gi
资源推荐
资源详情
资源评论
收起资源包目录
JavaProject-Crawler-Elasticsearch-main.zip (21个子文件)
JavaProject-Crawler-Elasticsearch-main
.gitignore 305B
src
.DS_Store 6KB
main
resources
db
mybatis
config.xml 927B
MyMapper.xml 513B
migration
V2__Init_data.sql 67B
V1__Create_tables.sql 290B
.DS_Store 6KB
java
com
.DS_Store 6KB
github
weiranyi
Crawler.java 5KB
CrawlerDao.java 621B
MyBatisCrawlerDao.java 2KB
News.java 816B
JdbcCrawlerDao.java 3KB
.DS_Store 6KB
.DS_Store 6KB
test
java
com
github
weiranyi
SmokeTest.java 135B
LICENSE 11KB
pom.xml 6KB
README.md 1KB
.circleci
checkstyle.xml 1KB
config.yml 473B
共 21 条
- 1
资源评论
阔喵撩影
- 粉丝: 32
- 资源: 4662
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功