没有合适的资源?快使用搜索试试~ 我知道了~
lw_reptile:图片爬虫-
共53个文件
java:49个
md:1个
gitignore:1个
需积分: 9 0 下载量 157 浏览量
2021-03-24
03:10:09
上传
评论
收藏 52KB ZIP 举报
温馨提示
lw_reptile 只需只提供代码部分,打包好的可运行程序见 #运行方式(两种)1.作为maven项目导入,可直接执行main方法运行爬虫,然后文件夹bin和config放入lw_reptile目录下。 2.将代码作为可运行的JAR文件进行导出,选择从inio生成的JAR文件中提取所需的库,将其替换为reptile.jar文件。 #涉及技术点 1.httpClient伪装浏览器下载图片。 2.phantomjs无界面浏览器实现访问动态网页,解析js等。 3.jsoup工具解析并提取网页内容。 4.swt实现爬虫可干预界面。 5.邮件发送任务。 6.cglib实现动态代理,自定义注释解运用,反射以及设计模式的使用。 7.爬虫监控信息。 8.log4j日志拦截并输出到界面,以及日志文件记录。 9.多线程高并发以及线程池定时任务实现。 10.线程安全以及高速高性能优化。
资源推荐
资源详情
资源评论
收起资源包目录
lw_reptile-master.zip (53个子文件)
lw_reptile-master
.gitignore 148B
README.md 2KB
pom.xml 3KB
src
main
resources
log4j.properties 1KB
java
com
abner
utils
JsonUtil.java 2KB
FileUtil.java 3KB
view
ReptileView.java 11KB
AbstractReptileFunction.java 10KB
db
UrlStorage.java 3KB
MonitorDataStorage.java 2KB
PhantomjsStorage.java 1017B
LogStorage.java 499B
annotation
Stop.java 479B
Async.java 485B
Singleton.java 469B
Resource.java 400B
Retry2.java 497B
Timing.java 577B
Retry.java 474B
Service.java 293B
Controller.java 462B
exception
DownloadException.java 375B
LoginException.java 297B
GetUrlException.java 374B
EmailException.java 365B
interceptor
TaskInterceptor.java 6KB
controller
ReptileController.java 2KB
filter
ImgFilter.java 643B
BaseUrlFilter.java 1KB
LinkFilter.java 728B
enums
MonitorName.java 582B
TimingType.java 329B
ReptileRetData.java 568B
ImageClient.java 174B
manage
Config.java 3KB
ServiceFactory.java 2KB
StatusManage.java 438B
FilePathManage.java 811B
MyThreadPool.java 3KB
service
HttpService.java 8KB
LoadImgService.java 2KB
VerifyService.java 1KB
ParseHtmlService.java 2KB
LoadUrlsService.java 2KB
MailSendService.java 4KB
LogService.java 1KB
CommonService.java 3KB
MonitorNetworkService.java 2KB
pojo
Record.java 783B
UserSetting.java 2KB
MyUrl.java 1KB
FileDownloadDto.java 1KB
PhantomjsProcesses.java 600B
共 53 条
- 1
资源评论
孙洋Sonya
- 粉丝: 23
- 资源: 4634
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功