没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
个人写的垃圾的爬虫项目,现在遇到瓶颈了,很多东西都已经想好了,但是不知道具体应该怎么写,希望那位大神看到后能给点评一下,给出之后的扩展方案.现在准备添加登陆内容获取,JS内容生成为正常的Document树.使用NoSql构建去重库. 取到链接.查看去重库中是否存在,如存在则不加入到List中.还有.感觉List不是一个很好的方式,希望大神给出代替方案...
资源推荐
资源详情
资源评论
收起资源包目录
Java爬虫项目.zip (55个子文件)
JavaScrapy
mongo-java-driver-2.12.1.jar 574KB
bin
1688.xml 227B
com
scrapy
dao
ConnRecruitment.class 2KB
MongoDBCURD.class 3KB
Conn1688.class 3KB
Conn.class 1KB
MongoDBdao.class 1KB
jsonlib
test
Test.class 3KB
Test1kejian.class 1KB
JavaScTest.class 2KB
urlcheck
UrlListDao.class 2KB
Url58.class 2KB
URL1688.class 3KB
htmldom
ParseCount.class 2KB
utils
CheckXml.class 2KB
ParseXML.class 2KB
MakeDate.class 4KB
NowDate.class 1KB
TxtUtils.class 3KB
key.txt 40B
httpcore-4.2.4.jar 222KB
dom4j-1.6.1.jar 307KB
title 19B
commons-logging-1.1.1.jar 59KB
fastjson-1.1.33-sources.jar 243KB
httpclient-4.2.5.jar 423KB
httpmime-4.2.5.jar 26KB
.settings
org.eclipse.jdt.core.prefs 629B
jsoup-1.6.0.jar 273KB
src
1688.xml 227B
com
scrapy
dao
Conn1688.java 3KB
ConnRecruitment.java 1KB
MongoDBCURD.java 2KB
MongoDBdao.java 310B
Conn.java 518B
jsonlib
test
Test1kejian.java 685B
Test.java 2KB
JavaScTest.java 1KB
urlcheck
Url58.java 1KB
URL1688.java 3KB
UrlListDao.java 1KB
htmldom
ParseCount.java 1KB
utils
NowDate.java 476B
TxtUtils.java 2KB
CheckXml.java 798B
ParseXML.java 922B
MakeDate.java 3KB
key.txt 40B
httpclient-cache-4.2.5.jar 113KB
.project 386B
.classpath 1KB
commons-codec-1.6.jar 227KB
fluent-hc-4.2.5.jar 21KB
mysql-connector-java-5.1.21.jar 809KB
fastjson-1.1.33.jar 343KB
共 55 条
- 1
资源评论
Cain_Gao
- 粉丝: 0
- 资源: 1
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 基于SpringBoot+Vue3快速开发平台、自研工作流引擎源码设计.zip
- docker安装部署全流程
- 基于树莓派的人脸识别系统python源码+项目部署说明+超详细代码注释.zip
- Python和R爬取分析赶集网北京二手房数据.zip
- Python和R爬取分析赶集网北京二手房数据.zip
- Java知识体系最强总结(2021版).txt
- Python知识点Python知识点Python知识点Python知识点Python知识点PythonPython知识点.txt
- Java开发基于seetaface6的人脸识别(活体检测)的封装源码.zip
- JSP在线失物招领管理平台源码.zip
- JSP在线旅游美食展现管理系统源码.zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功