没有合适的资源?快使用搜索试试~ 我知道了~
zhihu-selenium:使用Selenium抓取www.zhihu.com个人数据
共55个文件
java:45个
xml:3个
example:3个
需积分: 12 2 下载量 11 浏览量
2021-04-28
15:22:01
上传
评论
收藏 68KB ZIP 举报
温馨提示
zhihu-selenium crawl personal data using selenium 接下来要做的功能 将用户自己创建的收藏夹中文章或答案爬取下来 设计爬取队列,将自己创建的所有收藏夹中文章和答案爬取下来 维护答案、文章及收藏夹之间关联关系 关注的收藏夹和自己创建的收藏夹页面布局相似度99%,可以重构代码 爬取关注的问题下面的答案 开发设计及约定 数据结构约定 知乎相关的原始数据存储的表以zhihu为前缀 为了爬取知乎内容而设计的队列等调度相关的表,队列以que_为前缀 如果要进行数据的跨库抽取,相应的表以etl_为前缀 java包 跟知乎相关的,放在com.yan.zhihu包下 如果数据的存储方式为mysql,则相应的代码放在com.yan.zhihu.mysql包下 (同理,如果是存储方式为mongodb,则应该放在com.yan.zhihu.mongo包下) 数据结
资源推荐
资源详情
资源评论
收起资源包目录
zhihu-selenium-master.zip (55个子文件)
zhihu-selenium-master
pom.xml 2KB
LICENSE 1KB
src
main
resources
log4j.properties 320B
db.properties.example 329B
config.properties.example 178B
conf.xml.example 1014B
java
com
yan
zhihu
dao
ZhiHuQuestionMongoDaoUtil.java 5KB
ZhiHuActivityMongoDaoUtil.java 5KB
ZhiHuPeopleMongoDaoUtil.java 7KB
ZhiHuPeopleCollectionMongoDaoUtil.java 5KB
ZhiHuPeopleTopicMongoDaoUtil.java 5KB
ZhiHuTopicMongoDaoUtil.java 13KB
ZhiHuPeopleColumnMongoDaoUtil.java 5KB
ZhiHuCollectionMongoDaoUtil.java 5KB
ZhiHuColumnMongoDaoUtil.java 7KB
ZhiHuPeopleQuestionMongoDaoUtil.java 5KB
model
ZhiHuCollection.java 2KB
ZhiHuColumn.java 3KB
ZhiHuPeopleQuestion.java 1KB
ZhiHuPeopleTopic.java 2KB
ZhiHuActivity.java 3KB
ZhiHuPeople.java 6KB
ZhiHuTopic.java 2KB
ZhiHuPeopleCollection.java 1KB
ZhiHuPeopleColumn.java 1KB
ZhiHuQuestion.java 2KB
subvo
ArticleInfo.java 727B
CollectionInfo.java 451B
ColumnInfo.java 388B
QuestionInfo.java 419B
TopicInfo.java 374B
AnswerInfo.java 1KB
selenium
ZhiHuPeopleInfoScrawlMain.java 80KB
mysql
dao
facade
ZhiHuCollectionItemDaoService.java 507B
ZhiHuCollectionDaoService.java 382B
impl
ZhiHuCollectionDaoServiceMybatisImpl.java 1KB
ZhiHuCollectionItemDaoServiceMybatisImpl.java 2KB
schema
ZhiHuCollection.java 2KB
ZhiHuCollectionItem.java 3KB
mapping
ZhiHuCollectionItemMapper.xml 1KB
ZhiHuCollectionMapper.xml 910B
service
impl
ZhiHuQuestionAndAnswerServiceMysqlImpl.java 14KB
ZhihuPersonInfoServiceMysqlImpl.java 7KB
utils
ZhiHuUtil.java 578B
JdbcUtil.java 1KB
service
facade
ZhihuPersonInfoService.java 325B
ZhiHuQuestionAndAnswerService.java 345B
vo
ZhiHuTopicSimpleVo.java 126B
common
mongodb
MongoDBConfig.java 939B
PropertiesIOUtil.java 469B
util
DateUtil.java 2KB
SchameCopyUtil.java 1KB
SchameDocumentUtil.java 9KB
doc
zhihu-tables-mysql.sql 1KB
README.md 980B
共 55 条
- 1
资源评论
文清的男友
- 粉丝: 26
- 资源: 4654
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功