没有合适的资源?快使用搜索试试~ 我知道了~
medium-user-crawler:中型用户爬虫
共11个文件
js:7个
gitignore:1个
json:1个
需积分: 10 0 下载量 14 浏览量
2021-05-30
04:49:52
上传
评论
收藏 10KB ZIP 举报
温馨提示
Medium 使用者爬虫 简介 误打误撞找到了一个API,用GET就能够取得资料,十分方便: 如果想看userId是什么,在medium profile页面后面加?format=json就可以了,例如说: API可以带参数?source=followers&limit=25 ,就能够抓到follower的资料。而response里面也会有分页资料,会给你一个to ,把它带进去querys string就可以抓到下一页的资料。 爬虫架构 因为想偷懒所以只写了一个效能很低的爬虫,把Queue 的部分改一改应该就能开很多worker 来爬,效能可以增进很多。 架构是这样的,用MySQL当储存使用者资料的地方也当Queue,开两个Table: Users跟Queue : Users id userId username name bio follower fr mediumM
资源推荐
资源详情
资源评论
收起资源包目录
medium-user-crawler-master.zip (11个子文件)
medium-user-crawler-master
medium.js 2KB
utils.js 753B
package.json 343B
getUsers.js 1KB
.gitignore 33B
queue.js 278B
app.js 2KB
README.md 5KB
yarn.lock 5KB
db.js 2KB
config.example.js 305B
共 11 条
- 1
资源评论
Hsmiau
- 粉丝: 31
- 资源: 4653
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功