没有合适的资源?快使用搜索试试~ 我知道了~
Creeper-getResource:用phantom写了个小脚本,能够下载目标url的“大部分”静态资源(不过有的时候抓的是...
共20个文件
js:9个
json:2个
run-cri:1个
需积分: 10 0 下载量 56 浏览量
2021-05-17
08:07:00
上传
评论
收藏 2.52MB ZIP 举报
温馨提示
基于phantom,chrome headless的小爬虫脚本(一共是三个类型的脚本) 之前觉得爬虫是个挺牛逼的技术活,最近公司要弄个脚本测试一下目标URL,顺手抓一下资源,因为phantom是js工具,老板就让我这个菜鸡前端做了,那叫一个蛋疼啊,好在最后大体上弄了出来,反正是自己人瞎几把用用,在高深了我貌似就不太懂了 实现思路 由于是通用抓取脚本,所以会有文件丢失,抓取不全等问题,可以多抓几次,选取资源最多的一个,不过我觉得这些东西只会给之后的我看,hhhhhhh 思路一: 先用puppeteer(phantom、 chrome-remote-interface)进行资源url的抓取并写入文件 wget(或者node脚本进行)下载资源 写了个贼拉简单的shell(用来连接几个文件的执行) 省的好几步去操作node、phantom了 思路二(目前抓取最好): 在getlink-cli-wi
资源推荐
资源详情
资源评论
收起资源包目录
Creeper-getResource-master.zip (20个子文件)
Creeper-getResource-master
links
links.txt 21KB
mkdirR.js 505B
www.taobao.com.zip 2.58MB
log 164B
run-phantom 53B
getLink-puppeteer-write.js 5KB
yarn.lock 10KB
getLink-cri.js 902B
getRe.js 5KB
run-cri 147B
.vscode
settings.json 3B
getLink.js 2KB
page-run.js 15B
run-puppeteer 195B
getLink-cli-write.js 7KB
README.md 3KB
content-type.js 309B
getLink-puppeteer.js 789B
.gitignore 86B
package.json 340B
共 20 条
- 1
资源评论
两只妖精同上树
- 粉丝: 31
- 资源: 4747
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功