没有合适的资源?快使用搜索试试~ 我知道了~
web-aggregation:使用javascript的网络数据聚合框架
共65个文件
js:27个
json:10个
md:5个
需积分: 9 0 下载量 73 浏览量
2021-05-02
06:30:38
上传
评论
收藏 159KB ZIP 举报
温馨提示
抓取查询 这是使用javascript的简单的Web数据聚合框架。 该框架需要将request_template和job元数据传递到lib/main.js定义的最高级别的API。 request_template和job元数据必须是javascript object类型。 您可以将request_template和job meta数据定义为JSON文件,将它们解析为object ,然后从lib/main.js调用scrape() 。 让我们逐一描述每个称职的人: request_template描述Web抓取逻辑。 您可以根据需要放置许多网站,以id区分。 作业描述网络抓取执行。 您可以根据需要创建许多作业,以id区分。 每个作业可以通过将它们存储在request字段中作为数组来执行request_template定义的多个request id 。 API客户端描述了lib/ma
资源推荐
资源详情
资源评论
收起资源包目录
web-aggregation-master.zip (65个子文件)
web-aggregation-master
input
keyword1.txt 8B
.directory 59B
job.json 332B
scripts
splitAddress.js 475B
request.json 1024B
index.js 0B
docs
job.md 795B
selector.md 715B
command.md 913B
request.md 981B
img
schema.dia 2KB
schema.dia~ 2KB
schema.png 23KB
package.json 1KB
test
ssl
ca.cert.pem 0B
client.key 0B
client.crt 0B
tokopedia.js 397B
job-manager
enumerator.js 52B
scraper.js 356B
out.txt 317KB
request.js 1KB
test1.js 209B
output
cache
tpd_pants
tpd_pants-1-search_tokopedia-eiger 57KB
tpd_pants-1-search_tokopedia-jeans 43KB
tpd_pants-2-search_tokopedia-underwear 52KB
tpd_pants-1-search_tokopedia-lingeri 52KB
tpd_pants-1-search_tokopedia-levis 59KB
tokopedia1.json 160KB
.directory 58B
tokopedia1 73KB
tpd_pants.csv 38KB
package-lock.json 241KB
.directory 60B
examples
request_template.json 2KB
shoes.txt 11B
tokopedia_job.json 1KB
pants.txt 17B
.gitignore 911B
lib
config
log.readme 139B
request.readme 2KB
job.json 56B
log.json 48B
request.json 223B
main.js 351B
modules
random.js 1KB
config.js 2KB
object.js 1KB
output.js 3KB
selector.js 1KB
post-processor.js 3KB
console.js 0B
outputs
Console.js 204B
Csv.js 667B
Json.js 417B
Text.js 585B
redis.js 278B
logger.js 161B
cache.js 540B
selectors
json-selector.js 3KB
html-selector.js 487B
job-manager.js 13KB
command.js 593B
str-matcher.js 554B
README.md 5KB
共 65 条
- 1
资源评论
weixin_42128015
- 粉丝: 20
- 资源: 4641
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功