没有合适的资源?快使用搜索试试~ 我知道了~
askJames-serverlessCrawler:一个使用 Lambda 和 DynamoDB 的简单的无服务器网络爬虫
共12个文件
js:7个
json:2个
gitignore:1个
需积分: 9 0 下载量 101 浏览量
2021-05-29
21:39:34
上传
评论
收藏 7KB ZIP 举报
温馨提示
Ask James - 无服务器网络爬虫 这里有一篇文章解释了这段代码的用法: : 。 这是一个天真的爬虫,它是一个概念证明,不适合生产使用。 不要用于生产网站。 不要用于您无权抓取的网站。 不要违反 AWS 条款和条件。 此代码仅用于教育目的,不暗示任何保证。 滥用可能会导致大量 AWS 费用,并可能对目标网站产生负面影响。 除非您了解网络爬网的含义,否则请不要运行此代码。 您对运行此代码的后果负全部责任。 目录 安装 克隆和npm install在您下载的目录中。 用法 不要忘记: 更新您的 testEvent.json 创建 DynamoDB 表 'crawler' - 该表应该有一个名为 'url' 的分区键,没有将排序键和容量设置为按需。 在 serverless.yaml 中添加流 ARN(准备好后) 花时间测试和理解代码在做什么 支持 如果您有任何问题或意见,
资源推荐
资源详情
资源评论
收起资源包目录
askJames-serverlessCrawler-master.zip (12个子文件)
askJames-serverlessCrawler-master
processURL.js 693B
.gitignore 86B
package.json 438B
serverless.yml 472B
handler.js 606B
dynamodb.js 836B
testEvent.json 909B
test.js 139B
.eslintrc.js 47B
README.md 1KB
example.js 1012B
crawl.js 2KB
共 12 条
- 1
资源评论
世界在你心里
- 粉丝: 25
- 资源: 4574
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功