没有合适的资源?快使用搜索试试~ 我知道了~
streaming-data-lake:在AWS上构建流数据管道
共34个文件
tf:12个
py:8个
sh:2个
需积分: 9 0 下载量 69 浏览量
2021-04-25
14:20:11
上传
评论
收藏 6.55MB ZIP 举报
温馨提示
流数据湖 该项目旨在演示如何在AWS上构建无流数据的无服务器管道。 它包含AWS服务,例如kinesis stream , kinesis firehose , s3 , lambda , KMS , System manager等。 怎么跑 该项目由Terraform作为IaC框架进行管理。 您将必须在系统上安装terraform 。 所有其他类似lambda的代码都是在python实现的。 环境变量 - TF_VAR_S3_STREAMING_DATA 建造 tarraform , pipenv , python 3.7 , docker都需要构建应用程序。 - run `sh bin/build_layer.sh` to build lambda layer including all lambda dependencies. During building process, a
资源推荐
资源详情
资源评论
收起资源包目录
streaming-data-lake-master.zip (34个子文件)
streaming-data-lake-master
terraform.tfstate 158B
.DS_Store 6KB
.python-version 6B
src
utils
utils.py 949B
lambdas
trigger_glue_crawler.py 1KB
__init__.py 0B
crawler_state_change_listener.py 113B
finance_data_producer.py 1019B
secret.py 377B
api
__init__.py 0B
alpha_vantage.py 1KB
.vscode
settings.json 107B
Pipfile.lock 30KB
README.md 912B
Pipfile 402B
.gitignore 58B
mock-data-producers
cloudformation.json 13KB
README.md 143B
template 261B
datagen-cognito-setup.zip 7.22MB
bin
build_layer.sh 375B
build_lambdas.sh 199B
tf
provider.tf 110B
parameters.tf 605B
dynamodb.tf 306B
kms.tf 249B
lambda.tf 6KB
policy.tf 201B
sqs.tf 738B
var.tf 1KB
glue.tf 1KB
cloudwatch.tf 6KB
kinesis.tf 3KB
s3.tf 391B
共 34 条
- 1
资源评论
张岱珅
- 粉丝: 44
- 资源: 4690
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功