没有合适的资源?快使用搜索试试~ 我知道了~
hotel-ads-etl-tool:从酒店广告API提取信息到BigQuery的工具
共24个文件
py:11个
sh:3个
md:2个
需积分: 9 0 下载量 90 浏览量
2021-04-30
21:16:00
上传
评论
收藏 29KB ZIP 举报
温馨提示
酒店广告ETL工具 该存储库包含一个工具,该工具提供了从提取信息,使用Dataflow / Apache Beam进行转换并将其插入Google Cloud Platform中的BigQuery表中的方法。 该工具由以下部分组成: 一个python程序包,其中包含将数据从Hotel Ads API提取到文件中的方法,以及管道要使用的Apache Beam自定义函数。 一个数据流作业模板,负责转换文件中的数据并将其插入到BigQuery中。 python App Engine脚本,该脚本执行数据提取,将其保存在云存储中,并调用数据流模板。 替代方案:如果需要,可以将python App Engine脚本修改为在服务器或其他编排系统上本地运行,因为它不依赖于App Engine的运行。 此外,可以在任何托管或非托管Apache Beam实例中运行apache Beam作业(在相应地修
资源推荐
资源详情
资源评论
收起资源包目录
hotel-ads-etl-tool-master.zip (24个子文件)
hotel-ads-etl-tool-master
.gitignore 1KB
hotel_ads_beam_utils
setup.py 1KB
hotel_ads_beam_utils
do_fn.py 1021B
__init__.py 759B
connector.py 6KB
login.py 3KB
utils.py 2KB
reports.py 37KB
CONTRIBUTING.md 969B
LICENSE 11KB
scripts
config.sh.sample 457B
requirements.txt 29B
template_metadata 336B
create_template.py 3KB
get_table_commands.sh 823B
autoprovision.sh 2KB
get_table_commands.py 3KB
create_template.sh 1KB
README.md 3KB
gae
requirements.txt 269B
appengine_config.py 680B
cron.yaml 694B
main.py 5KB
app.yaml 756B
共 24 条
- 1
资源评论
量子学园
- 粉丝: 22
- 资源: 4734
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功