没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
漏斗蛋糕DAG 这是Funnel Cake(PA数字/ DPLA数据QA接口)气流DAG(有向无环图,例如,数据处理工作流)的存储库,用于将数据索引到Solr +相关作业。 这些DAG预计将在类似于我们的构建的Airflow安装中运行。 储存库结构 该存储库具有3个主要的文件组: 气流DAG定义python文件(以_dag.py结尾); 上面使用的Airflow DAG任务python文件(以task_ ); 以及所需的本地开发,测试,部署和CI文件( tests , configs , .travis ,Pipfile等)。 气流期望 这些漏斗蛋糕DAG成功运行的以下气流期望: 库和包 Python 3.7 Python套件:请参阅 气流变量 FUNCAKE_CONFIGSET :SolrCloud Configset标识符,用于创建新的Funnel Cake集合和更新别名
资源推荐
资源详情
资源评论
收起资源包目录
funcake_dags-main.zip (40个子文件)
funcake_dags-main
.gitignore 1KB
Makefile 688B
.python-version 6B
LICENSE 11KB
Pipfile.lock 67KB
.gitmodules 135B
README.md 6KB
funcake_dags
__init__.py 0B
funcake_dev_index_dag.py 4KB
template.py 11KB
funcake_prod_index_dag.py 4KB
scripts
publish_task_report.rb 285B
batch-transform.xsl 2KB
transform.sh 2KB
index.sh 1KB
csv_to_xml.py 2KB
aggregator_data_transform_to_s3.sh 414B
lib
__init__.py 0B
metadata_breakers
.gitignore 303B
LICENSE.md 1KB
__init__.py 0B
dc_breaker.py 9KB
untl_breaker.py 6KB
README.md 123B
field_counter.py 2KB
template_dag.py 2KB
tasks
task_slack_posts.py 629B
tests
conftest.py 4KB
template_test.py 5KB
__init__.py 0B
csv_to_xml_test.py 760B
dag_validation_test.py 666B
index_dag_test.py 5KB
field_counter_test.py 16KB
Pipfile 322B
local.env 21B
.circleci
.vault 77B
config.yml 3KB
.pylintrc 25KB
variables.json 59KB
airflow-docker-dev-setup
共 40 条
- 1
资源评论
花菌子
- 粉丝: 24
- 资源: 4579
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功