没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
Python和DockerOperator的气流示例 本示例说明如何使用Docker为Python项目中的不同步骤创建管道。 流水线中的几个步骤由不同的程序包表示。 在此示例中,我们创建了一个非常简单的管道: 下载一些数据, 预处理该数据, 处理数据 为了从我们的Python项目创建虚拟环境和wheel文件,我们使用 。 我们创建了一个使用docker-entrypoint shell脚本来区分运行不同Python软件包的Dockerfile。 在开始任何事情之前,您首先必须使用: poetry build来构建您的项目。 我们已将项目命名为airflow_example-0.1.0-py3-none-any.whl airflow-example ,因此使用build命令创建的wheel文件将在dist目录中可用,并将命名为airflow_example-0.1.0-py3-no
资源推荐
资源详情
资源评论
收起资源包目录
airflow-python-docker-master.zip (13个子文件)
airflow-python-docker-master
poetry.lock 74KB
.gitignore 34B
Dockerfile 366B
requirements.txt 13B
pyproject.toml 485B
processing
__init__.py 90B
array.py 73B
dags
docker-dag.py 2KB
docker-entrypoint.sh 358B
docker-compose.yml 1KB
download
__init__.py 120B
README.md 2KB
preprocessing
__init__.py 68B
共 13 条
- 1
资源评论
努力中的懒癌晚期
- 粉丝: 32
- 资源: 4716
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功