没有合适的资源?快使用搜索试试~ 我知道了~
任务调度 airflow 安装手册
资源推荐
资源详情
资源评论
一、Airflow 安装
1. 安装 airflow
pip install apache-airflow==1.10.10
2. 指定 airflow 目录
export AIRFLOW_HOME=/home/airflow
3. 初始化数据库
airflow db init
在 airflow 的目录下会生成以下文件
4. 修改 airflow.cfg 文件,配置一些关键信息
dags_folder = /home/airflow/dags (扫描 DAG 目录)
base_log_folder = /home/airflow/logs (日志)
default_timezone = Asia/Shanghai (时区)
executor = LocalExecutor (执行器)
sql_alchemy_conn=mysql://username:pwd@ip:3306/schema (配置元数据库)
5. 启动
airflow webserver -D
airflow scheduler -D
二、代码环境搭建
idea 代码结构
operators 目录下的文件是自定义的插件,需要放到 airflow 的插件目录下:
/home/airflow/.local/lib/python2.7/site-packages/airflow/operators
在/home/airflow/tunnel_streaming/tools 目录下的文件:
资源评论
码上一元
- 粉丝: 612
- 资源: 1
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功