一、Airflow 安装
1. 安装 airflow
pip install apache-airflow==1.10.10
2. 指定 airflow 目录
export AIRFLOW_HOME=/home/airflow
3. 初始化数据库
airflow db init
在 airflow 的目录下会生成以下文件
4. 修改 airflow.cfg 文件，配置一些关键信息
dags_folder = /home/airflow/dags (扫描 DAG 目录)
base_log_folder = /home/airflow/logs （日志）
default_timezone = Asia/Shanghai (时区)
executor = LocalExecutor （执行器）
sql_alchemy_conn=mysql://username:pwd@ip:3306/schema （配置元数据库）
5. 启动
airflow webserver -D
airflow scheduler -D
二、代码环境搭建
idea 代码结构
operators 目录下的文件是自定义的插件，需要放到 airflow 的插件目录下:
/home/airflow/.local/lib/python2.7/site-packages/airflow/operators
在/home/airflow/tunnel_streaming/tools 目录下的文件：
资源评论
码上一元
- 粉丝: 815
- 资源: 1
最新资源
- Spring Cloud商城项目专栏 049 支付
- sensors-18-03721.pdf
- Facebook.apk
- 推荐一款JTools的call-this-method插件
- json的合法基色来自红包东i请各位
- 项目采用YOLO V4算法模型进行目标检测，使用Deep SORT目标跟踪算法 .zip
- 针对实时视频流和静态图像实现的对象检测和跟踪算法 .zip
- 部署 yolox 算法使用 deepstream.zip
- 基于webmagic、springboot和mybatis的MagicToe Java爬虫设计源码
- 通过实时流协议 (RTSP) 使用 Yolo、OpenCV 和 Python 进行深度学习的对象检测.zip
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
