没有合适的资源?快使用搜索试试~ 我知道了~
文章目录问题描述排查总结分析过程 问题描述 现在公司使用的airflow调度器很慢,每次clear一个task之后,这个task要过一段时间才会被调度器调度到,这个时间大约需要15-30s。 使用的airflow版本较老:v1.7.1.3 排查 参数问题 airflow.cfg这个文件里面有很多的关于scheduler的参数,其中跟调度密切相关的有几个: max_threads :这个是调度dag的进程数量,最多有CPU个数的进程。 scheduler_heartbeat_sec :这个是调度的时间间隔,如果上一次调度时间小于这个值,则在这个周期里面不会进行调度。 min_file_proce
资源推荐
资源评论
资源评论
weixin_38641111
- 粉丝: 1
- 资源: 932
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功