kettle定时调度监控方案选型策略
2星 需积分: 50 9 浏览量
2018-04-13
17:41:21
上传
评论
收藏 682KB PDF 举报 
kettle定时调度监控方案选型策略
前段时间实施才实施了一个金融业的中小型数据类支撑平台项目。由于种种原因，选
择了目前使用最广的开源ETL工具-Kettle。其实kettle用来做ETL还是蛮方便的，使用门槛
也不高，作业效率也将就。只要把规则标准制定好，开发也很快！但是kettle当时没有成
熟的调度监控方案，以至于后来各种坑，好在现在都解决了。总结一下Kettle调度监控方
案过程，避免kettle新手再入之前的坑。
我们都知道调用kettle作业（job/ktr）有三种方法：
1、kettle自带的spoon
2、pan和kitchen
3、java调kettle core
本质上1和3是同一种方法，都是调用 kettle 核心类库。但是官方却建议我们采用
pan和kitchen方式来调用kettle作业。也许这种方式接口更全面，但是不一定适合我们的
调度监控需求。比如并行调用大量kettle作业就很崩溃。直接列表格，简单易懂：
spoon 自带
图形客户端
kitchen/pan
外部命令
java 调 kettle
核心库
调度能
力
调度功能
☆
★
★
调度性能
★
☆
★
稳定性
☆
★
★
资源占用
★
☆
★
并行能力
☆
☆
★
扩展性
☆
★
★
监控能
力
图形监控
★
☆
☆
日志功能
★
★
☆
注：“kitchen/pan” 和“java 调 kettle 核心”
的调度能力由外部调度程序决定
我们在设计一个方案时，有两个重要指标需要考虑：“稳定性和性能”。所以我们否决
资源评论
zhangnr2020-04-14一般，不是我想要的
ztbei
- 粉丝: 0
- 资源: 31
