没有合适的资源?快使用搜索试试~ 我知道了~
新一代分布式任务调度框架:当当elastic-job开源项目的10项特性
0 下载量 168 浏览量
2021-01-27
13:43:50
上传
评论 1
收藏 328KB PDF 举报
温馨提示
作业即定时任务。一般来说,系统可使用消息传递代替部分使用作业的场景。两者确有相似之处。可互相替换的场景,如队列表。将待处理的数据放入队列表,然后使用频率极短的定时任务拉取队列表的数据并处理。这种情况使用消息中间件的推送模式可更好的处理实时性数据。而且基于数据库的消息存储吞吐量远远小于基于文件的顺序追加消息存储。 但在某些场景下则不能互换: 时间驱动OR事件驱动:内部系统一般可以通过事件来驱动,但涉及到外部系统,则只能
资源推荐
资源详情
资源评论
新一代分布式任务调度框架:当当新一代分布式任务调度框架:当当elastic-job开源项目的开源项目的10项项
特性特性
一、为什么需要作业(定时任务)?
作业即定时任务。一般来说,系统可使用消息传递代替部分使用作业的场景。两者确有相似之处。可互相替换的场景,如队列
表。将待处理的数据放入队列表,然后使用频率极短的定时任务拉取队列表的数据并处理。这种情况使用消息中间件的推送模
式可更好的处理实时性数据。而且基于数据库的消息存储吞吐量远远小于基于文件的顺序追加消息存储。
但在某些场景下则不能互换:
时间驱动 OR 事件驱动:内部系统一般可以通过事件来驱动,但涉及到外部系统,则只能使用时间驱动。如:抓取外部系统价
格。每小时抓取,由于是外部系统,不能像内部系统一样发送事件触发事件。
批量处理 OR 逐条处理:批量处理堆积的数据更加高效,在不需要实时性的情况下比消息中间件更有优势。而且有的业务逻辑
只能批量处理,如:电商公司与快递公司结算,一个月结算一次,并且根据送货的数量有提成。比如,当月送货超过1000则
额外给快递公司多1%优惠。
非实时性 OR 实时性:虽然消息中间件可以做到实时处理数据,但有的情况并不需要如的实时。如:VIP用户降级,如果超过
1年无购买行为,则自动降级。这类需求没有强烈的时间要求,不需要按照时间精确的降级VIP用户。
系统内部 OR 系统解耦。作业一般封装在系统内部,而消息中间件可用于系统间解耦。
二、当当之前在使用什么作业系统?
当当之前使用的作业系统比较散乱,各自为战,大致分为以下4种:
Quartz:Java事实上的定时任务标准。但Quartz关注点在于定时任务而非数据,并无一套根据数据处理而定制化的流程。虽
然Quartz可以基于数据库实现作业的高可用,但缺少分布式并行执行作业的功能。
TBSchedule:阿里早期开源的分布式任务调度系统。代码略陈旧,使用timer而非线程池执行任务调度。众所周知,timer在处
理异常状况时是有缺陷的。而且TBSchedule作业类型较为单一,只能是获取/处理数据一种模式。还有就是文档缺失比较严
重。
Crontab:Linux系统级的定时任务执行器。缺乏分布式和集中管理功能。
Perl:遗留系统使用,目前已不符合公司的Java化战略。
三、elastic-job的来历
elastic-job原本是当当Java应用框架ddframe的一部分,本名dd-job。
ddframe包括编码规范,开发框架,技术规范,监控以及分布式组件。ddframe规划分为4个演进阶段,目前处于第2阶段。
3、4阶段涉及的技术组件不代表当当没有使用,只是ddframe还未统一规划。
资源评论
weixin_38670700
- 粉丝: 1
- 资源: 917
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- JAVA的Springboot博客网站源码数据库 MySQL源码类型 WebForm
- c++数字雨实现 c++
- 如何制作MC(需要下载海龟编辑器2.0,下载pyglet==1.5.15)
- JAVA的Springboot小区物业管理系统源码数据库 MySQL源码类型 WebForm
- IMG_20241103_153322.jpg
- Screenshot_2024-11-10-20-33-57-639_com.tencent.tmgp.pubgmhd.jpg
- C#商家会员管理系统源码带微信功能数据库 SQL2008源码类型 WebForm
- 3D立体相册源文件code+images
- C#ASP.NET微信商城快速开发框架源码数据库 SQL2008源码类型 WebForm
- c语言课程设计宿舍管理系统.zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功