概述
XXL-JOB 是一个基于分布式的定时任务调度平台,它的核心设计目标是开发迅速、学习简单、轻量级、易扩展。设计的思想是将调度行为抽象形成调度中心平台平台本身不承担任何的业务逻辑,而只是作为任务的发起者。在调度请求后,由业务代码里的执行器接收调度请求并执行具体的业务。这里的任务抽象为分散的 JobHandler。通过这种方式即可实现调度与任务相互解耦,从而提高系统整体的稳定性和拓展性。不过放今天来看,其实还是存在着一定的不足,如:
数据库支持单一: 仅支持MySQL,使用其他DB需要自己魔改代码
有限的分布式计算能力: 仅支持静态分片,无法很好的完成复杂任务的计算
不支持工作流: 无法配置各个任务之间的依赖关系,不适用于有DAG需求的场景
正所谓长江后浪推前浪,青出于蓝胜于蓝。在当今互联网及大数据横行的的年代,业务是越来越复杂。急需一个更为强大的的任务调度平台来解决更加复杂的问题,而PowerJob就随之而来.
同类产品对比
项目 | QuartZ | xxl-job | SchedulerX 2.0 | PowerJob |
---|---|---|---|---|
任务调度方式 | CRON | CRON | CRON | CRON、固定频率、固定延迟、OpenAPI |
脚本支持 | 无 | 无 | 内置Java | 内置Java、GLUE Java、Shell、Python等脚本 |
外置Java支持 | 无 | 无 | 无 | 外置Java(FatJar)、Shell、Python等脚本 |
容器支持 | 无 | 无 | 无 | 外置Java(容器)、Shell、Python等脚本 |
分片策略 | 无 | 静态分片 | MapReduce 动态分片 | MapReduce 动态分片 |
分布式支持 | 不支持 | 不支持 | 不详 | 支持 |
锁机制 | 基于数据库锁,有性能瓶颈 | 基于数据库锁,有性能瓶颈 | 无 | 无锁化设计,性能强劲无上限 |
预警方式 | 无 | 不支持 | 无 | 邮件 |
通知方式 | 无 | 不支持 | 短信 | 邮件,提供接口允许开发者扩展 |
数据库支持 | 不支持 | MySQL | 人民币 | 任意 Spring Data Jpa支持的关系型数据库 |
事务支持 | 不支持 | 不支持 | 不支持 | 不支持 |
货币类型 | 不支持 | 不支持 | 支持 | 不支持 |
PowerJob 概述
PowerJob 的设计目标为企业级的分布式任务调度平台,即成为公司内部的任务调度中间件。
整个公司统一部署调度中心 powerjob-server,旗下所有业务线应用只需要依赖 powerjob-worker 即可接入调度中心获取任务调度与分布式计算能力。
它是全新一代分布式任务调度与计算框架,其主要功能特性如下:
使用简单:提供前端Web界面,允许开发者可视化地完成调度任务的管理(增、删、改、查)、任务运行状态监控和运行日志查看等功能。
定时策略完善:支持 CRON 表达式、固定频率、固定延迟和API四种定时调度策略。
执行模式丰富:支持单机、广播、Map、MapReduce 四种执行模式,其中 Map/MapReduce 处理器能使开发者寥寥数行代码便获得集群分布式计算的能力。
工作流支持:支持在线配置任务依赖关系(DAG),以可视化的方式对任务进行编排,同时还支持上下游任务间的数据传递,以及多种节点类型(判断节点 & 嵌套工作流节点)。
执行器支持广泛:支持 Spring Bean、内置/外置 Java 类,另外可以通过引入官方提供的依赖包,一键集成 Shell、Python、HTTP、SQL 等处理器,应用范围广。
运维便捷:支持在线日志功能,执行器产生的日志可以在前端控制台页面实时显示,降低 debug 成本,极大地提高开发效率。
依赖精简:最小仅依赖关系型数据库(MySQL/PostgreSQL/Oracle/MS SQLServer…)
高可用 & 高性能:调度服务器经过精心设计,一改其他调度框架基于数据库锁的策略,实现了无锁化调度。部署多个调度服务器可以同时实现高可用和性能的提升(支持无限的水平扩展)。
故障转移与恢复:任务执行失败后,可根据配置的重试策略完成重试,只要执行器集群有足够的计算节点,任务就能顺利完成。
适用场景
有定时执行需求的业务场景:如每天凌晨全量同步数据、生成业务报表、未支付订单超时取消等。
有需要全部机器一同执行的业务场景:如使用广播执行模式清理集群日志。
有需要分布式处理的业务场景:比如需要更新一大批数据,单机执行耗时非常长,可以使用Map/MapReduce 处理器完成任务的分发,调动整个集群加速计算。
有需要延迟执行某些任务的业务场景:比如订单过期处理等。
架构图
小结
学习的地方:google 搜索+微信公众号+bilibili+官方+实战
参考资料
https://mp.weixin.qq.com/s/9OwmU-QURD15gGl03z8c-Q