详细介绍
批量作业调度 TASKCTL
TASKCTL 是专门为批量作业调度自动化打造的一款专业的敏捷调度工具,批量调度自动化技术是大数据时代数据整合后台不可缺少的重要技术。现在数据是整个社会和各企业团体的重要资产,管好数据、用好数据是整个社会的重要命题。
想要用好数据,实现企业数字化快速转型,首先就应该管好数据。而批量调度自动化技术,正是管好数据的重要保证。在众多大大小小的数据仓库、数据集市以及各类数据池中,是批量调度自动化技术让大量数据的进出、存放、清洗、过滤、粗加工、细加工等各种各样的工作有序、高效的展开。
因此,将该技术独立化、系统化、专业化、工具化、产品化,必将给整个 ETL 技术领域、数据整合领域带来很大的帮助,让整个数据整合技术世界变得更美好。
您可以使用 Web 版,方便快捷: http://demo.taskctl.com/logon.html
您也可以下载桌面客户端,Windows、Mac、Linux 平台均支持: http://www.taskctl.com
目前, TASKCTL 产品完全免费,欢迎您使用。
产品应用范围
TASKCTL 批量敏捷调度及其解决方案可广泛应用于银行行业、证券行业、保险行业、能源行业、汽车制造业、电信设备制造业、通信行业、大型连锁超市、百货集团、物流运输业、快速消费品业、通信运营商、政府行业、互联网行业、医疗行业等其他行业等。
可以毫不夸张的说,TASKCTL 适用于任何有数据领域的行业。目前该产品技术已在政府、银行、保险、证券、互联网、政府、 运营商、能源行业得到了很好的应用。
企业为什么需要专业的调度管理平台
1.调度原始落后
时至今日仍然有一些系统使用人工调度或操作系统的 crontab 方式调度。在如今追求自动化甚至智能化的时代已显得非常原始和落后,耗费人力、 容易出错、难以监控已成为这类系统的致命性问题。
2.使用开源软件
调度系统使用开源软件,学习成本较高并且没有服务保障,bug 修复不及时,生命周期不确定。
3.调度自主研发
调度系统伴随项目自主研发,投入产出比小并且影响项目周期,软件质量也难以保证,需求扩展性差。
4.系统间协调交互困难
各系统独立建设,没有统一的标准和规范,无法简单有效地实现系统间的交互。运维效率较低,当一个系统出现问题,可能需要运维人员逐个解决 联系上游系统确认问题根源。运维效率低下。
5.作业规模变大
随着 ODS、BIG DATA 的建设,批量处理作业规模越来越大,相对应的调度 场景更加多样系统调度逻辑也会更加复杂,系统开发人员很大一部分精 力花费在了调度逻辑的控制上,而非业务处理本身。另外,随着作业规模 的增长,对调度性能和稳定性、扩展性提出了更高要求,一些现有系统 已经逐渐不能满足要求。
6.系统越来越多带来管理和运维困难
系统越来越多,不同系统,技术要求不同,批处理作业管理越来越复杂, IT 技术异构风险变大。一个技术人员很难同时熟悉多个系统,导致需要 大量的技术人员分别管理和运维。夜间值班人员同时开着十几个甚至更多 多个监控屏幕也成为常态和痛点。这些问题也很显然地造成了运维投入的 不断增加。
您可以使用 Web 版,方便快捷: http://demo.taskctl.com/logon.html
您也可以下载桌面客户端,Windows、Mac、Linux 平台均支持: http://www.taskctl.com
目前, TASKCTL 产品完全免费,欢迎您使用。
TASKCTL 的核心优势
TASKCTL 定位于(个人学习/企业项目)统一调度监控管理平台。致力于为(个人学习/企业项目)的批量处理作业制定统一的开发规范、运维方法,对各系统的批量作业进行统一管理、调度和监控。可用于帮助用户轻松构建自动化、规范化批量调度管理平台,也可用于支撑大数据时代下数据流向的调度管理自动化等,形成专门的解决方案。
同时 TASKCTL 还提供元数据管理、数据关系分析、版本控制、日志分析等完善的辅助管理功能,为企业提供数据迁移、数据仓库、数据标准化、数据同步、数据备份、数据交换以及企业定制化二次开发在内的一体化整合服务。
强大的调度监控管理能力
功能包括串行、互斥、并行、断点续跑、执行计划、容错策略、循环、 自定义控制策略、关系策略、远程调度、负载均衡等功能。
【串行调度】串行调度即依赖调度,依赖调度是调度软件最基本的功能,它决定 了作业之间的执行顺序关系。如果 A 作业依赖 B 作业,那么 A 作业必须让 B 作 只有执行成功后,才可以执行 A。
【并行调度】并行调度也是调度最基本的功能,它表示多个并行作业之间可以同时执行。
【互斥调度】互斥调度是指两个作业之间不可以同时执行,A 与 B 互斥,A 执行 时 B 不能执行,B 执行时 A 不能执行。
【断点续跑】断点续跑指流程因某个作业运行失败被迫中断,经过人工处理后, 流程会自动从中断的作业开始继续往下执行。
【执行计划调度】执行计划是指按预定计划时间执行,在 ETL 处理中是尤为重要 的。比如作业按日执行、按周执行、按月执行等都属于执行计划。执行计划在 ETL 中,有两种方式,一种是按逻辑业务日期制定计划;一种是按自然日期制定计划。TASKCTL 在一个流程中可以同时支持该两种计划。
【条件分支调度】条件分支类似于程序设计时,根据某个判断,决定执行哪个流程 程分支。
【容错策略调度】错误作业自动处理是调度平台的一种容错机制。它决定调度后 续方向;TASKCTL 对于错误的作业有两种处理机制,一是自动在一定时间间隔 后重跑,并且还可自定义重跑次数;二是可以根据用户定义,选择在作业出错后 忽略错误,流程继续往下执行。
【循环调度】循环调度是指在一个批次处理时,可以根据用户定义循环次数实现 对某个作业多次循环执行。
【远程调度】远程调度是调度核心通过部署在远程代理对远程作业进行控制调度。它可以对部署在不同主机的作业通过统一流程进行统一管理并调度。
【负载均衡】负载均衡是指作业通过代理集群部署,调度可以分派作业到集群内 相对空闲的主机,从而达到调度对流程负载均衡处理的功能。通过调度的负载均衡部署,可以将多个并行作业分派到不同主机,避免在一台主机上同时并行执行 多个作业,从而造成主机负载过重。
【作业类型扩展】在实际应用中,往往只是以上常用的插件,有可能不能满足实 际的调度平台建设,为了使产品应用更加完美,TASKCTL 支持了自定义插件功 能,如果需要某个插件,我们只需要一次定义,便可多次重复利用,从而节省 IT 人员开发工作量。
【C 语言 API 扩展】TASKCTL 产品核心调度层是用 C 语言开发,我们提供了很多 API 接口,能够提供 IT 开发人员在此基础上做软件二次开发等用途。
【图形设计】智能设计作业流程图,只需鼠标拖动就能设计出流程图的串行、并行等调度功能。
【代码设计】通过代码设计方式实现作业、流程图的设计,融合了程序员的开发习惯。
【语法检查】代码设计时,Designer 设计器会自动检查代码的语法是否正确,如 果异常会在语法检查窗口提示。
【图形监控】可视化查看流程作业的运行状态。
【统计监控】分析系统内作业的运行数据,分类统计;比如耗时排名前 10 位的作 业等。
【运维管理】运维管理主要是指流程暂停、停止、断点设置等;操作实现作业的 重跑、强制成功、忽略通过等。
【人工干预】人工干预是自动调度系统必不可少的功能。用户可以通过人工操作 实现流程的暂停、重置、断点设置与作业的重跑、强制成功以及忽略通过;用户可以通过流程自由模式启动来实现任意作业以及任意作业分支的人工运行等。