运维中心

为大数据云服务的其它有需求的组件提供统一的作业调度和执行服务

    产品信息

    智能调度简介

    运维中心(调度系统)为整个大数据云服务的其它有需求的组件提供统一的作业调度和执行;同时也可以作为一个独立的服务提供给需要资源和作业调度服务的系统使用。

    运维中心(调度系统)支持多租户、支持细粒度的执行资源控制、支持多种依赖配置(流依赖、作业依赖、事件依赖,同时还可以在依赖上进行偏移)。通过基于事件消息驱动的方式,保证作业执行更加高效。

    产品特性

    统一的作业定义

    支持各种大数据类、非大数据类任务的执行,并采用统一的方式进行定义、调度和监控运维,并可快速扩展支持的类型,大大降低学习和使用门槛

    丰富的调度控制策略

    除支持一般的作业流内串并行控制外,还支持跨流依赖,事件触发等高级控制策略,并支持立即执行、周期执行等,且可对执行进行灵活干预

    全面的人工干预

    能够手动运行任意作业或作业流的任意分支;可进行作业流断点调试;可启用、禁用、中止、重启作业

    多租户隔离

    支持多租户,不同租户作业,使用不同的作业队列分别派发;作业执行节点容器化,提高作业执行时的隔离级别及安全性

    架构可扩展

    分布式调度系统,支持横向扩展,作业派发、执行能力理论上无上限,可根据实际情况水平伸缩

    全方位监控运维管理

    提供作业执行流程图的实时监控,多维度统计监控,及时发送事件监控预警。让管理、运维人员及时、清楚地了解到批量系统运行状况

    保证系统的高可用

    使用MQ在系统间进行消息传递;相同服务的集群节点始终保证有设定数量实例在运行;集群内部有良好的选举等策略控制,在出现大量节点异常的情况下也能保证有最小化的、可运行的主从结构

    应用场景

    数据仓库建设

    业务类型

    数据仓库应用

    上云建议

    业务系统每天会产生大量的数据数据,如何利用这些数据进行业务指导,决策分析。此时需要将历史数据沉淀,建设为数据仓库。建设数据仓库的过程中涉及到周期性的数据同步,每日将新增数据同步到数据仓库中,此时需要周期性的调度将每日同步任务周期性运行。

    AI建模作业

    业务类型

    AI建模应用

    上云建议

    通过大数据平台的数据采集任务完成后,自动进行数仓作业流程,上游数据入库后可通过API触发外部AI平台开始AI建模作业,这个过程需要调度进行作业、任务的有效调度。

    产品功能

    多租户隔离

    事件依赖支持

    高可用

    • 调度系统本身支持多租户,但为避免作业执行时相互之间产生影响,对于不同租户作业,使用不同的作业队列分别进行作业派发。在执行层面为避免作业相互影响,系统引入了容器。作业均在容器中执行,避免了执行时在性能、安全性上相互影响及租户资源使用统计的问题。

    资源灵活控制