详情页标题前

阿里云大数据开发治理平台 DataWorks调度周期:日调度-云淘科技

详情页1

日调度即调度节点每天在指定的定时时间运行一次。新建周期任务时,默认调度时间是在00:00~00:30时间段随机生成。您可根据需要自行指定运行时间点。例如,指定每天13点运行一次。

配置示例

  • 配置路径

    您需要进入数据开发节点的编辑页面,单击右侧导航栏的调度配置,在调度配置 > 时间属性区域配置节点的调度周期。

  • 场景示例
    • 配置详情
      • 假设导入、统计加工和导出任务,均为日调度任务。
      • 上述任务的运行时间为每天13:00点。
      • 统计加工任务依赖导入任务,导出任务依赖统计加工任务(即统计加工任务的调度依赖,配置依赖的上游任务为导入任务)。

      根据上述场景,日调度任务的配置详情如下图所示。说明 corn表达式会根据您选择的时间自动生成,不可手动修改。阿里云大数据开发治理平台 DataWorks调度周期:日调度-云淘科技

    • 调度详情调度系统会自动为任务生成实例并运行,各业务数据加工时间如下图所示。阿里云大数据开发治理平台 DataWorks调度周期:日调度-云淘科技说明
      • 调度节点执行需要满足如下条件:
        • 上游任务执行成功。
        • 节点的定时运行时间已到。

        任何一个条件不满足,调度节点都无法执行,并且两个条件没有先后顺序。

      • 默认调度时间是在00:00~00:30时间段随机生成。

场景:天任务依赖小时或分钟任务

以天任务依赖小时任务为例,为您介绍天任务依赖小时任务或分钟任务的依赖情况。说明 DataWorks支持上下游不同调度周期的任务相互依赖,在上下游调度周期不一致情况下,您可先了解DataWorks挂载依赖的默认规则,再基于业务需要根据规则来变更任务的调度配置。更多关于DataWorks复杂依赖场景的说明,请参见必读:复杂依赖场景调度配置原则与示例。

天任务依赖小时任务场景说明

场景 描述
天任务依赖小时任务所有周期(默认情况) DataWorks上天任务默认依赖小时、分钟任务当天所有实例,即待小时、分钟任务当天所有周期数据加工完成后,天任务才会对小时、分钟任务当天所有数据进行加工清洗。
天任务依赖指定的小时周期 若天任务需要依赖小时任务或分钟任务当天指定的第几个小时、分钟实例时,小时分钟任务设置依赖上一周期:本节点(自依赖)即可。天任务将按照就近原则挂载离自己定时时间最近的小时、分钟实例。

小时、分钟设置自依赖后的影响

  • 自依赖配置前:小时、分钟任务每个周期互不影响。
  • 自依赖配置后:小时、分钟任务上一周期是否执行成功,决定下一周期是否会执行。说明 自依赖设置后,今天第一个小时、分钟实例将依赖昨天最后一个小时、分钟实例。

阿里云大数据开发治理平台 DataWorks调度周期:日调度-云淘科技

场景:天任务对小时加工数据进行汇总

天任务依赖小时任务场景下,若上游小时任务调度参数配置存在偏移,导致小时任务每日第一个周期产出昨天最后一小时分区数据,天任务实际需要依赖的小时实例,变为小时任务当天第一个实例。该场景下,您可为小时任务设置依赖上一周期:本节点(自依赖),具体说明如下。阿里云大数据开发治理平台 DataWorks调度周期:日调度-云淘科技

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/172004.html

(0)
上一篇 2023年12月10日 下午3:13
下一篇 2023年12月10日 下午3:16
详情页2

相关推荐

  • 阿里云大数据开发治理平台 DataWorks调度周期:年调度-云淘科技

    年调度即调度任务在每年的特定几天,在特定时间点自动运行一次。 注意事项 在非指定的调度时间内,为保证下游实例正常运行,节点会生成空跑的周期实例。即调度到该任务时,系统会直接返回成功,不会真正执行,也不会阻塞下游节点执行及占用资源。 配置示例 配置路径 您需要进入数据开发节点的编辑页面,单击右侧导航栏的调度配置,在调度配置 > 时间属性区域配置节点的调度…

    2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。