详情页标题前

阿里云大数据开发治理平台 DataWorks场景3:如何配置跨业务流程、跨工作空间的调度依赖-云淘科技

详情页1

本文为您介绍跨业务流程跨工作空间场景下,如何设置节点的调度依赖。并通过该方案实现下游业务流程等待上游业务流程执行成功后,才可执行。

背景信息

DataWorks上游节点的输出作为下游节点的输出可形成节点依赖关系,基于该特性,可实现跨业务流程依赖,跨工作空间依赖。更多关于该特性的说明,请参见调度依赖配置指引。

跨业务流程配置调度依赖

下游业务流程中的节点依赖上游业务流程中某节点的节点输出即可实现跨业务流程依赖,下面以多分支结果的业务流程实现跨业务流程依赖为例说明如何设置跨业务流程节点依赖关系。

包含多个分支结果的业务流程如果要实现跨业务流程依赖,您需要使用虚拟节点对多个分支节点进行汇总,再手动将该汇总节点的输出作为下游业务流程统筹根节点的输入,以此方式实现跨业务流程依赖。

说明

  • 虚拟节点属于控制类节点,它是不产生任何数据的空跑节点,通常作为业务流程统筹节点的根节点(例如,控制该业务流程整体调度时间,与是否调度控制),或作为业务流程中多个分支节点的汇总输出节点使用。
  • 一个业务流程存在多个分支结果时,您需要新建一个虚拟节点(例如,业务流程_end_虚拟节点),业务流程_end_虚拟节点依赖上游多个分支结果,当业务流程_end_虚拟节点执行成功,则表示该业务流程执行完成。

当包含多个分支结果的业务流程需要实现跨业务流程依赖时,则可以使用虚拟节点配置上下游依赖关系。示例如下。
阿里云大数据开发治理平台 DataWorks场景3:如何配置跨业务流程、跨工作空间的调度依赖-云淘科技

  • 创建两个业务流程:业务流程1、业务流程2,业务流程1作为业务流程2的上游。
  • 上游业务流程1创建如下虚拟节点。
    • 业务流程1_start_虚拟节点:统筹起始节点,作为上游业务流程1中多分支节点的统筹起始节点。
    • 业务流程1_end_虚拟节点:汇总输出节点,用于对上游业务流程1的多分支节点进行汇总输出。
  • 下游业务流程2创建如下虚拟节点。
    • 业务流程2_start_虚拟节点:统筹起始节点,下游业务流程2中多分支节点的统筹起始节点。
    • 业务流程2_end_虚拟节点:汇总输出节点,用于对下游业务流程2的多分支节点进行汇总输出。
  • 上下游业务流程的依赖关系:配置业务流程1_end_虚拟节点的输出作为业务流程2_start_虚拟节点的输入,从而实现跨业务流程调度依赖。

说明 DataWorks的依赖关系是通过将上游节点的输出配置为下游节点的输入,以此形成节点依赖,您可以使用
鼠标拖拽、
手动配置、
自动解析三种方式配置节点的依赖关系。本示例通过在下游节点
业务流程2_start_虚拟节点
依赖的上游节点配置区域,手动输入上游节点
业务流程1_end_虚拟节点的输出,从而形成节点依赖。

  • 创建业务流程,详情请参见创建周期业务流程。
  • 创建虚拟节点,详情请参见虚拟节点。
  • 配置调度依赖,详情请参见配置同周期调度依赖。

跨工作空间配置调度依赖

DataWorks支持同区域下的工作空间进行跨工作空间依赖,根据调度依赖原理,通过将上游节点的输出作为下游节点的输入,以此形成节点依赖,实现跨工作空间的调度依赖。例如,将工作空间A中节点A的输出添加为工作空间B中节点B的输入,即可实现跨工作空间依赖。配置方法与通用场景的调度依赖配置相同,详细操作可参见
配置同周期调度依赖。

说明 对于部分早期创建的工作空间,标准模式工作空间依赖简单模式工作空间可能无法支持,请
提交工单申请修复。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/168006.html

(0)
上一篇 2023年12月10日 上午10:43
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云大数据开发治理平台 DataWorks预览依赖关系-云淘科技

    调度依赖配置完成后,您可通过预览依赖查看周期任务的上下游依赖关系、查看周期任务在调度日内所生成周期实例的预计执行时间,检查任务的调度依赖配置是否符合预期,保障任务可按预期时间正常运行。若不符合预期请及时调整调度依赖配置,避免由于依赖关系不符合预期导致任务运行延迟。 注意事项 上下游节点的周期数不同,各周期的依赖关系不同。为避免配置的依赖关系不符合预期,在任务…

    2023年12月10日
  • 阿里云大数据开发治理平台 DataWorks调度依赖配置指引-云淘科技

    DataWorks的调度依赖是指周期调度节点间的上下游依赖关系。通过节点的依赖关系有序调度运行上下游节点,即当上游节点运行成功后,下游节点才会启动运行,保障适时的产出有效业务数据。本文为您介绍调度依赖的配置指引,避免因调度依赖配置有误导致数据异常,配置前建议先了解此内容。 背景信息 DataWorks上任务的调度依赖是指调度场景下节点间的上下游依赖关系。在D…

    2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云大数据开发治理平台 DataWorks建模空间-云淘科技

    当您所需要管理多个DataWorks工作空间且需要复用一套数仓规划时,面对跨多个工作空间的复杂数据体系,可以通过设计空间来共享一套数据建模工具,针对整个数据体系进行统一的数仓规划、维度建模及指标定义等工作。本文为您介绍DataWorks建模空间的应用场景及配置步骤。 背景信息 DataWorks智能数据建模在进行跨多个工作空间数据的统一建模情况下,为您提供了…

    2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。