详情页标题前

阿里云大数据开发治理平台 DataWorks流程管控-云淘科技

详情页1

DataWorks提供了全链路的数据开发治理能力,为您提供了统一的数据开发治理流程,同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。

背景信息

DataWorks的工作空间分为标准模式和简单模式,不同模式工作空间下任务的开发流程存在一定差异,两种模式的数据开发流程示意如下。

  • 标准模式工作空间开发流程阿里云大数据开发治理平台 DataWorks流程管控-云淘科技
  • 简单模式工作空间开发流程阿里云大数据开发治理平台 DataWorks流程管控-云淘科技

如上图所示,在通用流程的关键节点,例如,任务运行调试前、任务提交前、任务发布前,您可以进行流程管控。

任务运行前校验示例 任务提交前校验示例 任务发布前校验示例
阿里云大数据开发治理平台 DataWorks流程管控-云淘科技 阿里云大数据开发治理平台 DataWorks流程管控-云淘科技 阿里云大数据开发治理平台 DataWorks流程管控-云淘科技

您可以通过DataWorks的开放平台、数据治理等功能模块,实现在关键节点对数据开发流程的管控校验。

涉及的功能模块 运行前校验 提交前校验 发布前校验 流程管控能力引导介绍
数据治理中心 阿里云大数据开发治理平台 DataWorks流程管控-云淘科技 阿里云大数据开发治理平台 DataWorks流程管控-云淘科技 阿里云大数据开发治理平台 DataWorks流程管控-云淘科技 DataWorks的数据治理中心为您内置了多个检查项,您可以根据业务需要选择开启对应的检查项,开启后,后续在涉及到对应操作时即会触发DataWorks的内置校验逻辑对当前操作进行管控校验,管控校验完成后才会继续后续流程。
开放平台 阿里云大数据开发治理平台 DataWorks流程管控-云淘科技 阿里云大数据开发治理平台 DataWorks流程管控-云淘科技 阿里云大数据开发治理平台 DataWorks流程管控-云淘科技 如果DataWorks的内置检查项不足以满足您的流程管控需求,您也可以使用开放平台,针对需要管控的事件自行开发校验程序,并将管控流程嵌入数据开发流程中。

下文以标准模式工作空间的场景为例,为您介绍这些关键节点的流程管控能力。

  • 启用内置检查项:数据治理中心
  • 自定义校验逻辑:开放平台

启用内置检查项:数据治理中心

DataWorks的数据治理中心为您内置了多个检查项,您可以根据业务需要选择开启对应的检查项,开启后,后续在涉及到对应操作时即会触发DataWorks的内置校验逻辑对当前操作进行管控校验,管控校验完成后才会继续后续流程。

细分 介绍
涉及DataWorks功能模块 DataWorks数据治理中心DataWorks的数据治理中心内置了很多检查项,开启后即可以进行对应操作的管控校验。阿里云大数据开发治理平台 DataWorks流程管控-云淘科技

  • 运行前管控时:您可根据需要开启生效检查环节为代码运行前置事件的检查项。
  • 提交前管控时:您可根据需要开启生效检查环节为文件提交前置事件的检查项。
  • 发布前管控时:您可根据需要开启生效检查环节为文件发布前置事件的检查项。
配置入口与指导 您需要在数据治理中心启用检查项,并设置启用的检查项在哪个工作空间生效。

通用操作指导请参见配置治理项。

自定义校验逻辑:开放平台

如果DataWorks的内置检查项不足以满足您的流程管控需求,您也可以使用开放平台,针对需要管控的事件自行开发校验程序,并将管控流程嵌入数据开发流程中。调试运行前的自定义校验逻辑的管控校验能力介绍如下。

细分 介绍
涉及DataWorks功能模块 DataWorks开放平台

DataWorks开放平台提供开放事件(OpenEvent)、扩展程序(Extensions)和OpenAPI功能,您可以通过OpenEvent订阅用户在DataStudio中的操作事件消息,并在事件消息后,通过Extensions功能,自定义一个校验审批程序,并将程序的审批结果通过OpenAPI回调给DataWorks系统。OpenEvent和Extensions的详细介绍请参见OpenEvent概述、扩展程序概述。

校验流程 如果您使用开放平台功能,配置了对DataStudio中关键操作的事件订阅与事件校验,则当用户进行对应操作时会触发校验流程,以运行前管控为例,管控校验流程如下。阿里云大数据开发治理平台 DataWorks流程管控-云淘科技
配置入口与指导 您需要在开放平台中配置订阅DataStudio的事件,并自行开发事件处理的扩展程序,将扩展程序上线至DataWorks,并设置在哪个工作空间启用。

  • 运行前管控时:您需要订阅处理运行类的事件,例如文件运行前置事件。
  • 提交前管控时:您需要订阅处理提交类的事件,例如文件提交前置事件、表提交前置事件。
  • 发布前管控时:您需要订阅处理发布类的事件,例如文件发布前置事件、表发布前置事件。

更多开放平台支持订阅管控的事件类型请参见扩展程序概述。

  • 开放平台的通用操作指导请参见准备工作。
  • 典型管控场景的最佳实践请参见:
    • 最佳实践:任务发布封网管控
    • 最佳实践:(高级特性应用)禁止使用MAX_PT函数
    • 最佳实践:订阅实例状态变更消息

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/172162.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。