详情页标题前

阿里云大数据开发治理平台 DataWorks下线无效任务-云淘科技

详情页1

对于数据治理过程中的无效任务,数据治理中心为您提供完整的下线方案,支持自动识别推荐或人为选定对象,进行下线风险评估、下线通知推送、下线过程管理等全流程功能,为您解决需要人肉识别下线风险、当任务存在正常调度的下游任务时则不能下线、因无法预知风险而不敢轻易下线等问题,帮助您提升任务下线效率。本文为您介绍如何创建及管理任务下线计划。

背景信息

与传统直接下线操作相比,优雅下线增加了下线影响分析、下线过程管理等流程。在各个阶段支持通过多种方式给任务相关人员发送任务待下线通知。

序号

操作

说明

1

选择下线对象

您可以选择下线对象,并评估影响面和风险,支持您手动选择下线对象或系统自动推荐下线对象。

2

配置处理流程

您可以管理下线的全过程:

  • 支持您对待下线任务设置延迟调度、暂停调度等,同时您还可以设置任务静默时长。

    • 延迟调度:将待下线任务的定时时间延长,让待下线任务及待下线任务的下游任务产出的表数据延迟产出。

    • 暂停调度:将待下线任务的状态设置为暂停(冻结),即在运维中心 > 周期任务界面中的该任务置为冻结状态,待下线任务及其下游任务将不再产出表数据。

  • 支持您重命名下线任务产出的表数据,并在静默时间后,对该表进行最终下线操作。

说明

静默时长:当前阶段执行后,等待多长时间可进行下一步操作。以暂停调度为例,任务暂停调度到达静默时长后,才可进行任务下线操作。

3

定义计划执行方式

下线流程的每一个步骤,支持您选择人工触发或全自动触发步骤执行。

4

查看并管理下线计划

您可以查看已创建的任务下线计划详情,并对下线计划中添加的各个子任务进行查看执行详情、取消、回滚等操作。

使用限制

  • 仅空间管理员及运维人员可创建任务下线计划。角色添加详情请参见添加空间成员并管理成员角色权限。

  • 任务下线计划仅支持添加单个工作空间下的任务。

  • 仅空间管理员可对下线计划进行全部操作。运维人员只能操作自己创建的下线计划,对于其他下线计划仅拥有读权限。

  • 一个下线计划中最多可添加200个任务。

注意事项

  • 已经处在下线计划中的任务不能被选择下线(即一个任务只能存在于一个下线计划中)。

  • 特殊类型的任务不能被选择下线。例如,工作空间的根节点、下线计划所创建的虚拟节点等。

  • 待下线任务存在下游依赖时,若受影响的下游任务未在规定时间内主动移除与待下线任务的调度依赖,系统将会在生成一个虚拟节点,将下游任务挂到虚拟节点上。

  • 各类型节点实际支持的步骤请以产品界面提示为准。

创建下线计划

  1. 进入数据治理。

    1. 登录DataWorks控制台。

    2. 在左侧导航栏,单击工作空间列表

    3. 选择工作空间所在地域后,单击相应工作空间后的数据开发

    4. 单击顶部菜单栏左侧的阿里云大数据开发治理平台 DataWorks下线无效任务-云淘科技图标,选择全部产品 > 数据治理 > 数据治理中心

  2. 单击顶部菜单栏的治理工作台,默认进入治理项问题页面。

  3. 单击左侧导航栏的优雅下线

  4. 在页面上方工作空间下拉框中选择待下线任务所在的工作空间,下拉列表中仅展示您已加入的工作空间。

    若您需要加入某个工作空间,可联系该空间管理员进行添加,详情请参见添加空间成员并管理成员角色权限。

  5. 单击优雅下线页面中的新建计划

    您还可以在治理项问题列表,对于需要下线的任务,单击操作列的创建下线计划,进入新建下线计划页面。

选择下线对象

您可以在新建计划界面的下线对象区域单击添加任务,添加需要纳入该下线计划的任务,在添加任务界面您还可以查看纳入下线计划的任务相关信息。例如,节点直接下游、产出表个数、产出表是否被消费等,帮助您评估任务下线的影响及风险。

说明

  • 已经处在下线计划中的任务不能被选择下线(即一个任务只能存在于一个下线计划中)。

  • 特殊类型的任务不能被选择下线。例如,工作空间的根节点、下线计划所创建的虚拟节点等。

配置处理流程

您可以在新建计划界面的处理流程区域对于任务整体的下线流程,进行精细化的配置。包括启动下线、延迟调度、暂停调度、下线任务、重命名产出表、删除产出表、完成下线等阶段,启动下线计划到最终完成下线过程中,每一阶段均支持您自主选择是否执行该阶段,若您不勾选某步骤,将默认跳过该步骤执行,直接进入下一阶段。

配置项

说明

发送通知

支持系统内提示、邮件、钉钉机器人等方式发送给指定人员。钉钉机器人的相关配置,详情请参见:场景实践:发送报警消息至钉钉群。

说明

系统内提示信息,请前往数据治理中心 > 治理工作台 > 我的待办 > 治理提醒页面进行查看。

通知人员

支持通知给任务责任人、下线任务产出表负责人、下线任务所处基线负责人等受影响方,各阶段支持通知人员请以界面为准。

静默时长

当前阶段执行后,等待多长时间可进行下一步操作。以暂停调度为例,任务暂停调度到达静默时长后,才可进行任务下线操作。

定义计划执行方式

设置下线计划各阶段执行方式,您可选择人工触发步骤执行或全自动触发步骤执行。

  • 人工触发步骤执行:下线流程的每一个步骤,需要下线计划创建者人工确认后,才能进入下一个步骤。

  • 全自动触发步骤执行:下线流程的每一个步骤,按照配置的静默时间,到期后,进入下一个步骤。

查看并管理下线计划

您可以在优雅下线界面查看下线计划列表,并可执行取消删除任务下线计划中的全部任务。

说明

  • 取消任务下线计划,仅取消执行中的任务,已完成下线的任务不受影响。

  • 删除任务下线计划时,系统将先取消执行中的任务,已完成下线的任务不受影响,取消成功后将会删除该下线计划。删除后该操作不可逆。

您还可以单击操作列的执行详情查看下线计划的配置详情,同时,您可以对下线计划中的单个下线任务进行如下操作:

功能

说明

查看执行详情

查看单个任务下线详情,包括流程执行进度、状态及各流程执行详情,同时您还可以对当前任务的下线流程进行取消、回滚等操作。

  • 取消任务:您可以取消当前任务下线流程中未完成的步骤。

  • 回滚任务:您可以将当前任务所有下线步骤回滚到初始状态,不支持单个步骤的回滚操作。

    说明

    • 如果任务下线计划已取消,则不支持回滚操作。

    • 如果子步骤在执行中,则不支持回滚操作。

前往运维

快速进入生产运维中心,查看任务的运维详情。

前往编辑

快速进入数据开发界面,编辑任务。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/171942.html

(0)
上一篇 2023年12月10日 下午3:01
下一篇 2023年12月10日 下午3:02
详情页2

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。