详情页标题前

阿里云大数据开发治理平台 DataWorks代码解析结果对比-云淘科技

详情页1

开启自动解析时,为保障生产数据产出无误、节点变更操作过程可控,在节点发布流程中,需对节点调度变更相关操作进行二次确认,提交节点时将基于代码中表血缘解析当前节点的输入与输出。您可根据代码解析结果,确认节点的上下游依赖是否正确。

功能介绍

提交节点时,若节点当前版本的调度依赖(即在调度配置 > 调度依赖区域配置的输入输出)与该节点在生产环境的调度依赖不一致,将出现输入输出变更提示(例如,当前最新版本与上个版本比较,新增或删除了哪些输入或输出)。

您可选择是否使用新的解析结果,基于当前节点最新版本的调度依赖继续提交该节点,节点提交后,最新的解析结果将自动添加至调度配置 > 调度依赖区域。


说明 未开启自动解析的情况下,您可根据业务实际需要自定义节点调度依赖,通过节点版本对比来进行调度依赖相关变更的比对。

使用限制

目前暂不支持对跨周期依赖的代码解析结果进行对比,若存在跨周期依赖,请在提交节点前确认依赖是否符合预期。

如何确认是否使用新的解析结果

节点提交时,若发现节点当前调度依赖解析结果与生产环境节点调度依赖关系的配置存在差异,请确认该节点当前的调度依赖是否符合业务需要,避免由于依赖关系变更导致产出数据出现问题。


重要 若当前节点存在众多下游任务时,可能会产生较大影响,请明确业务场景后再谨慎操作。

以下主要考虑依赖变更操作对生产环境正常调度任务的影响,您可基于该影响判断是否需要使用新的解析结果。

影响示例:本节点依赖的上游节点变更

当前节点提交时,与生产环境该节点的调度配置比较,发现缺少了输入名A(即上游节点输出名为A),此时,需确认当前节点的调度依赖是否配置正常。若该节点代码中配置了依赖A表的数据,但未将产出A表数据的节点作为当前节点依赖的上游,则可能会出现A表数据未产出,当前节点便开始执行,最终导致当前节点产出的表数据出现问题。阿里云大数据开发治理平台 DataWorks代码解析结果对比-云淘科技

影响示例:本节点产出的表变更

当前节点提交时,与生产环境该节点的调度配置比较,发现缺少了本节点输出名B,此时,需确认节点产出的表是否有变更。若该输出已存在下游依赖,请确认是否将会对下游节点造成不可预估的影响。阿里云大数据开发治理平台 DataWorks代码解析结果对比-云淘科技当节点存在下游依赖时,此时删除该节点输出可能导致该rpt_user_info_d下游节点变为孤立节点无法正常调度,或取数出现问题,详情请参见删除或变更节点输出的影响。


重要 当确认采用新的解析结果时,由于删除了存在下游依赖的节点输出,您需对其影响进行确认并谨慎操作!

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/172179.html

(0)
上一篇 2023年12月10日 下午3:39
下一篇 2023年12月10日 下午3:42
详情页2

相关推荐

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。