详情页标题前

阿里云大数据开发治理平台 DataWorks提交节点时提示:输入输出和代码血缘分析不匹配-云淘科技

详情页1

问题现象

提交节点时,系统出现提示:输入输出和代码血缘分析不匹配。阿里云大数据开发治理平台 DataWorks提交节点时提示:输入输出和代码血缘分析不匹配-云淘科技阿里云大数据开发治理平台 DataWorks提交节点时提示:输入输出和代码血缘分析不匹配-云淘科技

可能原因

当代码中SELECT的与节点的依赖的父节点配置不一致,或代码中INSERT、CREATE的表与节点的本节点的输出不一致时,会出现该提示。

以上图为例,说明:

  • 您提交的节点代码中有SELECT名称为table2的数据,但是table2并没有配置为节点的依赖的父节点。
  • 您提交的节点中有将doc_test配置为节点的本节点的输出,但是节点代码中并没有INSERT或CREATE名称为doc_test的表。

解决方案

  • 非周期性生成数据的表可以忽略提示直接提交。
    由于DataWorks的调度依赖主要保障调度节点定时更新的表数据,所以非DataWorks平台上调度更新的表,平台无法监控。当节点代码中SELECT非周期性调度生产的表数据时,您需要删除通过SELECT自动生成的依赖的上游节点配置。非周期性调度生产数据的表包括:

    • 从本地上传到DataWorks的表
    • 维表
    • 非DataWorks调度产出的表
    • 手动任务产出的表
  • 对于周期性生成数据的表,您需要仔细检查表数据的血缘关系与调度依赖关系是否一致。
    如果您不检查直接强制提交节点,可能会导致以下影响:

    • 例如,代码中SELECT一张表A,并且表A是个调度节点每天定时产出的表(即表A不是非周期性生成数据的表),如果没有将表A添加为本节点的依赖的父节点,形成依赖关系的时,某次生成表A的节点没有执行成功的话,下游节点取表A的数据即取用的表A上一次运行结果的数据,可能会有问题。
    • 例如,在代码中CREATE或INSERT一张表B,没有将表B作为本节点的输出,则如果有节点SElECT表B,自动解析会自动将表B作为节点的输入,形成依赖关系,但是系统无法通过这个依赖关系找到产出表B的节点,提交节点时会报错:当前节点依赖的父节点输出名不存在。详情可参见提交节点报错:当前节点依赖的父节点输出名不存在。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/166918.html

(0)
上一篇 2023年12月10日 上午9:39
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云大数据开发治理平台 DataWorks应用示例:运维中心触发事件检查-云淘科技

    完成扩展程序的开发,并在DataWorks管控台中完成扩展程序的注册和上线后,当在扩展程序生效的工作空间中使用页面部分功能(操作扩展点)时,DataWorks会将事件消息发送至您的扩展程序,并根据返回结果来决定该操作是否生效。本文为您介绍运维中心操作扩展点触发扩展程序校验的页面过程。 前提条件 已完成开放消息的配置、扩展程序的配置。 背景信息 DataWor…

    2023年12月10日
  • 阿里云大数据开发治理平台 DataWorksListFileVersions-云淘科技

    调用ListFileVersions查询文件的版本列表。 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。 请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ListFileVersions 要执行的操作。 FileId …

  • 阿里云云原生大数据计算服务 MaxCompute计算成本优化-云淘科技

    本文为您介绍如何通过对SQL作业和MapReduce作业的优化减少计算成本。 您可以在计算前对计算成本进行预估,控制计算成本。详细的预估方法,请参见TCO工具。也可以配置消费预警,预防意料之外的高额费用。预警方法设置请参见消费监控告警。如果计算成本过高,您可以参考下面的方法进行优化,以控制计算成本。 SQL作业计算成本控制 对于SQL计算作业,大部分费用较高…

  • 阿里云日志服务SLS云监控-云淘科技

    您可以通过阿里云云监控服务来监控日志服务的写入流量、总体QPS、服务状态等指标,获取日志服务的使用情况。同时您可以通过创建报警规则,对日志采集、Shard资源使用等异常进行监控。 前提条件 RAM用户查看云监控指标,需要主账户为其授予云监控只读(AliyunCloudMonitorReadOnlyAccess)或读写(AliyunCloudMonitorFu…

    阿里云日志服务SLS 2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云人工智能平台PAIBlade服务请求构造-云淘科技

    本文为您介绍如何为基于通用Processor的Blade服务构造请求数据。 官方SDK 您可以直接下载Blade服务请求的官方SDK,详情请参见GitHub官方SDK。 示例代码 使用Python SDK调用Blade服务的示例代码请参见示例代码。 内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家阿里云企业补贴进行中: 马上申请腾讯云限时活动1折…

    阿里云人工智能平台PAI 2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。