详情页标题前

阿里云大数据开发治理平台 DataWorks提交节点报错:当前节点依赖的父节点输出名不存在-云淘科技

详情页1

问题现象

提交节点时,系统报错,提示当前节点依赖的父节点输出名不存在。阿里云大数据开发治理平台 DataWorks提交节点报错:当前节点依赖的父节点输出名不存在-云淘科技以上图为例,出现此类报错说明,系统无法通过本节点配置的这条父节点输出名称的依赖关系,找到产出xc_ods_user_info_d_133的上游节点。说明 出现此报错,说明调度依赖配置里的节点输出名不存在(即没有节点将这个节点输出名配置为本节点的输出),并不是指表不存在。如果表存在,且由某个节点产出,但是没有将这个表添加为节点的输出,也会出现此类报错。

可能原因1:没有节点产出这个表

  • 可能原因

    出现此种情况的原因之一是:确实没有节点产出这个表。

    对于大部分场景,DataWorks可通过自动解析,自动将产出表添加为节点的本节点的输出,但是对于非周期性生成的表,不支持使用自动解析。非周期性调度生产数据的表包括:

    • 从本地上传到DataWorks的表
    • 维表
    • 非DataWorks调度产出的表
    • 手动任务产出的表

    当有节点SELECT非周期性调度生成数据的表时,就会出现上述报错。

  • 解决方案

    您需要手动删除包含非周期性生成数据的表相关的依赖配置。本示例中,即您需要手动将父节点输出名称为xc_ods_user_info_d_133的调度依赖配置删除。

    手动删除调度依赖的具体操作可参见配置同周期调度依赖。

可能原因2:有节点产出该表数据,但是该表没有添加为该节点的输出

  • 可能原因

    出现此种情况的另外一个可能的原因是:有节点产出该表数据,但是该表没有添加为该节点的输出。

    对于大部分场景,DataWorks可通过自动解析,自动将产出表添加为节点的本节点的输出,但是对于一些特殊的节点,DataWorks不支持使用自动解析。离线节点、AnalyticDB for PostgreSQL节点、AnalyticDB for MySQL节点、EMR节点不支持通过自动解析添加节点的调度依赖,这些节点的产出表需要手动添加为本节点的输出。

    当有节点SELECT这类节点生成的表,且产出这个表的没有手动添为节点的产出时,就会出现上述报错。

  • 解决方案

    您需要手动将表添加为产出该表节点的输出。本示例中,即您需要手动将xc_ods_user_info_d_133添加为产出这个表的本节点输出。

    手动添加调度依赖的具体操作可参见配置同周期调度依赖。

为了避免依赖关系配置错误导致数据出现问题,DataWorks会在提交节点时进行表数据血缘关的输入输出和调度配置输入输出比较,如果不一致会给您提示,详情可参见提交节点时提示:输入输出和代码血缘分析不匹配。

不是DataWorks每天调度产出的表数据,是不需要设置节点依赖关系的,这类表依赖可以删除,删除后提交节点时,会出现血缘关系与调度依赖配置不一致的提示,您可确认一下,是否除了删除的非周期性生成数据表的依赖关系外,没有其他血缘与调度配置不一致的地方,没有的话可以强制提交节点。

可能原因3:存在同名的节点输出

  • 可能原因出现此种情况的另外一个可能的原因是:有多个节点的本节点产出名称一样。此原因可能由两种场景造成:
    • 有多个节点产出了同一张表。

      如果有多个节点产出了同一个表,当有节点SELECT这张表时,系统无法找到准确且唯一的产出这张表的节点,提交节点时会出现上述报错。

    • 同个项目中存在同名的节点。

      由于节点创建时,系统会自动为节点添加两个本节点产出,其中一个名称命名规则为projectname.nodename,如果同一个项目下如果有两个同名节点,这两个节点自动生成的本节点产出名称一样,提交会出现上述报错。

  • 解决方案需严格按照代码开发规范和界面命名建议进行整改:
    • 一张表由一个节点产出,节点的产出表需添加为本节点的产出。
    • 同项目中的节点命名不重复。

    整改后,需确保不存在多个节点的本节点产出名称一样。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/167993.html

(0)
上一篇 2023年12月10日 上午10:42
下一篇 2023年12月10日 上午10:44
详情页2

相关推荐

  • 阿里云人工智能平台PAIAPI概览-云淘科技

    本产品(机器学习PAI-云原生AI基础平台/2020-12-03)的OpenAPI采用ROA签名风格,签名细节参见签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过下载SDK直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求,可通过签名机制进行自签名对接。由于自签名细节非常复杂,需花费 5个工作日左右。因此建议…

    阿里云人工智能平台PAI 2023年12月10日
  • 阿里云RDS数据库空间分析-云淘科技

    数据库自治服务DAS为RDS PostgreSQL提供空间分析功能,可以直观地查看数据库实例的空间使用概况、空间剩余可用天数,以及数据库中某个表的空间使用情况、空间异常诊断等,能够帮助您及时发现数据库中的空间异常,避免影响数据库稳定性。 前提条件 RDS PostgreSQL数据库实例为高可用版。 注意事项 空间分析功能最多分析20000张表。 操作步骤 访…

    阿里云数据库 2023年12月9日
  • 阿里云日志服务SLS采集SQL Server查询结果-云淘科技

    本文介绍如何通过日志服务控制台创建Logtail采集配置来采集SQL Server查询结果。 前提条件 已在服务器上安装Linux Logtail 1.2.1及以上版本。更多信息,请参见安装Logtail(Linux系统)。重要 请确保用于安装Logtail的服务器可连接目标数据库。 在SQL Server数据库中,设置白名单为Logtail所在服务器的IP…

    2023年12月10日
  • 阿里云对象存储OSS非EMR集群接入OSS-HDFS服务快速入门-云淘科技

    OSS-HDFS服务(JindoFS服务)完全兼容HDFS接口,同时支持目录层级的操作。JindoSDK为Apache Hadoop的计算分析应用(例如MapReduce、Hive、Spark、Flink等)提供了访问HDFS服务的能力。本文介绍如何通过在ECS实例中部署JindoSDK,然后完成OSS-HDFS服务快速入门相关操作。 前提条件 已创建ECS…

    阿里云对象存储 2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云对象存储OSSPython存储空间清单-云淘科技

    本文介绍如何添加、查看、批量列举和删除存储空间(Bucket)的清单(Inventory)配置。 注意事项 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS,请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系,请参见访问域名和数据中心。 本文以从环境变量读取访问凭证为例。如…

    阿里云对象存储 2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。