详情页标题前

阿里云大数据开发治理平台 DataWorks各类型节点自动解析场景-云淘科技

详情页1

本文为您汇总了各类型节点自动解析配置原则,以及不支持自动解析的场景,您可根据业务需求使用。

自动解析的配置原则

各类型节点的自动解析配置原则如下

节点类型 代码命令 自动解析 调度依赖配置规则
ODPS节点
  • CREATE
  • INSERT
当节点代码中出现此类输出命令时,会自动为节点添加一条本节点输出配置内容。 为节点自动添加的本节点输出命名规则为odps_project_name.table_name。其中:

  • odps_project_name:为当前节点所在的DataWorks项目名称。
  • table_name:为对应命令后的表名称。
SELECT 当节点代码中出现此命令时,会自动为节点添加一条依赖的上游节点配置内容。 为节点自动添加的依赖的上游节点命名规则为project_name.table_name。其中:

  • project_name:SELECT语句中,from命令后的表所在节点的项目名称。
  • table_name:SELECT语句中from命令后的表名称。
非ODPS的SQL节点
  • CREATE
  • INSERT
  • ALTER
  • UPDATE
当节点代码中出现此类输出命令时,会自动为节点添加一条本节点输出配置内容。 各类型节点自动添加的本节点输出命名规则为:

  • EMR:workspace_name.db_name.table_name
  • ADBPG:workspace_name.db_name.schema_name.table_name
  • ADBMySQL:workspace_name.db_name.schema_name.table_name
  • Hologres:workspace_name.db_name.schema_name.table_name

其中:

  • workspace_name:为当前节点所在的DataWorks项目名称。
  • db_name:为当前节点所在的数据库名称。
  • schema_name:为当前节点的schema名称。
  • table_name:为输出命令后的表名称。
SELECT 当节点代码中出现此命令时,会自动为节点添加一条依赖的上游节点配置内容。 为节点自动添加的依赖的上游节点命名规则为project_name.table_name。其中:

  • project_name:SELECT语句中,from命令后的表所在节点的项目名称。
  • table_name:SELECT语句中from命令后的表名称。
离线同步节点 离线同步节点不支持自动解析,需手动添加节点的调度依赖配置。

不支持自动解析的场景

如下情况不支持自动解析:

  • 部分节点可能暂不支持自动解析,节点是否支持自动解析请以实际界面为准。

    例如:离线节点、AnalyticDB for PostgreSQL节点等不支持通过自动解析添加节点的调度依赖,这类节点的产出表需要手动添加为本节点的输出。

  • SQL代码中的临时表(例如,在工作空间配置中指定t_开头的表为临时表)不支持自动解析,不会被自动解析为本节点的输出或依赖的上游节点。
  • 当同步任务产出一张表时,需手动将该表添加为节点的输出,格式为projectname.tablename。以便下游节点对该表进行数据清洗时,可通过自动解析快速设置节点依赖关系。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/167940.html

(0)
上一篇 2023年12月10日 上午10:39
下一篇 2023年12月10日 上午10:41
详情页2

相关推荐

  • 阿里云ECS云服务器使用SSH客户端登录Linux实例提示“ssh_exchange_identification: read: Connection reset by peer”错误怎么办?-云淘科技

    本文介绍了使用SSH客户端登录Linux实例提示“ssh_exchange_identification: read: Connection reset by peer”错误的解决方案。 问题描述 通过SSH客户端登录Linux实例时,确认用户名和密码正确的情况下,遇到了如下错误信息。 ssh_exchange_identification: read: C…

    阿里云服务器 2023年12月9日
  • 阿里云容器服务ACKAPI概览-云淘科技

    容器服务Kubernetes版提供以下API接口。 重要 在使用API管理Kubernetes集群前,请确保您已阅读和同意阿里云容器服务Kubernetes版服务条款和使用须知及高危风险操作说明。 集群 API 描述 创建Kubernetes专有版集群 调用CreateCluster创建一个标准Kubernetes专有版集群。 创建Kubernetes托管版…

    阿里云容器服务 2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云容器服务ACK为Pod配置独立虚拟交换机和安全组-云淘科技

    您可以在虚拟节点上通过集群级别的自定义资源PodNetworking来描述网络配置,从而支持在虚拟节点上为每个Pod配置独立的虚拟交换机、安全组。本文介绍如何在ACK ServerlessACK+ECI场景下,通过创建PodNetworking为Pod配置独立虚拟交换机及安全组。 索引 步骤一:创建网络定义 步骤二:创建Pod 部署示例 常见问题 如何判断P…

    阿里云容器服务 2023年12月10日
  • 阿里云RDS数据库CreateDBNodes – 创建节点-云淘科技

    该接口用于为RDS MySQL集群系列实例新增节点。 接口说明 适用引擎 RDS MySQL 相关功能文档 注意 使用该接口前,请仔细阅读功能文档,确保完全了解使用接口的前提条件及使用后造成的影响后,再进行操作。 RDS MySQL集群版增加实例节点 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenA…

    阿里云数据库 2023年12月9日
  • 阿里云人工智能平台PAI开通灵骏-云淘科技

    本文为您介绍如何开通灵骏并购买相关资源。 开通灵骏 您需要先开通灵骏,才能正常使用集群管理、节点管理等功能。 灵骏目前处于定向公测阶段,阿里云业务人员会主动为邀测用户提供开通链接。 购买计算节点 您可根据业务需要,购买所需机型的计算节点。灵骏的计费信息,请参见产品计费。 登录智能计算灵骏控制台。 在左侧导航栏,选择资源与节点>节点管理。 单击购买新节点…

    阿里云人工智能平台PAI 2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。