详情页标题前

阿里云大数据开发治理平台 DataWorks补数据-云淘科技

详情页1

本文为您介绍数据的相关问题。

  • 补数据功能说明
  • 为什么小时分钟任务补数据选择了并行但实际不生效?
  • 为什么补数据选择业务时间后不运行,实例显示黄色,实例状态显示等待时间?
  • 为什么补数据选择业务时间昨天和今天,也会出现等待时间的情况?
  • 为什么补数据选择补0点~1点生成了多个实例?
  • 为什么进行大量补数据操作时,会出现等待资源情况(实例显示黄色,实例状态为等待资源)?
  • 为什么补数据报错调起的节点运行时间不在所选业务时间范围内?
  • 为什么有节点选择了补数据,但是没有生成补数据实例?
  • 周、月任务如何执行补数据操作

补数据功能说明

补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时,可以选择补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换为对应的值。将MySQL增量数据写入MaxCompute对应的时间分区中的示例如下。阿里云大数据开发治理平台 DataWorks补数据-云淘科技

为什么小时分钟任务补数据选择了并行但实际不生效?

  • 问题现象

    小时分钟任务补数据选择了并行但实际不生效。

  • 产生原因

    补数据并行控制是,补一段以天为维度的业务日期区间的数据以及几天的实例是否同时执行。此功能不控制小时、分钟任务当天的所有实例是否并发执行,当天小时分钟任务的实例是否并发执行与您小时分钟任务是否设置了自依赖有关。自依赖使用说明,请参见场景2:依赖上一周期的结果时,如何配置调度依赖。

  • 解决措施
    • 选择不并行,一个补数据实例下的多个业务日期串行执行,即上一个业务日期的补数据实例执行完,下一个业务日期的补数据实例才会执行。
    • 选择并行,您可以设置同时使用2组、3组、4组或5组等多个补数据实例进行补数据,即多个补数据实例下有多个业务日期并行执行。

    实时场景:假设小时、分钟节点选择补一个星期数据。

    • 如果小时、分钟节点设置了自依赖,那么小时、分钟节点每天的实例会一个一个执行。
    • 如果小时节点任务没有设置自依赖,那么小时、分钟节点每天的实例一块执行。

为什么补数据选择业务时间后不运行,实例显示黄色,实例状态显示等待时间?

  • 问题现象

    补数据选择业务时间后不运行,实例显示黄色,实例状态显示等待时间。

  • 产生原因

    如果您补数据选择的业务日期实例,其定时时间为未来时间时,会出现等待时间的情况。

  • 解决措施您可以选择立即执行未来时间的数据。阿里云大数据开发治理平台 DataWorks补数据-云淘科技说明
    • 如果您补数据选择的业务时间(实例定时时间)为未来时间,当不勾选此选框时,实例会出现等待时间的情况(实例显示黄色,实例状态为等待时间)。
    • 如果您补数据选的业务时间(实例定时时间)为未来时间,当勾选此选框时,实例会马上执行。

为什么补数据选择业务时间昨天和今天,也会出现等待时间的情况?

  • 问题现象

    补数据选择业务时间昨天和今天,会出现等待时间的情况。

  • 产生原因

    从平台维度来看,业务时间昨天的数据,今天调度运行。补数据补对应业务时间的数据相当于重新执行了一次对应业务时间的周期实例。

    如果您需要过滤今天的周期实例,您需要在周期实例面板选择过滤业务时间昨天的实例,实例的定时时间为今天。阿里云大数据开发治理平台 DataWorks补数据-云淘科技

为什么补数据选择补0点~1点生成了多个实例?

  • 问题现象

    补数据选择补0点~1点生成了多个实例。

  • 产生原因补数据生成多少个实例与您节点配置的定时时间有关。
    • 假设小时任务设置0:00开始至23:59分每小时调度一次。如果选择补数据区间为00:00~1:00,那么将产生两个实例,实例定时时间分别为0:00,1:00。
    • 假设分钟任务设置0:00开始至23:59分每30分钟调度一次。如果选择补数据区间为00:00~1:00,那么将产生三个实例,实例定时时间分别为0:00,00:30,1:00。

为什么进行大量补数据操作时,会出现等待资源情况(实例显示黄色,实例状态为等待资源)?

  • 问题现象

    进行大量补数据操作时,出现等待资源情况(实例显示黄色,实例状态为等待资源)。

  • 产生原因资源组可执行任务最大并发数有上限,如果当前任务执行并发数超过资源组所支持的最大并发数时,将会出现等待资源的情况。说明 等待资源排查,详情请参见等待资源。

为什么补数据报错调起的节点运行时间不在所选业务时间范围内?

  • 问题现象

    补数据报错调起的节点运行时间不在所选业务时间范围内。

  • 产生原因小时分钟任务需要选择具体的调度时间区间才可以正常生成补数据实例并执行。阿里云大数据开发治理平台 DataWorks补数据-云淘科技

为什么有节点选择了补数据,但是没有生成补数据实例?

  • 问题现象

    某节点选择了补数据,但是没有生成补数据实例。

  • 产生原因不在生效日期范围内的节点不生成实例,请检查需要补数据的节点生效时间是否在有效期内。阿里云大数据开发治理平台 DataWorks补数据-云淘科技

周、月任务如何执行补数据操作

  • 操作说明:周、月调度的任务在补数据时,业务时间请选择真实调度时间的前一天。任务定时时间为定时每周几或“每月定时几号”跑的任务,只有在指定调度时间才会真实跑数据,在非指定时间内,非调度时间内其他时间会生成空跑实例,不会实际执行任务,该实例状态为周、月实例空跑周期,更多空跑介绍,详情请参见场景一:周月实例空跑周期。说明
    • 补数据选择的时间为业务日期,业务日期=任务定时调度日期-1
    • 调度参数与业务日期、实例定时时间、实际运行时间的关系,请参见附录:调度参数与业务日期、定时时间、实际运行时间的关系。
  • 场景示例:对月调度任务进行补数据任务调度周期定义:定时每月1号0点调度的任务,在补数据时,需要选择业务为上个月末。阿里云大数据开发治理平台 DataWorks补数据-云淘科技

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/168464.html

(0)
上一篇 2023年12月10日 上午11:07
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云RDS数据库SwitchDBInstanceVpc – 切换RDS实例的VPC和交换机-云淘科技

    该接口用于切换RDS实例的专有网络VPC和交换机。 接口说明 适用引擎 RDS MySQL RDS PostgreSQL RDS SQL Server 相关功能文档 注意 使用该接口前,请仔细阅读功能文档,确保完全了解使用接口的前提条件及使用后造成的影响后,再进行操作。 RDS MySQL切换专有网络VPC和虚拟交换机 RDS PostgreSQL切换虚拟交…

    阿里云数据库 2023年12月9日
  • 阿里云容器服务ACKAPI概览-云淘科技

    本产品(分布式云容器平台/2022-01-01)的OpenAPI采用RPC签名风格,签名细节参见签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过下载SDK直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求,可通过签名机制进行自签名对接。由于自签名细节非常复杂,需花费 5个工作日左右。因此建议加入我们的服务钉钉…

    阿里云容器服务 2023年12月10日
  • 阿里云负载均衡单CLB实例配置多域名HTTPS网站(HTTPS多域名)-云淘科技

    本文指导您如何给传统型负载均衡CLB实例的HTTPS监听挂载多个证书,并将来自不同域名的访问请求转发至不同的后端虚拟服务器组。 场景描述 本文以华东1(杭州)地域创建的CLB实例为例。本文指导您创建一个HTTPS监听,认证方式为单向认证,然后将来自域名为example.com的客户端请求转发至虚拟服务器组RS1,将来自域名为example.org的客户端请求…

    阿里云负载均衡 2023年12月10日
  • 阿里云大数据开发治理平台 DataWorks数据集成:全领域数据汇聚-云淘科技

    DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。 功能概述 DataWorks数据集成支持离线同步、实时同步,以及离线和实时一体化的全增量同步。其中: 离线同步场景下,支持设置离线同步任务的调度周期。 支持数据库、数仓、NoSQL数据库、文件存储、消息队列等近…

    2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • DataWorks为什么新建的节点只依赖了空间根节点,但是到了调度时间节点并没有调度起来?-云小二-阿里云

    DataWorks为什么新建的节点只依赖了空间根节点,但是到了调度时间节点并没有调度起来? 以下为热心网友提供的参考意见 可以执行一下运行诊断 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)” 以下为热心网友提供的参考意见 在DataWorks中,调度依赖是指周期调度节点间的上下游依赖关系。这意味着只有当上游节点运行成功后,下游节点才会启动运行…

    阿里云 2023年12月17日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。