详情页标题前

阿里云大数据开发治理平台 DataWorks使用公共资源组-云淘科技

详情页1

开通DataWorks时,DataWorks自动为您提供公共资源组(包括公共调度资源组、公共数据集成(调试)资源组、公共数据服务资源组),可用于数据开发、运行测试等操作。公共资源组被多个租户共享,高峰期租户间可能会存在抢占资源的情况。本文为您介绍公共资源组的概要信息。

适用场景

公共资源组建议在任务量相对较少、对任务时效性要求不高的场景下使用。

使用限制

公共资源组由多个租户共享,在高峰期无法保证稳定的资源分配。说明

  • 公共调度资源组最多支持40个调度任务同时运行,但在任务执行高峰期(通常为00:00~09:00)会存在资源抢占情况,公共资调度源组的并发任务数可能会小于该数值。
  • 公共数据服务资源组无法满足高频率、高并发的调用。

如果您希望保障任务运行资源独立且充足,建议开通使用独享资源组,具体如下表。

资源组类型 描述 参考链接
独享调度资源组 在任务高并发执行且无法错峰运行的情况下,需要专有的计算资源来保障任务定时被调度运行时,建议使用DataWorks的独享调度资源组。 独享调度资源组计费说明:包年包月
独享数据集成资源组 在数据集成任务高并发执行且无法错峰运行的情况下,企业需要专有的计算资源组来保障数据快速、稳定地传输时,建议使用DataWorks的独享数据集成资源组。 独享数据集成资源组计费说明:包年包月
独享数据服务资源组 在调用数据服务API需要高QPS和SLA保障的情况下,企业需要保障调用成功。同时,满足高并发、高频率的接口调用并及时返回结果数据时,建议使用DataWorks的独享数据服务资源。 独享数据服务资源组计费说明:包年包月

计费与相关操作

(1)计费说明

说明 购买DataWorks后,DataWorks会为您提供公共资源组,无需您单独购买。根据公共资源组实例费用、同步进程费用等计费项收费。公共资源组开通时支持按量付费的计费模式,计费详情可参见:

  • 公共调度资源组计费说明:按量付费
  • 公共数据集成(调试)资源组:按量计费
  • 公共数据服务资源组计费说明:按量付费

(2)扣费与欠费说明

DataWorks针对不同类型公共资源组的扣费及欠费处理情况存在差异,详情请参见扣费与欠费说明。

使用公共资源组

了解上述公共资源组的适用场景及计费详情后,您可以在数据集成、数据开发等任务中选择合适类型的资源组使用。

  • 公共资源组是一个公共资源池,不保证任务可以及时得到资源并被调度执行。如果您需要任务得到高保证的运行,请使用独享资源组,详情请参见新增和使用独享数据集成资源组、新增和使用独享调度资源组。
  • 打通网络时,如果您需要公共资源组机器的相应信息,请参见附录:ECS自建数据库的安全组配置和添加白名单。

说明

  • 在保证其它任务没有使用公共资源组的前提下,一个数据集成任务的公共资源组最多支持5个并发。在实际执行任务时,资源可能会被其它任务抢占,所以最大并发数未必达到5个并发,并发数以实际运行情况为准。
  • 公共资源组不支持调整内存大小,您可以调整并发数。

    内存的计算方式为:并发数*512MB

网络连通方案

DataWorks资源组本质上为一组阿里云ECS实例,在运行数据集成、数据开发等任务时,需保障资源组与数据源之间的网络是连通的,且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。

  • 网络连通公共资源组支持与阿里云内部数据源之间的访问连通,数据源所处的网络环境及其连通性支持情况如下。
    • 公共调度资源组
      • 若要访问公网地址,需要在工作空间配置界面配置沙箱白名单,配置沙箱白名单后仍无法访问,请使用独享调度资源组。
      • 仅支持访问无白名单访问控制的地址。访问有白名单访问控制的地址,或访问VPC地址,需要使用独享调度资源组。

      说明 建议所有访问外部地址的场景,均使用独享调度资源组。使用独享调度资源组,详情请参见独享调度资源组。

    • 公共数据服务资源组

      数据源所处的网络环境与资源组的连通性支持情况如下。

      数据源网络环境 是否支持访问
      数据源处于公网环境 支持
      数据源处于经典网络 支持
      数据源处于VPC网络 不支持
    • 公共数据集成(调试)资源组

      公共数据集成(调试)资源组仅保证支持公网访问能力。

  • 白名单设置

    公共调度资源组为您提供任务安全沙箱功能,限制未知IP访问资源组。如果您的业务场景涉及访问资源组,需要将访问资源组的IP添加至安全沙箱白名单中。详细操作请参见安全设置。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/171424.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云云原生大数据计算服务 MaxCompute数据传输费用(按时计费)-云淘科技

    如果您已购买包年包月规格的独享数据传输服务资源组,并想要在业务高峰期临时扩容部分并发资源满足资源供给,可使用按时计费规格。本文为您介绍按时计费规格的计费说明、使用说明及资源价格。 背景信息 MaxCompute支持对数据传输服务的独享资源组做按时计费,具体如下: 资源介绍 按时计费规格基于包年包月规格进行弹性扩、缩容预留并发数,支持对包年包月一级Quota在…

  • 阿里云大数据开发治理平台 DataWorks数据集成概述-云淘科技

    数据集成是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。 使用限制 数据同步: 支持且仅支持结构化(例如RDS、DRDS等)、半结构化、无结构化(OSS、TXT等,要求具体同步数据必须抽象为结构化数据)的数据的同步。即数据集成仅支持传输能够抽象为逻辑二维表的数据同步,不支持同步OSS中存放完全非…

    2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云大数据开发治理平台 DataWorks使用公共资源组-云淘科技

    开通DataWorks时,DataWorks自动为您提供公共资源组(包括公共调度资源组、公共数据集成(调试)资源组、公共数据服务资源组),可用于数据开发、运行测试等操作。公共资源组被多个租户共享,高峰期租户间可能会存在抢占资源的情况。本文为您介绍公共资源组的概要信息。 适用场景 公共资源组建议在任务量相对较少、对任务时效性要求不高的场景下使用。使用限制公共资…

  • 阿里云大数据开发治理平台 DataWorks独享资源组模式-云淘科技

    DataWorks为您提供独享资源组模式,支持购买独享的机器资源组,来分配给工作空间中运行的任务。本文为您介绍如何购买、新增、查看、操作和使用独享资源组。 背景信息 独享资源组模式下,机器的物理资源(网络、磁盘、CPU和内存等)完全独享。独享资源组模式的作用如下: 支持隔离不同用户间的资源使用。 支持隔离不同工作空间任务的资源使用。 支持扩容、缩容功能,可以…

    2023年12月10日
  • 阿里云大数据开发治理平台 DataWorks数据集成-云淘科技

    DataWorks数据集成支持复杂网络环境下的数据同步,您可在数据开发(DataStudio)界面直接创建离线同步节点,用于离线(批量)数据周期性同步;实时同步任务运维,用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。 背景信息 除数据开发(DataStudio)的数据同步节点外,数据集成模块还支持多种类型同步方案,例如,全增量数据实时同步,…

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。