详情页标题前

阿里云大数据开发治理平台 DataWorksDataWorks资源组概述-云淘科技

详情页1

DataWorks支持公共资源组独享资源组,本文为您介绍各类资源组属性说明与选择指导。

背景信息

  • 开通DataWorks时,DataWorks默认为您提供按量付费的公共资源组,同时,支持您购买包年包月独享资源组,或者升级DataWorks增值版本,将您的IDC机器作为DataWorks任务运行的相关资源组,详情请参见资源组介绍。

  • 不同类型的资源组用于任务不同的执行阶段,本文以离线任务调度为例,为您介绍DataWorks离线任务下发机制,与任务运行过程中使用的资源组。详情请参见任务下发机制。

  • 任务同一个执行阶段可选择不同类型的资源组,例如,离线任务调度可选择包年包月独享调度资源组,或按量付费公共调度资源组,数据集成离线任务执行可选择包年包月独享数据集成资源组,关于资源组选择详情请参见资源组选择。

  • DataWorks的公共资源组、独享资源组均已默认接入云安全中心免费版,为您提供服务器异常登录检测、DDoS攻击检测、主流类型的服务器漏洞扫描等基础的安全加固能力,详情请参见云安全中心免费版。

费用说明

各类资源组的费用说明详情请参见计费逻辑说明。

使用限制

仅阿里云主账号和同时拥有AliyunBSSOrderAccess和AliyunDataWorksFullAccess策略的RAM用户可以进行资源组购买操作。授权操作请参见为RAM用户授权。

资源组介绍

DataWorks包括独享资源组、公共资源组,各资源组根据任务调度、数据集成、数据服务等不同的使用场景,细分为不同类型的资源组,包括:独享调度资源组、独享数据集成资源组、独享数据服务资源组、公共调度资源组、公共数据服务资源组。其中,DataWorks的调度资源组用于保障任务的调度运行,数据集成资源组用于保障数据集成任务中的数据传输。 数据服务资源组用于保障API的调用。

资源组类型

计费方式

资源组描述

调度资源组

数据集成资源组

数据服务资源组

独享资源组

包年包月

  • 属于平台托管类型的资源组,购买后将拥有该资源组的独立使用权。

  • 支持通过资源组绑定工作空间的操作,实现各个工作空间的资源隔离。

  • 支持扩容、缩容、升配或规格变更等灵活配置。

独享调度资源组

独享数据集成资源组

独享数据服务资源组

公共资源组

按量付费

开通DataWorks时,阿里云DataWorks会自动为用户提供公共资源组(公共数据服务资源组和公共调度资源组),公共资源组为DataWorks租户共享,任务运行高峰期可能出现等待资源的情况。

使用公共资源组

使用公共资源组

任务下发机制

DataWorks的离线任务通过调度资源组下发至各引擎或服务器资源上执行。例如,DataWorks通过调度资源组将任务下发至MaxCompute引擎上执行。数据集成离线同步任务通过调度资源组将任务下发至数据集成任务执行资源上执行。阿里云大数据开发治理平台 DataWorksDataWorks资源组概述-云淘科技

资源组选择

以下通过机器资源归属、网络、任务执行时效性要求、适用场景、收费方式等维度为您对比展示各资源组的现状。方便您根据自身需求选择合适的资源组。

调度资源组

类别

公共调度资源组

独享调度资源组

机器资源归属

由DataWorks维护,是所有租户竞争使用的共享资源。

由DataWorks维护,是每个租户独占使用的计算资源。

网络

无法保证网络连通,包括但不限于以下场景:

  • 数据源处于公网环境中,但数据源有白名单设置,限制了未知IP的访问。

  • 数据源处于阿里云VPC网络环境中。

可通过网络配置连通复杂的网络环境。详情请参见:独享调度资源组。

任务执行时效性要求

DataWorks用户共享,无法保障时效性。

租户独占,可以控制资源组执行的并发数,并保障任务按时执行。

适用场景

由于租户共同拥有资源的使用权,所以任务量多时,容易造成空间内任务阻塞。仅适用于低并发、低频率的调用场景。

租户可以控制资源组执行的并发数,并支持对资源组进行扩缩容,规格变更等操作,满足任务量大,且对任务时效性要求高的场景。

收费

按量付费,详情请参见公共调度资源组计费说明:按量付费。

包年包月,详情请参见独享调度资源组计费说明:包年包月。

推荐指数

★★★★★

选择指引

  • 时效性要求:公共调度资源组所有阿里云DataWorks用户共享,如果您的任务有时效要求,建议您选择独享调度资源组。

  • 访问非公网且有白名单限制的环境需求:公共资源组不支持访问非公网并且有白名单限制的环境,如果您有此类需求,建议您选择使用独享调度资源组。

  • 任务量需求:日调度任务较多时,您可以选择包年包月独享调度资源组。

数据集成资源组

类别

独享数据集成资源组

机器资源归属

由DataWorks维护,是每个租户独占使用的计算资源。

网络

  • 拥有公网访问能力。

  • 通过网络配置可以访问任意网络环境下的数据库。

支持的数据源

全部数据源。

任务执行时效性要求

租户独占,可以控制资源组执行的并发数,并保障任务按时执行。

适用场景

大量、重要的生产任务。

收费

包年包月,详情请参见独享数据集成资源组计费说明:包年包月。

推荐指数

★★★★★

选择指引

  • 时效性要求:在数据集成任务高并发执行且无法错峰运行的情况下,企业需要独享的计算资源来保障数据快速、稳定地传输,此时您可选择使用独享数据集成资源组。

  • 访问内网环境的需求:独享数据集成资源组拥有公网访问能力,如果您的数据库在公网内,独享数据集成资源组支持您走公网进行同步。部分数据库由于其自身特性,无法通过公网直接同步,具体详情请参见各个数据源与插件说明文档:支持的数据源与读写插件。

  • 访问复杂环境的需求:当需要访问复杂网络环境下的数据库时,请选择包年包月独享数据集成资源组。关于网络解决方案详情请参见:配置资源组与网络连通。

  • 实时同步需求:当进行数据实时同步时,您需要使用独享数据集成资源组。

  • 自定义数据源资源组支持情况:部分数据源仅支持使用独享数据集成资源组,详情请参见实时同步支持的数据源。

数据服务资源组

公共数据服务资源组为租户共享资源。在对数据服务API进行高并发、高频率的接口调用并需要及时返回数据结果的情况下,企业需要专有的计算资源来保障数据服务的可用性和稳定性。此种场景下建议您选择DataWorks的独享数据服务资源组。具体计费详情,请参见独享数据集成资源组计费说明:包年包月和公共调度资源组计费说明:按量付费。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/171423.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云大数据开发治理平台 DataWorks使用公共资源组-云淘科技

    开通DataWorks时,DataWorks自动为您提供公共资源组(包括公共调度资源组、公共数据集成(调试)资源组、公共数据服务资源组),可用于数据开发、运行测试等操作。公共资源组被多个租户共享,高峰期租户间可能会存在抢占资源的情况。本文为您介绍公共资源组的概要信息。 适用场景 公共资源组建议在任务量相对较少、对任务时效性要求不高的场景下使用。使用限制公共资…

  • 阿里云人工智能平台PAI公共资源组任务基于工作空间分账-云淘科技

    当公共资源组被多个工作空间同时使用时,您可以基于工作空间维度进行分账,获取每个工作空间的使用量和对应的费用详情。本文为您介绍如何基于工作空间进行分账。 账单按标签查看方式 在用户账单中,查看DLC后付费的账单,可以通过实例标签进行过滤筛选。具体操作步骤如下。 登录阿里云控制台,在顶部菜单栏单击费用,进入费用中心。 说明 如果您使用RAM用户身份访问费用中心,…

    2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云大数据开发治理平台 DataWorks变更规格操作-云淘科技

    如果当前资源组使用率过高,需要并发执行的任务数较大,当前资源组不能满足实际需求,您可以针对该资源组进行升配;若当前资源组规格较大超过业务实际需要,您可以针对该资源组进行降配,以节省资源费用。本文为您介绍如何对资源组进行规格变更操作。 规格变更介绍 规格变更是对当前产品进行升配或降配,其相关介绍如下表。 变更类型 变更内容 变更范围 费用说明 生效时间 升配 …

    2023年12月10日
  • 阿里云大数据开发治理平台 DataWorks使用公共资源组-云淘科技

    开通DataWorks时,DataWorks自动为您提供公共资源组(包括公共调度资源组、公共数据集成(调试)资源组、公共数据服务资源组),可用于数据开发、运行测试等操作。公共资源组被多个租户共享,高峰期租户间可能会存在抢占资源的情况。本文为您介绍公共资源组的概要信息。 适用场景 公共资源组建议在任务量相对较少、对任务时效性要求不高的场景下使用。使用限制公共资…

  • 阿里云人工智能平台PAI扩展系统盘存储空间-云淘科技

    EAS支持扩展服务实例系统盘的存储空间,从而支持拉取更大的镜像,本地可以缓存更多的数据。本文为您介绍公共资源组和专属资源组调整服务实例存储空间的具体操作方法。 公共资源组 通过控制台配置额外系统盘 您可以在部署服务页面资源部署信息区域,单击系统盘配置,为部署在公共资源组的服务添加额外系统盘,具体操作,请参见服务部署:控制台。 通过本地客户端配置额外系统盘 P…

    阿里云人工智能平台PAI 2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。