详情页标题前

阿里云大数据开发治理平台 DataWorks资源规划和配置-云淘科技

详情页1

使用DataWorks的数据服务功能调用数据API时,API调用请求会占用一定的资源组,本文为您介绍资源组的基本概念和分类,以及连通性和性能问题,通过对比各类资源组,助力您根据自身需求选择更合适的资源组类型。

基本概念

资源组是指数据服务的API调用请求运行所占的计算资源。通常资源组以机器的形式展现,即CPU、内存和带宽的大小。API调用流程为:用户发起API调用请求,调用请求会先被API网关接收,再被转发至数据服务的服务器,最后被转发至目标数据源中执行数据查询。

阿里云大数据开发治理平台 DataWorks资源规划和配置-云淘科技

资源组分类

资源组可分为公共资源组和独享资源组两类。

公共资源组:

DataWorks提供的、所有用户可共享使用的资源组,公共资源组使用高峰期可能会出现不同用户间抢占资源的情况。更多公共资源组的介绍可参见使用公共资源组。

独享资源组:

购买后可独占使用的资源组。在需要保障高并发和高频率的API调用时,您可以选择独享资源组。更多独享资源组的介绍可参见独享数据服务资源组,独享服务资源组的使用可参见新增和使用独享数据服务资源组。

资源规划关键:连通性和性能

您在使用资源组时,需要关注资源组的连通性和性能两方面:

  • 连通性:

    发起API调用请求时,请求会下发至数据服务的服务器,并被进一步转发至数据源中执行数据查询,因此需要保证资源组可以访问相应的数据源及其所在的网络。您需要在保证网络连通的前提下,再使用数据服务;如果网络不通,会导致API调用请求无法执行。

  • 性能:

    执行API调用任务时,会占用资源组所在机器的CPU、内存和网络等资源。如果资源不足,会导致API调用异常、高频调用请求被限流,以及无法及时返回查询结果等问题。您需要给予API调用任务充足的资源,以保障API调用请求的顺利执行。建议您使用独享资源组,将发起的API调用任务运行在独立的环境中,无需受到公共资源池的影响。独享资源组的性能指标可参见独享数据服务资源组计费说明:包年包月。

资源组对比和建议

两种类型的资源组适用于不同的场景,以下通过在资源组归属、网络连通、收费方式、实际性能等维度为您对比展示各资源组的现状。您创建API时,可以根据自身需求选择合适的资源组。

类别 独享资源组 公共资源组
机器资源归属 由DataWorks维护,是每个租户自身独占使用的计算资源。 由DataWorks维护,是所有租户竞争使用的共享资源。
网络 支持公网、阿里云VPC网络(实例模式&连接串模式)、IDC网络下的数据源。 支持公网、阿里云VPC(实例模式)、阿里云经典网络下的数据源。说明 深圳金融云暂不支持使用公共资源组访问经典网络下的数据源。
收费方式 根据资源组的规格,包年包月计费。 根据调用次数和调用时长用量,以阶梯价的形式按量收费。
支持的数据源 ClickHouse、Hologres、RDS、MySQL、PostgreSQL、SQL Server、Oracle、Table Store、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、MongoDB、DRDS(持续丰富中) Hologres、RDS、MySQL、PostgreSQL、SQL Server、Oracle、Table Store、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、MongoDB、DRDS
最大每秒请求数(QPS)

不同规格独享资源组的QPS阈值不同,最低支持500 QPS,可根据实际需求灵活选择不同规格资源组来保障不同QPS量级。

一个独享资源组可以绑定至多个工作空间、多个API。

当API调用量超过各规格资源组的QPS阈值后,将触发系统限流,API调用失败。

每个租户账号、每个地域最高支持200 QPS ,如需提高QPS阈值,请切换为独享资源组。

当API调用量超过200 QPS将触发系统限流,API调用失败。

超时时长限制 30s 10s
可靠性
安全性
适用场景 高并发、高频率的在线调用,复杂查询语句,海量数据返回。 低并发、低频率的调用场景
推荐指数 ★★★★★ ★★★

说明 注释①:独享资源组的QPS阈值是基于实际业务场景进行测算得出,您可以参考以下信息估算QPS阈值。

  • 是否以脚本模式生成API。
  • API是否开启返回结果分页功能。
  • API内配置的SQL在数据源平均执行时长为100毫秒。
  • API单次调用返回数据平均大小为3000字节。

因此,如果您的实际业务场景与上述数据有较大出入,请加入DataWorks钉钉群咨询技术支持,我们会根据您的实际业务场景推荐合适的资源组规格。

根据上表两种类型的对比,推荐您使用独享资源组来进行API调用。

资源组配置引导

使用公共资源组时,需要在数据源中添加对应地域的白名单,白名单的配置,请参见获取白名单IP地址:公共资源组。

使用独享服务资源组时,需要根据数据源所在的网络环境,选择网络连通方案,并配置白名单,请参见:获取白名单IP地址:独享数据服务资源组。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/169914.html

(0)
上一篇 2023年12月10日 下午12:26
下一篇 2023年12月10日 下午12:29
详情页2

相关推荐

  • 腾讯云容器服务自建 DNS 导致节点初始化异常同尘科技

    背景信息 在使用容器服务 TKE 的自定义镜像时,为了能够解析到业务内部的相关服务,用户在自定义镜像中修改了 DNS 的解析顺序或将腾讯官方的 DNS 解析地址完全替换为自建 DNS。 操作影响 上述情况可能会导致节点在注册进集群的过程中,无法解析到腾讯云的官方资源库,进而大概率出现节点初始化失败、网络、存储等相关组件功能异常等情况。节点初始化:在节点初始化…

    腾讯云 2023年12月9日
  • 腾讯云内容分发网络CDNIP 访问限频配置

    配置场景 若您希望对业务资源的访问来源进行控制,腾讯云 CDN 为您提供了 IP 访问限频配置。通过对单 IP 单节点在每一秒钟的访问次数进行限制,可进行高频 CC 攻击抵御、防恶意用户盗刷等。 配置指南 查看配置 登录 CDN 控制台,在菜单栏里选择域名管理,单击域名右侧管理,即可进入域名配置页面,第二栏访问控制中可看到 IP 访问限频配置,默认情况下配置…

    2023年12月9日
  • 腾讯云轻量应用服务器绑定密钥云小二

    操作场景 本文介绍如何通过控制台在轻量应用服务器实例详情页面,将指定密钥绑定至实例。 前提条件 仅支持绑定密钥至 Linux 实例。创建并保存密钥,详情请参见 创建 SSH 密钥。 操作步骤 1. 登录 轻量应用服务器控制台,并单击需绑定密钥的实例卡片。2. 在实例详情页中,选择 SSH 密钥页签,并单击绑定密钥。3. 在弹出的绑定 SSH 密钥窗口中,根据…

    2023年12月9日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 腾讯云对象存储图片持久化处理

    简介 腾讯云对象存储(Cloud Object Storage,COS)集成了 数据万象(Cloud Infinite,CI)专业的一体化多媒体解决方案,涵盖以下图片处理功能,详情可见 图片处理概述。 服务 功能 说明 基础图片处理服务 缩放 等比缩放、设定目标宽高缩放等多种方式  裁剪 普通裁剪、缩放裁剪、内切圆、人脸智能裁剪  旋转 自适应旋转、普通…

    腾讯云 2023年12月9日
  • 腾讯云对象存储文档转 HTML

    简介 本文档提供关于文档转 HTML 的 API 概览以及 SDK 示例代码。 API 操作描述 文档转HTML 用于文档转HTML的功能 SDK API 参考 SDK 所有接口的具体参数与方法说明,请参考 SDK API 参考。 文档转HTML 功能说明 用于文档转 HTML 的功能,文档转 HTML 功能支持对多种文档类型的文件生成 HTML 格式预览。…

    腾讯云 2023年12月9日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。