详情页标题前

阿里云大数据开发治理平台 DataWorks加速服务-云淘科技

详情页1

使用DataWorks数据服务生成API时,支持对部分数据源的查询提供查询加速能力,便于后续数据服务API在调用和执行的时候,提高查询原始数据表数据的性能和效率。本文为您介绍DataWorks数据服务的加速能力与配置流程。

背景信息

DataWorks数据服务的加速方案有两种:加速服务MCQA,您可以点击这里加入DataWorks用户钉群进行咨询。

两种方案的对比介绍如下。

加速方案

加速能力介绍

支持的地域与资源组

配置指导

加速服务

由DataWorks数据服务提供的加速能力,本质为通过Hologres外表实现的加速方案:Hologres能够对目标MaxCompute表建立表结构的映射关系,无需从MaxCompute导出数据,即可实现加速查询MaxCompute数据。

说明

在加速服务的外部表方案中,所需的Hologres引擎由数据服务提供,因此,您无需单独购买Hologres引擎,只需专注于选择目标MaxCompute表。

  • 华东2(上海)、华北2(北京)、华东1(杭州)、华南1(深圳)地域。

  • 公共数据服务资源组将于2023年3月1日开始对加速服务正式商业化计费,详情请参见公共数据服务资源组计费说明:按量付费,独享数据服务资源组可直接使用。

  • 当前仅支持对MaxCompute数据源进行加速。

使用加速服务时,您需要进行以下配置:

  1. 新增加速

  2. 配置API

操作详情请参见方案1:使用加速服务。

MCQA

由MaxCompute本身支持的查询加速MCQA(MaxCompute Query Acceleration)功能实现的加速方案,可以对中、小数据量查询作业进行加速优化,将执行时间为分钟级的查询作业缩减至秒级。更多MaxCompute的MCQA功能请参见MCQA概述。

  • 华北2(北京)、华东1(杭州)、华东2(上海)、华南1(深圳)地域,完成能力升级。

  • 仅支持在独享数据服务资源组下使用。

  • 支持对按量计费和包年包月类型的MaxCompute项目进行加速。

使用MCQA加速时,您仅需配置API时选择MCQA的加速方案。配置引导请参见方案2:使用MCQA。

方案1:使用加速服务

注意事项

  • 加速项与数据表之间是一一映射的关系,即:一个加速项中只包含一张数据表,一张数据表最多也只会产生一个加速项。

  • 如果在新增加速项时,选择了已配置过加速项的数据表名称,则该加速项将会初始化失败。

步骤1:新增加速项

  1. 进入数据服务页面。

    登录DataWorks控制台,单击左侧导航栏的数据服务,在下拉框中选择对应工作空间后单击进入数据服务

  2. 单击左侧的阿里云大数据开发治理平台 DataWorks加速服务-云淘科技图标,进入加速服务界面。

  3. 加速服务页面,单击数据加速界面右上方新增加速项按钮,打开新增加速项界面。

  4. 配置加速项的信息。

    阿里云大数据开发治理平台 DataWorks加速服务-云淘科技

    参数

    描述

    加速方案

    当前仅支持Hologres外部表

    说明

    Hologres是阿里巴巴自研的实时数仓引擎,与MaxCompute(ODPS)在底层资源无缝打通。通过Hologres外表的加速方案,Hologres能够对目标MaxCompute表建立表结构的映射关系,无需从MaxCompute导出数据,即可实现加速查询MaxCompute数据。在加速服务的外部表方案中,所需的Hologres引擎由数据服务提供,因此,您无需单独购买Hologres引擎,只需专注于选择目标MaxCompute表。

    数据源类型

    当前仅支持加速MaxCompute(ODPS)数据源。

    数据表名称

    选择要加速的MaxCompute数据源名称和数据表名称。

    说明

    如果您有多张待加速的表,可单击下方的添加数据表,继续添加其他待加速的表,一键生成多个加速项。每次可添加不超过10张MaxCompute表。

  5. 单击确认,待新增加速项对话框中的已选数据表显示初始化成功,即完成创建加速项,单击确定可关闭对话框。

步骤2:配置API

双击打开API的编辑页面,在选择表区域,以MaxCompute为例,选择数据源类型、数据源名称、数据表名称等配置项。阿里云大数据开发治理平台 DataWorks加速服务-云淘科技

  • 数据源类型:选择MaxCompute(ODPS)。

  • 数据源名称:选择已配置过加速项的数据源名称。

  • 加速方式:选择加速服务

    说明

    • 选择加速方式为加速服务后,此API后续即可使用数据服务提供的加速服务进行查询加速,在加速项列表页面中,也可查询到对应加速项已关联此API。

    • 选择加速方式为加速服务后,如果是脚本模式,仅支持单表查询,并且需要在SQL编辑器中使用Hologres语法。

  • 数据表名称:选择加速服务这种方式后,对于已配置过数据服务加速项的表,在下拉列表中会有已加速的提示。您可选择已配置加速项的表。

更多API配置的其他参数请参见通过向导模式生成API或通过脚本模式生成API。

步骤3:查看加速项

在数据服务的加速服务界面,为您展示了已创建的所有加速项列表。阿里云大数据开发治理平台 DataWorks加速服务-云淘科技

核心参数

描述

操作

包括废弃加速项查看API

  • 废弃加速项:单击可废弃当前加速项,废弃加速项前,建议先下线相关的已发布API。废弃加速项后,相关的未发布API将会在调用测试时失败。

    说明

    废弃加速项前,建议您先查看加速任务关联的API有哪些,并下线对应关联的API后,再进行废弃加速项的操作。

  • 查看API:单击可查看已关联的API列表。

方案2:使用MCQA

使用MCQA加速时,您仅需要进行配置API的步骤即可。

配置API

双击打开API的编辑页面,在选择表区域,以MaxCompute为例,选择数据源类型、数据源名称、数据表名称等配置项。阿里云大数据开发治理平台 DataWorks加速服务-云淘科技

  • 数据源类型:选择MaxCompute(ODPS)。

  • 数据源名称:选择已配置过加速项的数据源名称。

  • 加速方式:选择MCQA

    说明

    选择加速方式为MCQA后,此API后续即可使用MaxCompute提供的加速服务进行查询加速。

  • 数据表名称:选择MCQA这种方式后,请直接在此处选择目标MaxCompute表名称即可。

更多API配置的其他参数请参见通过向导模式生成API或通过脚本模式生成API。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/169713.html

(0)
上一篇 2023年12月10日 下午12:17
下一篇 2023年12月10日 下午12:20
详情页2

相关推荐

  • 腾讯云对象存储队列接口

    简介 本文档提供关于媒体处理队列接口的 API 概览和 SDK 示例代码。 API 操作描述 搜索媒体处理队列 搜索媒体处理队列。 更新媒体处理队列 更新媒体处理队列。 搜索媒体处理队列 功能说明 搜索媒体处理队列。 方法原型 public Guzzle\Service\Resource\Model describeMediaQueues(array $ar…

    腾讯云 2023年12月9日
  • 腾讯云容器服务使用 CRD 采集日志到 Kafka同尘科技

    TKE Serverless 集群不仅支持上传日志到 CLS,也支持采集日志到自建 Kafka 或者 CKafka。 创建 CRD 若需要采集日志到 Kafka,只需定义 CRD 即可。具体模板如下: apiVersion: cls.cloud.tencent.com/v1kind: LogConfig ## 默认值metadata: name: test …

    腾讯云 2023年12月9日
  • 腾讯云TDSQL-C MySQL版服务算力配置

    本文介绍 TDSQL-C MySQL 版 Serverless 服务的算力配置规格,帮助您了解最新算力配置信息和历史算力配置信息。说明当前规格列表中可能存在部分已下线的规格,请以实际购买页的规格为准。若您有更高的规格存储需求,请 提交工单 联系工作人员处理。 Serverless 算力配置 最小算力配置 最大算力配置 支持最大存储空间(GB) 0.25 0.…

    腾讯云 2023年12月9日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 腾讯云云函数(SCF)部署 Vue + Express + PostgreSQL 全栈网站-云淘科技

    操作场景 该模板可以快速部署一个基于 Vue + Express + PostgreSQL 的全栈 Serverless 应用。主要包含以下组件:Serverless RESTful API:通过云函数和 API 网关构建的 Express 框架实现 RESTful API。Serverless 静态网站:前端通过托管 Vue.js 静态页面到 COS 对象…

    腾讯云 2023年12月9日
  • 腾讯云对象存储更新 HLS 解密 Token

    功能描述 ModifyM3U8Token 接口用于在加密 M3U8 的 key uri 中增加 Token。 授权说明 授权策略中 action 设置为 ci:ModifyM3U8Token 。查看所有 action。 服务开通 使用该功能需提前开通数据万象,并绑定存储桶。详情请参见 绑定存储桶。 使用限制 使用该接口时,请先确认相关限制条件。详情请参见 使…

    腾讯云 2023年12月9日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。