阿里云云原生大数据计算服务 MaxCompute购买与使用独享数据传输服务资源组-云淘科技

背景信息

MaxCompute当前在各个地域均为您提供了免费的公共数据传输服务资源组，为该地域下所有客户提供数据传输服务，同时也为您提供了独享数据传输服务资源组（包年包月），以提供更好的数据同步稳定性和同步的并发数。两类资源组的对比介绍如下。

检查网络与地域条件

购买使用独享数据服务资源组前，您需要检查当前的网络和地域条件是否满足要求，独享输出传输服务资源组在数据传输上对网络和地域有以下限制：

• 只支持云上VPC网络访问，暂时不支持公共网络访问。

• 只支持同地域的数据传输服务，暂时不支持跨地域的数据传输服务，您需要根据数据传输任务的地域购买对应地域的资源组。

说明

数据传输服务其他使用限制请参考数据传输服务使用限制。

购买独享数据服务资源组

1. 登录MaxCompute控制台，在左上角选择地域后，在左侧导航栏单击配额（Quota）管理。

2. 在Quota管理页面单击新购Quota，进入资源购买页面，并根据界面提示配置购买参数。其中关键参数如下。

   参数名称	说明
   规格类型	选择数据传输服务。
   数据传输服务并发	选择您要购买的并发数。 说明 目前并发数是100并发起卖，增量购买需要是1的整数倍。

3. 单击立即购买，根据界面提示勾选服务协议并支付费用，完成资源组的购买。

   购买完成后返回控制台，在Quota管理页面将会出现一个Quota类型为传输服务的Quota组，在该Quota组上可以进行升级、降配和续费操作，升级与降配的策略请参见升级与降配。

使用独享数据服务资源组

您可以选择在项目级、任务级或用户级指定使用什么资源组来运行数据传输任务。

• 项目级：

  为整个项目的所有数据传输任务指定使用公共资源组还是独享资源组、指定默认的资源组是哪个资源组。

• 任务级：

  在数据传输任务代码或者数据集成任务中指定当前任务使用哪个资源组。

• 用户级：

  当前登录用户只要有独享资源组的使用权限就可以使用该独享资源组。

  重要

  • 项目需要使用用户级独享资源，需要执行setproject odps.tunnel.enable.quota.route.v2=true; 语句。

  • 请确保您的MaxCompute SDK版本已升级为V0.45或以上版本。

  独享资源组的使用规则如图所示。

  说明

  其中P表示Project、t表示Table、Q表示独享资源组Quota。

配置资源组：项目级

项目级别设置默认数据传输服务资源组，并将开启成默认数据服务资源组状态置为开启。

1. 登录MaxCompute控制台，在左上角选择地域后，在左侧导航栏选择工作区 > 项目管理。

2. 在项目管理页面选择您要绑定Quota组的项目，单击操作列的管理后，单击基础信息区域的编辑。

3. 在数据传输服务下拉列表中选择您需要绑定的数据传输服务资源组。

   可以绑定默认公共资源组（default），也可以选择购买的独享资源组。

   数据传输服务资源组	是否开启成默认数据传输服务	说明
   default	–	默认资源组：公共数据传输服务资源组。 即该项目下所有发起的数据传输任务都将使用公共数据传输服务资源组，并且不能使用独享资源组。
   独享资源组	是	默认资源组：独享数据传输服务资源组。 单个任务资源组切换：在SDK或者数据集成中提交任务时手工指定QuotaName为目标资源组。
   	否	默认资源组：公共数据传输服务资源组。 单个任务资源组切换：在SDK或者数据集成中提交任务时手工指定QuotaName为独享资源组的名称。

   说明

   • 已经在使用公共资源组的Project，推荐将开启成默认数据传输服务状态置为关闭，用户自己控制现有任务切换到独享资源组。

   • 新创建的Project，推荐将开启成默认数据传输服务状态置为打开，直接默认使用当前绑定的资源组。

配置资源组：任务级

在数据传输服务任务的SDK中手工指定Quota组。

--使用Quota名称为XXX的资源组进行数据传输服务。
final TableTunnel tunnel = new TableTunnel(odps);
tunnel.getConfig().setQuotaName("xxx");
TableTunnel.UploadSession up = tunnel.createUploadSession(projectName, tableName);

--可以获取到session实际在使用的资源组
up.getQuotaName();

您可以登录MaxCompute控制台，在配额（Quota）管理列表中，查看并复制对应的QuotaName，例如：ot_42854300324****_169821756****_p#ot_42854300324****_169821756****。

配置资源组：用户级

1. 授权。

   当前针对作业级别指定Quota功能的鉴权默认是所有账号（包括阿里云账号）和角色都没有权限，需要进行授权操作。

   1. 新增角色。

      1. 登录MaxCompute控制台，在左上角选择地域，单击租户管理。

      2. 在租户管理页面，单击角色管理。

      3. 在角色管理页签，单击新增角色。

      4. 在新增角色对话框，自定义角色名称和使用如下权限策略内容。

         {
             "Statement": [{
                     "Action": [
                         "odps:List",
                         "odps:Usage"],
                     "Effect": "Allow",
                     "Resource": ["acs:odps:*:regions/*/quotas/*"]}],
             "Version": "1"
         }

         参数说明如下。

         参数	说明
         Action	指定被授予的操作权限名称。单次授权可以指定多个操作，可根据实际情况自行添加操作权限名称。当有多个操作时，多个操作名称之间使用半角逗号（,）分隔。操作取值请参见MaxCompute权限。 说明 权限策略参数的详细内容请参见权限策略基本元素。
         Resource	指定被授权的资源范围，格式为["acs:odps:Tenant/${tenant_id}:regions/${region_id}/quotas/${quota_name}"]。 ["acs:odps:*:regions/*/quotas/*"]含义为当前租户下所有Region下的所有Quota，可根据实际情况自行选择具体Region和Quota。

      5. 单击确定，完成新增角色。

   2. 将角色授权给需要进行作业级别指定Quota的账号。

      说明

      默认主账号或者拥有账户级别（tenant）Super_Administrator的子账号可进行授权操作。

      由于授权对象的差别，会出现如下两种场景。

      • 对阿里云账号授权。

        目前需要通过如下命令对阿里云账号授权。

        --将阿里云账号加到租户内并给阿里云账号授权角色
        Add tenant user ;
        Grant tenant role  to user ;
        --查看租户role/user的权限
        Show grants for tenant role ;
        Show grants for tenant user ;
        Show principals for tenant [role] ;

      • 对RAM用户授权。

        1. 在MaxCompute控制台，单击用户管理。

        2. 在对应RAM用户的角色列下拉框中勾选新增的角色，完成授权。

查看资源组指标

您可以查看当前数据传输服务（包年包月）独享资源组的使用情况，在Quota管理对应的独享资源组上单击资源消耗后，进入指标查看页面。