阿里云大数据开发治理平台 DataWorks新增和使用独享调度资源组-云淘科技

前提条件

购买和使用独享调度资源组前：

• 您需先了解独享调度资源组的规格性能（不同规格能同时跑多少任务）、计费类型（不同规格怎么收费）等细节，提前根据业务场景规划需购买的资源组规格和购买时长，详情请参见独享调度资源组计费说明：包年包月。

  说明

  您可以使用DataWorks独享资源组计算器预估所需规格及费用。预估规格及费用时，可进入DataWorks的运维中心 > 运维大屏，查看资源运行的实例数、并发情况等信息作为参考。查看运维大屏，详情请参见查看运维大屏。

• （可选）如果独享调度资源组在后续的应用中可能涉及与数据源或其他网络环境的交互，例如，在调度场景下，需要通过Shell访问自建数据库或某个内部地址；或者使用了EMR、CDH这类必须要使用独享调度资源组的引擎时，您还需了解不同场景下，独享调度资源组与数据源间或引擎间的网络连通方案和白名单注意事项，详情请参见独享调度资源组。

  说明

  如果您暂无连通数据库实例的需求，只是为了缓解因公共调度资源组的资源紧张，导致任务延迟的问题，则无需关注本文涉及的网络相关问题。您可以购买任意可用区的独享调度资源组，且无需进行网络相关配置操作。

• 您需要先了解独享调度资源组适用场景，详情请参见独享调度资源组适用场景。

操作流程

从购买至使用独享调度资源组，您需进行的主要操作流程如下。

注意事项

• 仅主账号或拥有AliyunBSSOrderAccess和AliyunDataWorksFullAccess权限的RAM用户可以进行购买资源组的操作。

• 仅空间管理员可以进行资源组归属空间绑定与修改的操作。

• 资源组界面权限点详情请参见资源组权限管控策略。

• 创建自定义策略内容并授权操作参考详情请参见创建自定义策略（可选）。

• 4c8g类型的独享调度资源组最多支持绑定2个专有网络，其他规格的独享调度资源组最多支持绑定3个专有网络。

购买资源组

说明

仅拥有AliyunBSSOrderAccess和AliyunDataWorksFullAccess权限的用户可以进行购买资源组的操作。

1. 登录DataWorks控制台。

2. 单击左侧导航栏资源组列表，在独享资源组页签下单击创建调度资源组，在购买页面根据业务需要配置相应的参数，配置要点如下。

   参数	描述
   地域和可用区	选择后续需要使用此独享资源组的地域。 说明 独享调度资源组不支持跨地域使用。例如，华东2（上海）地域的独享资源，只能给华东2（上海）地域的工作空间使用。
   独享资源类型	选择为独享调度资源。
   资源组名称	设置资源组的名称，此名称需在租户内唯一，请避免重复，否则会导致在后续进行确定操作时报错。 说明 租户即主账号，一个租户（主账号）下可以有多个用户（子账号）。
   资源组备注	对资源组进行简单描述。
   计费周期	独享资源组为包年包月服务，为保障服务不中断，建议您勾选到期自动续费，资源组创建完后，您也可以前往阿里云续费管理页面，开启或取消自动续费服务。详情请参见通用参考：取消包年包月产品的自动续费。

   其他配置项，例如计费周期等参数，可根据业务规划自行配置即可。

3. 单击立即购买，根据界面提示进行付款等操作后即可完成购买独享调度资源组。

   购买后，DataWorks即开始初始化此独享资源组，当资源组状态为运行中后，独享资源组即已添加至控制台。

   说明

   独享资源组的初始化需要约20分钟，请您耐心等待其状态更新为运行中。

独享资源组添加至控制台后，您需要为资源组绑定工作空间，才可以在任务的配置中选择使用此独享资源组。

绑定归属工作空间

说明

仅空间管理员可以进行资源组归属空间绑定与修改的操作。

独享调度资源组需要绑定归属的工作空间，才可以在对应的工作空间下选择使用该独享资源组。一个独享调度资源组可以分配给多个工作空间使用，但不可跨地域使用，例如，上海地域的独享调度资源组仅可绑定上海地域的工作空间使用，不可绑定其他地域的工作空间。绑定归属工作空间的操作如下。

1. 登录DataWorks控制台。

2. 在资源组列表的独享资源组页签下，单击相应资源组后的修改归属工作空间。

3. 在修改归属工作空间单击对应工作空间后的绑定，即可将独享资源组绑定至此工作空间。

（可选）绑定专有网络

如果独享调度资源组在后续的应用中可能涉及与数据源或其他网络环境的交互，例如，在调度场景下，需要通过Shell访问自建数据库或某个内部地址；或者使用了EMR、CDH这类必须要使用独享调度资源组的引擎时，您还需进行以下绑定专有网络、白名单的相关配置。

独享资源组部署在DataWorks托管的专有网络中，您需要绑定自己的专有网络后，独享资源组才可与其他数据源连通。绑定专有网络的操作如下。

重要

4c8g类型的独享调度资源组最多支持绑定2个专有网络，其他规格的独享调度资源组最多支持绑定3个专有网络。

1. 登录DataWorks控制台。

2. 在资源组列表的独享资源组页签下，单击相应资源组后的专有网络绑定，进入绑定页面。

   绑定前，请首先使用阿里云主账号进行RAM授权（仅主账号有权限），让DataWorks拥有访问您的云资源的权限。

3. 绑定专有网络VPC。

   1. 单击专有网络绑定页面左上方的新增绑定，在新增专有网络绑定对话框中，配置各项参数，不同网络环境下各参数的配置说明如下。

      说明

      阿里云实例、ECS自建等场景均可根据DataWorks工作空间与数据源是否同阿里云主账号来进行网络连通方案选择与配置。

      参数	配置说明（数据源与独享资源同账号同地域）	配置说明（数据源与独享资源在不同账号或不同地域）
      专有网络	如果您的数据源与独享资源组在同一个阿里云账号下，建议配置为数据源所在的VPC。 如果不在同一个阿里云账号下，则与不在同一地域场景一致。	如果您的数据源与独享资源不在同一地域或不在同一个阿里云主账号下，您需要选择该账号下已与目标数据源所在环境网络打通的VPC。例如，数据源不在阿里云VPC网络环境中，您可单击创建专有网络，为独享资源组创建一个VPC。创建完成后这里配置为新建的VPC或选择已经与目标数据库网络打通的VPC。 说明 DataWorks工作空间和数据源不在同一地域或不在同一个阿里云主账号下，您还需通过VPN网关或高速通道等方式，将独享资源组绑定的VPC与数据源所在VPC网络打通，并手动添加路由指向目标数据库IP，保障两个网络间可达。详情请参见配置资源组与网络连通。
      可用区	选择数据库所在可用区。	选择已经与目标数据库网络联通的可用区。
      交换机	专有网络配置为数据源所在VPC时，建议选择与数据源绑定的交换机。 说明 绑定数据源所在VPC后，绑定VPC下任意一个交换机，会自动添加路由至整个VPC网段，实现独享数据集成资源组在该VPC下网络可达。	选择已经与目标数据库网络联通的交换机，若没有可用交换机，可单击创建交换机为独享资源组创建交换机。创建完成后这里配置为创建的交换机。
      安全组	安全组指定了独享资源实例需要允许或禁止哪些公网或内网的访问。您可根据业务需求选择已有的安全组，或单击创建安全组为独享资源实例创建安全组。创建安全组的详细参数配置可参见添加安全组规则。

   2. 单击确定，完成绑定VPC操作。

   说明

   如果数据源和独享资源组不在同一个地域，或不在同一个阿里云账号下，则您需要绑定专有网络后，再添加路由规则指向目标数据库IP地址。

4. 可选：配置Host。

   如果您的数据源无法通过IP直接访问，例如，数据源通过Host的域名托管，通过Host域名直接被外部访问时，您需要参考以下步骤配置Host，否则在添加数据源时，使用数据源的Host域名进行连通性测试时会失败。

   1. 单击Host配置，在Host配置页面左上方单击新增，在新增域名Host配置对话框中配置各项参数。参数说明如下。

      参数	配置说明
      IP地址	配置为数据源的实际IP地址。
      Host域名	配置为数据源对外提供访问服务的Host域名。如果有多个Host域名时，可换行依次添加。

   2. 如果有多个IP地址需要添加，可继续单击新增继续添加。

      说明

      • 新增的Host配置中，IP、域名不能与之前配置的Host中的IP或域名重复。

      • 一个Host配置中，IP与域名为1对多的关系，即IP可以对应多个Host域名，但是同一个Host域名只能指向一个IP。

（可选）添加白名单

独享调度资源组和数据源同可用区时，如果同专有网络、交换机的情况下仍未连通网络，则可能是因为数据源有白名单限制。请添加以下内容至数据源的白名单列表中。

• 使用内网连通数据源与独享资源组：添加独享资源组绑定专有网络时的交换机网段至数据源白名单中。

  您需要为独享资源组绑定专有网络后，进入DataWorks的资源组列表 > 独享资源组页面，单击相应资源组后的专有网络绑定，查看交换机网段。

• 使用公网连通数据源与独享资源组：添加独享资源组的EIP地址至数据源白名单中。

（可选）测试网络联通

以上网络配置完成之后，您需要通过以下方式测试资源组与数据源之间的网络连通性。

1. 进入数据源页面。

   1. 登录DataWorks控制台，单击左侧导航栏的管理中心，在下拉框中选择对应工作空间后单击进入管理中心。

   2. 进入工作空间管理中心页面后，单击左侧导航栏的数据源，进入数据源页面。

2. 单击相应数据源操作列的编辑。

3. 在任务调度页签下，单击相应资源组名称后的测试连通性，连通状态为可连通时，表示连通成功。

   说明

   若您需要进一步了解各网络环境下数据源与独享资源组的网络联通，详情请参见：配置资源组与网络连通。

4. 单击完成。

切换调度资源组

查看资源组使用率与资源组运维监控

您可在DataWorks管理控制台查看资源组的使用与排队情况，并支持通过运维中心的智能监控功能来对资源组的使用率及等待资源的实例数进行监控。查看资源组使用率，详情请参见查看独享资源组的使用率，资源组监控，详情请参见创建自定义规则。

（可选）使用运维助手在资源组上执行命令

在后续基于独享调度资源组实际开发过程中存在需要在独享调度资源组上执行相关命令的操作时，您可使用运维助手功能进行操作，例如安装PyODPS三方包等。运维助手的功能使用与入口，详情请参见运维助手