阿里云大数据开发治理平台 DataWorks创建MaxCompute数据源-云淘科技

方式一：通过已有MaxCompute项目创建数据源

若您已有MaxCompute项目，则可将已有MaxCompute项目添加为当前工作空间的数据源。

通过该方式新建数据源，需拥有MaxCompute的odps:ListProjects权限，以及目标MaxCompute项目的Super_Administrator权限。

创建数据源配置如下。

1. 配置基础信息。

   参数	说明
   数据源名称	定义数据源在DataWorks的名称，名称必须唯一。
   认证方式	新建的数据源仅支持通过阿里云账号及阿里云RAM角色身份进行认证。 说明 历史存量使用AccessID及AccessKey创建的数据源，建议后续修改时通过阿里云账号及阿里云RAM角色身份进行认证。
   所属云账号	定义添加哪个账号下的MaxCompute项目作为当前工作空间的数据源。 当前阿里云主账号：添加当前阿里云主账号下的MaxCompute项目作为当前工作空间的数据源。 其他阿里云主账号：添加其他阿里云主账号下的MaxCompute项目作为当前工作空间的数据源。 请根据选择的账号类型，参照下文配置其他配置项。
   地域	MaxCompute项目所在地域。 说明 若选择的MaxCompute项目与当前工作空间不在同一地域，则将MaxCompute项目添加为数据源后，该数据源不支持绑定为工作空间的计算引擎，即不支持在数据开发（DataStudio）、运维中心使用，仅用于数据集成模块进行数据同步。
   其他配置（使用当前阿里云主账号）	当所属云账号选择当前阿里云主账号时，您需配置如下参数： MaxCompute项目名称：选择需将指定地域下哪一个MaxCompute项目添加为当前工作空间的数据源。 说明 若无法选择目标MaxCompute项目，则请授予当前登录账号该项目的Super_Administrator权限。授权详情请参见权限说明。 默认访问身份：定义在当前工作空间下，用什么身份访问该数据源。 开发环境：当前仅支持使用执行者身份访问。 生产环境：支持使用阿里云主账号、阿里云RAM用户（即子账号）、阿里云RAM角色访问。 说明 仅阿里云主账号及拥有AdministratorAccess角色权限的用户或角色可选择所有身份访问。 设置生产数据源的默认访问身份为RAM用户或角色： 如需将默认访问身份设置为其他阿里云账号或角色（即非当前登录账号的其他身份），需拥有RAM的AdministratorAccess权限，且数据源创建完成后，该账号或角色将会被MaxCompute生产项目添加为Role_Project_Scheduler角色。配置默认访问身份，详情请参见下文的创建数据源章节。
   其他配置（使用其他阿里云主账号）	当所属云账号选择其他阿里云主账号时，您需配置如下参数： 对方阿里云主账号UID：需添加的MaxCompute项目所属的云账号UID。 对方MaxCompute项目：需将对方账号下哪一个MaxCompute项目作为当前工作空间的MaxCompute数据源。 对方RAM角色：访问该MaxCompute项目的RAM角色。该角色需满足如下条件： 对方阿里云主账号中已创建RAM角色。 对方阿里云主账号的RAM角色已授权当前账号DataWorks服务访问。 所选择的MaxCompute项目中已添加该角色。 说明 跨账号添加数据源的相关操作，详情请参见场景：跨账号创建MaxCompute数据源。 若选择的MaxCompute项目与DataWorks工作空间不在同一个阿里云主账号下，则将MaxCompute项目添加为数据源后，该数据源不支持绑定为工作空间的计算引擎，即不支持在数据开发（DataStudio）、运维中心使用，仅用于数据集成模块进行数据同步。
   Endpoint	指定DataWorks通过该数据源访问MaxCompute项目的Endpoint地址。包括访问MaxCompute服务的Endpoint地址，以及上传、下载本地或云数据源数据的Tunnel服务地址。支持以下两种配置： 自动适配：DataWorks根据实际情况自动适配，建议选择该项。 说明 若MaxCompute项目与DataWorks服务所在地域不一致，即存在跨地域访问场景，自动适配情况下，数据集成默认使用公网访问地址读取和下载数据。 自定义配置：自定义情况下，您需手动配置MaxCompute Endpoint及Tunnel Endpoint，不同地域，Endpoint不同。详情请参见Endpoint。 说明 原绑定MaxCompute引擎自动创建的MaxCompute数据源暂不支持修改Tunnel Endpoint。

2. 测试资源组连通性。

   DataWorks提供租户共享的公共资源组和用户独享的独享资源组。公共资源组在任务运行高峰期可能出现等待资源的情况，独享资源组提供专有的计算资源来保障任务定时被调度运行。另外，根据使用场景不同，资源组分为数据集成、开发调度、数据服务三种类型。各类资源组的介绍，详情请参见DataWorks资源组概述。

   您需根据数据源后续的用途，在对应资源组类型页签下，测试所需资源组的连通性。若资源组与数据源无法连通，则相应数据源任务将无法正常执行。

说明

数据源创建成功后平台会进行访问身份授权，即将访问身份账号添加至MaxCompute项目中，并为该身份映射MaxCompute对应的权限。在授权完成前，连通性测试可能会产生连通无权限报错，该场景下，保存数据源后，您需稍作等待。

方式二：通过新建MaxCompute项目创建数据源

若您没有可用MaxCompute项目，则可新建MaxCompute项目并将其添加为当前工作空间的数据源。

通过该方式新建数据源，需拥有MaxCompute的odps:CreateProject权限。若使用RAM用户或角色创建数据源，数据源创建完成后，该RAM用户或角色将被MaxCompute项目添加为Super_Administrator。

说明

通过该方式创建的数据源，会默认将工作空间内存量和新增用户均加入至MaxCompute开发项目。同时，用户所拥有的角色会映射相应预设MaxCompute角色。详情请参见附录：空间级预设角色与MaxCompute引擎权限的映射关系。

创建数据源配置如下。

1. 配置基础信息。

   参数	说明
   数据源名称	定义数据源在DataWorks的名称，名称必须唯一。
   认证方式	新建的数据源仅支持通过阿里云账号及阿里云RAM角色身份进行认证。
   所属云账号	仅支持通过当前阿里云主账号创建数据源。
   地域	仅支持在当前工作空间所在地域创建数据源。
   项目名称	创建的MaxCompute项目命称。建议按如下规范命名： 生产环境：project_name 开发环境：project_name_dev
   计算资源付费类型	定义MaxCompute项目按照哪种付费方式进行计费，包括按量付费和包年包月。 关于MaxCompute计费模式详情请参见计费项与计费方式概述。 说明 标准模式下不支持添加开发者版本的实例。
   默认Quota	定义MaxCompute项目使用的计算资源池。关于Quota相关说明详情请参见配额。
   单SQL消费限制	用于设置单个SQL语句的消费阈值，预防单个SQL语句产生高额费用。
   数据类型	定义MaxCompute项目使用哪一类数据类型。包括2.0数据类型（推荐）、1.0数据类型（面向已有使用1.0数据类型用户）和Hive兼容类型（面向Hive迁移用户），详情请参见：数据类型版本说明。
   是否加密	根据实际情况选择当前MaxCompute项目是否需要通过密钥管理服务KMS（Key Management Service）对数据进行存储加密，详情请参见存储加密。
   默认访问身份	定义在当前工作空间下，用什么身份访问该数据源。 开发环境：当前仅支持使用执行者身份访问。 生产环境：支持使用阿里云主账号、阿里云RAM用户（即子账号）、阿里云RAM角色访问。 说明 仅阿里云主账号及拥有AdministratorAccess角色权限的用户或角色可选择所有身份访问。 设置生产数据源的默认访问身份为RAM用户或角色： 如需将默认访问身份设置为其他阿里云账号或角色（即非当前登录账号的其他身份），需拥有RAM的AdministratorAccess权限，且数据源创建完成后，该账号或角色将会被MaxCompute生产项目添加为Role_Project_Scheduler角色。配置默认访问身份，详情请参见下文的创建数据源章节。
   Endpoint	指定DataWorks通过该数据源访问MaxCompute项目的Endpoint地址。包括访问MaxCompute服务的Endpoint地址，以及上传、下载本地或云数据源数据的Tunnel服务地址。支持以下两种配置： 自动适配：DataWorks根据实际情况自动适配，建议选择该项。 说明 若MaxCompute项目与DataWorks服务所在地域不一致，即存在跨地域访问场景，自动适配情况下，数据集成默认使用公网访问地址读取和下载数据。 自定义配置：自定义情况下，您需手动配置MaxCompute Endpoint及Tunnel Endpoint，不同地域，Endpoint不同。详情请参见Endpoint。 说明 原绑定MaxCompute引擎自动创建的MaxCompute数据源暂不支持修改Tunnel Endpoint。

2. 测试资源组连通性。

   DataWorks提供租户共享的公共资源组和用户独享的独享资源组。公共资源组在任务运行高峰期可能出现等待资源的情况，独享资源组提供专有的计算资源来保障任务定时被调度运行。另外，根据使用场景不同，资源组分为数据集成、开发调度、数据服务三种类型。各类资源组的介绍，详情请参见DataWorks资源组概述。

   您需根据数据源后续的用途，在对应资源组类型页签下，测试所需资源组的连通性。若资源组与数据源无法连通，则相应数据源任务将无法正常执行。