数据集成的MaxCompute同步任务默认使用公共传输资源上传、下载数据至MaxCompute,为满足您业务增长对传输资源的更高要求,MaxCompute推出了独享传输资源能力,可以为您提供更好的数据同步稳定性和同步的并发数。本文为您介绍如何在DataWorks配置MaxCompute同步任务时指定您购买的独享数据传输资源。
注意事项
- 若要使用MaxCompute独享传输服务,您需要在配置数据集成同步任务时指定独享传输资源组,否则将使用默认的公共传输资源组。
- 若在配置MaxCompute数据源时配置了Tunnel Endpoint属性,则在DataWorks上配置同步任务时,不支持指定独享传输资源组,实际同步任务运行时会使用指定地址对应的传输资源。
- 若同步任务需要使用独享传输资源,则您在配置MaxCompute数据源时需要将ODPS Endpoint指定为包含Region的非公网地址,目前未包含Region的地址或者公网地址将不支持使用独享传输资源,如下图所示:
- 若配置MaxCompute数据源时,指定的ODPS Endpoint地址是跨Region的(和DataWorks不在同Region),则在配置MaxCompute同步任务时,向导模式将不支持选择Tunnel资源组,脚本模式下配置Tunnel资源组后将不生效。
购买独享数据传输资源
购买详情请参见购买与使用独享数据传输服务资源组。
说明 购买独享传输资源组后,需要绑定该资源组至要同步的MaxCompute项目上,如果DataWorks为标准模式工作空间,则需要分别在开发和生产环境的MaxCompute项目绑定您购买独享传输资源组。详情请参见使用独享数据服务资源组。
离线同步任务使用独享传输资源
单表离线同步任务使用独享传输资源
进入数据开发界面,打开或新建离线同步任务节点,在MaxCompute数据源的Tunnel资源组属性中,选择独享传输资源组。Tunnel资源组默认值为公共传输资源组。如果您没有可用的独享传输资源组,支持您单击右侧新购买跳转到购买页面选择数据传输服务进行购买,您需要注意所选的区域是否符合预期。
整库离线同步解决方案使用独享传输资源
进入同步解决方案,打开或新建一键整库离线同步任务,在运行资源设置步骤的通道设置 > Tunnel资源组属性中,选择独享传输资源组。
实时同步任务使用独享传输资源
单表实时同步任务使用独享传输资源
进入数据开发,打开或创建实时同步节点,单击MaxCompute节点,在右侧弹出的节点配置面板中的Tunnel资源组属性中,选择独享传输资源组。
整库实时同步任务使用独享传输资源
进入数据开发,打开或新建整库同步任务,在运行资源设置步骤的Tunnel资源组属性中,选择独享传输资源组。
一键实时同步解决方案使用独享传输资源
进入同步解决方案,打开或新建一键实时同步任务,在运行资源设置步骤的Tunnel资源组属性中,选择独享传输资源组。
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家
阿里云企业补贴进行中: 马上申请
腾讯云限时活动1折起,即将结束: 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠
转转请注明出处:https://www.yunxiaoer.com/166995.html