详情页标题前

阿里云大数据开发治理平台 DataWorks引擎的基本操作-云淘科技

详情页1

DataWorks支持您通过引擎绑定的方式将计算引擎绑定至DataWorks作为DataWorks工作空间的引擎实例,可基于DataWorks进行该类任务的数据开发与周期调度等,本文为您介绍如何绑定与管理计算引擎

前提条件

在进行引擎绑定前请务必提前了解简单模式工作空间与标准模式工作空间物理形态、对开发流程的影响等内容,详情请参见必读:简单模式和标准模式的区别。

背景信息

您需要在引擎配置前先了解引擎环境与DataWorks模块操作的对应关系。再来决定不同环境分别操作什么引擎(数据库,集群等),当前工作空间各环境绑定的引擎信息可以在管理中心 > 工作空间 > 计算引擎信息界面下查看。

引擎绑定注意事项(重点)

针对工作空间模式的物理特性及DataWorks基于该模式实现的开发机制,您需要在引擎绑定时确认各环境分别绑定的引擎,以及各环境分别使用的执行身份。

  • 引擎绑定背景

    • 标准模式工作空间存在开发与生产两个环境,可以分别操作不同的引擎,但只有生产环境的任务会自动调度,调度时只能使用一种身份执行,并且调度指定的账号拥有该项目较大权限。

    • 简单模式工作空间仅有生产环境,DataStudio测试和生产环境调度均操作同一个引擎,且只能指定一个账号或任务责任人执行,并直接操作生产数据。

  • 引擎绑定确认项

    您在为工作空间绑定计算引擎时务必提前确认以下内容:

    分类

    确认项

    原因

    工作空间模式及各环境绑定的引擎

    为标准模式工作空间的开发与生产环境分别绑定物理隔离的集群、数据库或实例。

    此项关系到是否可以实现开发与生产隔离,即开发测试环境与生产调度环境的代码、引擎资源是否隔离。

    规划与确认开发与生产环境绑定的引擎项目名称。

    此项关系到您后续如何查询对应环境的表数据,例如:

    • 在DataStudio界面测试与在生产环境运维中心自动调度执行时所查询和写入的表在哪个项目。

    • 查询对应引擎项目所使用的查询SQL或数据存储路径。

    数据访问身份及其权限

    规划与确认生产与开发环境所使用的账号。

    此项关系到后续开发过程中的数据安全与权限控制。

    • 标准模式工作空间下,存在开发环境和生产环境,您需要分别确认开发环境(DataStudio)测试任务执行时和生产环境(生产运维中心)任务自动调度时分别使用什么账号执行任务。

    • 简单模式工作空间下,仅存在生产环境,您需要确认在DataStudio测试和生产环境运维中心任务自动调度时均使用什么账号执行任务。

    为生产环境所绑定的账号授予生产项目较大权限或任务执行所需要的权限。

    此项关系到任务在自动调度时是否会因为生产环境指定账号权限缺失而失败退出。

    说明

    生产调度所使用的账号默认为阿里云主账号,若修改为RAM用户,任务在自动调度时,可能会因为生产环境指定账号权限缺失而失败退出。例如,在DataStudio界面执行成功,但由于生产调度执行账号无表权限而导致生产调度时执行失败。

使用限制

  • DataWorks不同版本支持绑定的计算引擎数存在限制,详情请参见DataWorks各版本详解。

  • 一个计算引擎仅支持绑定在一个DataWorks工作空间下。

  • 仅空间管理员可以执行绑定或解绑操作。部分引擎除该限制外,还需要其他权限,详情请参见各引擎绑定文档。

  • 是否可跨项目、跨数据库访问资源与计算引擎本身特性有关。若绑定引擎时,开发环境与生产环境绑定不同的引擎(实例,项目、数据库),那么在DataWorks开发环境是否可访问生产环境下的表、资源、函数等,由计算引擎本身特性有关。例如:

    • MaxCompute本身支持跨项目访问表,所以MaxCompute满足开发与生产隔离的同时,可直接在数据开发界面查询生产环境表数据。

    • Hologres本身不支持跨数据库访问表,所以Hologres满足开发与生产隔离的同时,无法直接在数据开发界面查询生产环境表数据。

进入引擎绑定页面

  1. 进入管理中心页面。

    登录DataWorks控制台,单击左侧导航栏的管理中心,在下拉框中选择对应工作空间后单击进入管理中心

  2. 单击左侧导航栏的工作空间,选择计算引擎信息,进入引擎绑定页面。

绑定计算引擎

您可在创建工作空间时绑定计算引擎,您也可以在工作空间创建完成后在工作空间管理页面进行绑定。

  1. 计算引擎信息页面,目标引擎页签下单击增加实例

  2. 在引擎绑定界面配置相关参数。

    各引擎参数配置详情参考各引擎绑定文档:

    • 绑定MaxCompute引擎

    • 绑定E-MapReduce计算引擎

    • 绑定Hologres计算引擎

    • 绑定AnalyticDB for PostgreSQL计算引擎

    • 绑定AnalyticDB for MySQL计算引擎

    • 绑定CDH计算引擎

    • 绑定ClickHouse计算引擎

    绑定引擎后,您可以在数据开发界面通过新建该引擎类型节点完成数据开发。详情请参见:数据开发概述。

设置默认引擎

在同类引擎绑定多个引擎实例的情况下,您可在计算引擎信息区域,各引擎实例界面的右上角单击设置为默认引擎,将其设置为数据开发过程中默认选择的引擎。

解绑引擎

如果不需要在工作空间下使用指定引擎实例,您可以执行引擎解绑删除操作。在解绑或删除引擎前需要先评估影响。

  1. 影响评估

    解绑引擎后,将无法基于该引擎进行开发操作,相关任务也会执行失败,包括但不限于以下场景:

    • 调度任务:基于该引擎运行的任务(实例)将会失败。

    • 数据集成:涉及该引擎的同步任务将运行失败,建议您及时到数据开发更换相关任务的数据源。

    • 数据服务:涉及该引擎的数据服务API将调用失败,建议您及时更换数据服务相关的数据源。

    • 数据分析:涉及该引擎的查询将不可用,建议您及时更换相关的数据源。

    • 数据地图、资源优化、综合治理、安全中心将不再展示该引擎的相关信息。

  2. 解绑引擎

    进入管理中心 > 工作空间 > 计算引擎信息页面,在引擎实例右上角单击删除解绑,便可解绑引擎与DataWorks工作空间的绑定关系,即数据开发过程中将不再支持基于该引擎实例进行数据开发。

    说明

    解绑操作仅解除DataWorks工作空间与计算引擎的关系,不删除实际的引擎实例。解绑后,您仍可以前往各引擎控制台查看与管理引擎实例。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/166839.html

(0)
上一篇 2023年12月10日 上午9:32
下一篇 2023年12月10日 上午9:34
详情页2

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。