在DataWorks中，可通过节点所在基线的优先级与YARN队列优先级的映射关系，来调整该节点最终的YARN队列优先级。本文为您介绍如何设置基线优先级与YARN队列的映射关系。
背景信息
YARN是一个分布式的资源管理系统，用于管理及调度E-MapReduce（简称EMR）集群中资源，为运行在YARN上的各种类型作业分配资源。在YARN中，通过作业的YARN队列优先级，决定YARN优先为哪个作业分配资源，即优先调度运行哪个作业。更多YARN介绍，详情请参见YARN概述。
DataWorks中您可通过如下方式配置调度运行节点任务时使用的YARN队列：
-
方式一（YARN队列全局配置）：通过工作空间的管理中心，设置工作空间级别某DataWorks功能模块运行EMR任务时使用哪个YARN队列。详情请参见配置全局YARN资源队列。
-
方式二（单个节点YARN队列配置）：通过EMR节点编辑页面，设置单个EMR节点调度运行任务使用的YARN队列及队列优先级。详情请参见创建EMR Hive节点、创建EMR Spark节点、创建EMR Spark SQL节点。
若节点所在工作空间开启了全局配置优先，则调度运行该EMR节点任务时优先使用全局配置的YARN；若未开启，则调度运行EMR节点任务则使用节点本身配置的YARN队列。
另外，调度运行EMR任务生效的YARN队列优先级，取决于如下原则：
-
若设置了基线优先级与YARN队列的映射关系，则节点的YARN队列优先级，最终由节点所在基线优先级和该优先级基线映射的YARN队列优先级决定。
-
若未设置基线优先级与YARN队列的映射关系，则使用单个EMR节点配置的YARN队列优先级。
前提条件
已创建EMR节点作业，并配置节点的YARN队列的优先级。详情请参见创建EMR Hive节点、创建EMR Spark节点、创建EMR Spark SQL节点。
使用限制
设置基线优先级与YARN队列的映射关系，相关限制如下：
-
功能相关
-
仅支持EMR Hive、EMR Spark、EMR Spark SQL节点使用该功能。
-
您必须先在EMR集群配置YARN队列的最大优先级，配置后才可设置基线优先级与YARN队列的映射关系。
-
YARN队列优先级需进入EMR管理控制台修改，且修改优先级需重启YARN。修改后的优先级仅针对指定队列生效。
说明
配置YARN队列优先级，详情请参见DataLake集群配置。
-
-
权限相关
-
仅支持租户管理员设置映射关系。如某成员需设置该功能，则可被授予租户管理员角色。授权详情，请参见管理租户成员角色权限。
-
该功能为租户级别，即设置的映射关系对整个租户生效。
-
仅拥有AliyunDataWorksAccessingEMRReadOnlyPolicy权限策略的用户可设置映射关系。授权详情请参见为RAM用户授权。
-
-
资源组相关
2023年8月31号之前购买的独享调度资源组不支持该功能。若您用于运行EMR任务的独享调度资源组于该日期之前购买，请先联系平台技术人员进行资源组升级，若资源组未升级，配置的映射关系将不生效，即YARN队列优先级最终仍由节点本身配置的YARN队列优先级决定。
映射关系配置入口
-
进入运维中心页面。
登录DataWorks控制台，单击左侧导航栏的数据建模与开发 > 运维中心，在下拉框中选择对应工作空间后单击进入运维中心。
-
在左侧导航栏单击智能监控 > 智能基线，进入智能基线配置页面。
映射关系配置逻辑
您可在智能基线 > 基线优先级映射页签设置映射关系。
根据业务情况，选择运行EMR任务的集群及YARN队列，配置基线优先级与该YARN队列优先级的映射关系。配置逻辑如下：
说明
您需要进入EMR管理控制台，在目标集群的集群服务获取YARN队列信息。
-
配置的YARN队列优先级不能超过EMR集群中YARN队列的最大队列容量。
-
YARN队列数字越大优先级越高，也会优先获得资源。
-
低基线优先级映射的YARN队列优先级，取值不能高于高基线优先级。
更多YARN的配置信息，详情请参见YARN。
内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家
阿里云企业补贴进行中： 马上申请
腾讯云限时活动1折起，即将结束： 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠
转转请注明出处：https://www.yunxiaoer.com/172488.html
