详情页标题前

阿里云日志服务SLS通过自定义RAM角色写数据到MaxCompute-云淘科技

详情页1

MaxCompute投递任务(新版)运行时,需要将读取到的Logstore中数据投递到MaxCompute的表中,您可以授权MaxCompute投递任务(新版)扮演自定义RAM角色完成该操作。本文介绍如何对自定义RAM角色进行授权。

前提条件

  • 已创建RAM角色(例如MaxComputeShipRole)。具体操作,请参见创建可信实体为阿里云服务的RAM角色。

    重要

    创建RAM角色时,必须选择可信实体类型阿里云服务

  • 如果您使用的是RAM用户,请确保该用户具备操作RAM角色授权的权限。

同账号投递

授予RAM角色写MaxCompute的权限后,MaxCompute投递任务可以使用该角色将Logstore中的数据写入到目标MaxCompute的表中。此处通过添加RAM角色为工作空间成员的方式完成授权。

您可以通过可视化界面或命令行进行RAM角色授权。

通过可视化界面完成授权

  1. 修改RAM角色信任策略。

    1. 登录RAM控制台。

    2. 在左侧导航栏中,选择身份管理 > 角色

    3. 在RAM角色列表中,单击目标RAM角色。

    4. 信任策略管理页签下,单击修改信任策略

    5. 修改信任策略面板中,将原有的信任策略替换为如下内容,然后单击确定

      {
        "Statement": [
          {
            "Action": "sts:AssumeRole",
            "Effect": "Allow",
            "Principal": {
              "Service": [
                "log.aliyuncs.com",
                "dataworks.aliyuncs.com"
              ]
            }
          }
        ],
        "Version": "1"
      }
  2. 添加RAM角色为工作空间成员。

    1. 登录DataWorks控制台。

    2. 在页面左上角,选择地域。

    3. 在左侧导航栏中,单击工作空间列表

    4. 工作空间列表页面,单击目标工作空间对应的管理

    5. 工作空间页面的空间成员页签下,单击添加成员阿里云日志服务SLS通过自定义RAM角色写数据到MaxCompute-云淘科技

    6. 添加成员对话框中,选中当前登录账号和目标RAM角色,根据页面提示完成添加。

      此处需在批量设置角色中选中开发。更多信息,请参见授权给其他用户。

  3. 授予RAM角色操作MaxCompute表的权限。

    1. 工作空间页面,选择计算引擎信息 > MaxCompute > 进入MaxCompute管理控制台阿里云日志服务SLS通过自定义RAM角色写数据到MaxCompute-云淘科技

    2. 在MaxCompute项目管理页面,单击角色权限阿里云日志服务SLS通过自定义RAM角色写数据到MaxCompute-云淘科技如果出现如下报错,您需要先在角色列表中单击admin对应的成员管理,然后在成员管理对话框中,选中当前登录账号,根据页面提示完成添加。阿里云日志服务SLS通过自定义RAM角色写数据到MaxCompute-云淘科技

    3. 在角色列表中,单击role_project_admin角色对应的成员管理

    4. 成员管理对话框中,选中当前登录账号和目标RAM角色账号,根据页面提示完成添加。

    5. 在角色列表中,单击role_project_admin角色对应的成员管理

    6. 编辑角色对话框的Table页签下,选择目标MaxCompute表,选中DescribeAlterUpdate阿里云日志服务SLS通过自定义RAM角色写数据到MaxCompute-云淘科技

重要

上述授权只针对指定的MaxCompute表。如果您希望目标角色可以操作当前MaxCompute空间项目下所有的表,则您可以为当前登录账号和AliyunLogDefaultRole角色账号添加admin角色权限。即在角色列表中,单击admin角色对应的成员管理,然后在成员管理对话框中,选中当前登录账号和AliyunLogDefaultRole角色账号,根据页面提示完成添加。

完成上述操作后,您在创建MaxCompute投递任务(新版)时,在写MaxCompute授权中选中自定义角色,然后输入自定义RAM角色的ARN(例如acs:ram::10**12:role/maxcomputeshiprole),即可授权MaxCompute投递任务(新版)使用自定义RAM角色将数据投递到MaxCompute表中。如何获取ARN,请参见查看RAM角色。阿里云日志服务SLS通过自定义RAM角色写数据到MaxCompute-云淘科技

通过命令行完成授权

  1. 登录DataWorks控制台。

  2. 在页面左上角,选择地域。

  3. 在左侧导航栏中,单击工作空间列表

  4. 工作空间列表页面,将鼠标悬停至目标工作空间对应的快速进入然后单击数据开发

  5. 新建业务流程。

    1. 数据开发页面,选择新建 > 新建业务流程

    2. 新建业务流程对话框中,设置业务名称,然后单击新建

  6. 新建节点。

    1. 数据开发页面,选择新建 > 新建节点 > MaxCompute > ODPS SQL

    2. 新建节点对话框中,设置节点名称路径,然后单击确认

      其中,路径需配置为您在步骤5中所创建的业务流程。

  7. 在已创建的节点编辑框中,执行如下命令,完成授权。

    阿里云日志服务SLS通过自定义RAM角色写数据到MaxCompute-云淘科技

    命令

    说明

    USE project-name;

    指定MaxCompute项目,需与您在创建MaxCompute投递任务(新版)时设置的MaxCompute项目保持一致。更多信息,请参见创建MaxCompute投递任务(新版)。

    ADD USER RAM$****.aliyunid.com:`role/maxcomputeshiprole`;

    在MaxCompute项目空间中添加用户。

    • ****.aliyunid.com为MaxCompute项目所属的阿里云账号。您可以通过list users;命令查看对应的阿里云账号。

    • maxcomputeshiprole为自定义RAM角色的名称,必须为小写格式。

    GRANT DESCRIBE, ALTER, UPDATE ON TABLE table-name to user RAM$****.aliyunid.com:`role/maxcomputeshiprole`;

    授予用户查看、修改、更新目标MaxCompute表的权限。

    说明

    该授权只针对指定的MaxCompute表,如果您希望目标用户可以操作当前MaxCompute项目下的所有表,请执行GRANT admin to user RAM$****.aliyunid.com:`role/maxcomputeshiprole`;命令完成授权。

    SHOW GRANTS FOR `RAM$****.aliyunid.com:role/maxcomputeshiprole`;

    确认授权是否成功。

    如果返回如下类似信息表示授权成功。

    Authorization Type: ACL
    [user/RAM$****.aliyunid.com:role/maxcomputeshiprole]
    A       projects/default_project_****/tables/****: Describe | Alter | Update

    在授权过程中,可能发生如下报错。

    • 在操作过程中出现FAILED: mismatched input错误,表示当前的RAM用户没有执行ADD USER等语句的权限。更多信息,请参见出现FAILED: mismatched input错误时,如何解决。

    • 在操作过程中出现FAILED: ODPS-0130013:Authorization exception - Authorization Failed [4003], You have NO privilege to do the PROJECT SECURITY OPERATION for {acs:odps:*:projects/xxxxxx/authorization/users}. Context ID:1111-11111-1111-1111-11111.错误,表示当前的操作用户无MaxCompute账户操作或者授权权限。更多信息,请参见出现操作用户无权限错误时,如何解决。

完成上述操作后,您在创建MaxCompute投递任务(新版)时,在写MaxCompute授权中选中自定义角色,然后输入自定义RAM角色的ARN(例如acs:ram::10**12:role/maxcomputeshiprole),即可授权MaxCompute投递任务(新版)使用自定义RAM角色将数据投递到MaxCompute表中。如何获取ARN,请参见查看RAM角色。阿里云日志服务SLS通过自定义RAM角色写数据到MaxCompute-云淘科技

跨账号投递

如果您的日志服务和MaxCompute不属于同一个阿里云账号,例如日志服务属于账号A,MaxCompute属于账号B,则需授予账号B下的RAM角色b写MaxCompute的权限。授权完成后,MaxCompute投递任务可以使用该RAM角色将Logstore中的数据写入到目标MaxCompute表中。

  1. 修改账号B下RAM角色b的信任策略。

    1. 使用账号B登录RAM控制台。

    2. 在左侧导航栏中,选择身份管理 > 角色

    3. 在RAM角色列表中,单击RAM角色b。

    4. 信任策略管理页签中,单击修改信任策略

    5. 修改信任策略,然后单击确定

      在Service配置项中添加阿里云账号A的ID@log.aliyuncs.com和dataworks.aliyuncs.com。其中阿里云账号A的ID,需根据实际情况替换,您可以在账号中心查看阿里云账号ID。

      该策略表示账号A有权限通过日志服务获取临时Token来操作账号B中的资源。

      {
          "Statement": [
              {
                  "Action": "sts:AssumeRole",
                  "Effect": "Allow",
                  "Principal": {
                      "Service": [
                          "log.aliyuncs.com",
                          "dataworks.aliyuncs.com",
                          "阿里云账号A的ID@log.aliyuncs.com"
                      ]
                  }
              }
          ],
          "Version": "1"
      }
  2. 添加账号B下的RAM角色b为工作空间成员。

    您可以通过可视化界面或命令行进行RAM角色授权,即使用账号B登录MaxCompute控制台,完成授权操作。具体操作,请参见通过可视化界面完成授权或通过命令行完成授权。

完成上述操作后,您在创建MaxCompute投递任务(新版)时,在写MaxCompute授权中选中自定义角色,然后输入账号B下的自定义RAM角色的ARN(例如acs:ram::11**13:role/maxcomputeshiprole),即可授权MaxCompute投递任务(新版)使用账号B下的自定义RAM角色将数据投递到MaxCompute表中。如何获取ARN,请参见查看RAM角色。阿里云日志服务SLS通过自定义RAM角色写数据到MaxCompute-云淘科技

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/164990.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云对象存储OSS开通并授权访问OSS-HDFS服务-云淘科技

    本文介绍如何开通并授权访问OSS-HDFS服务。 前提条件 华东1(杭州)、华东2(上海)、华北1(青岛)、华北2(北京)、华北6(乌兰察布)、华南1(深圳)、华南3(广州)、华北3(张家口)、中国香港、日本(东京)、新加坡、德国(法兰克福)、美国(硅谷)、美国(弗吉尼亚)、印度尼西亚(雅加达)地域的存储空间支持使用OSS-HDFS服务。无地域属性的存储空间…

    阿里云对象存储 2023年12月10日
  • 阿里云日志服务SLS授权概述-云淘科技

    您使用OSS投递(新版)功能时,涉及OSS投递操作权限和数据访问权限。 如果您使用的是阿里云账号,只需完成OSS投递任务访问数据的授权。 如果您使用的是RAM用户,则需完成OSS投递操作授权和OSS投递任务访问数据的授权。重要 为了保障您的云资源安全,建议使用RAM用户。 OSS投递操作授权 操作权限包括创建、删除、修改、查看OSS投递任务等。 阿里云账号:…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云负载均衡SetCACertificateName – 设置CA证书名称-云淘科技

    设置CA证书名称。 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。 调试调试授权信息下表是API对应的授权信息,可以在RAM权限策略语句的Action元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下: 操作:是指具体的权…

    阿里云负载均衡 2023年12月10日
  • 阿里云RDS数据库RevokeOperatorPermission – 撤销服务账号权限-云淘科技

    该接口用于撤销阿里云服务账号对RDS实例的访问权限。 接口说明 适用引擎 RDS MySQL RDS PostgreSQL RDS SQL Server 相关功能文档 注意 使用该接口前,请仔细阅读功能文档,确保完全了解使用接口的前提条件及使用后造成的影响后,再进行操作。 MySQL授权服务账号 PostgreSQL授权服务账号 SQL Server授权服务…

    阿里云数据库 2023年12月9日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云日志服务SLS开通WAF日志服务-云淘科技

    本文介绍如何在Web应用防火墙控制台上开通WAF日志服务功能,将日志采集到日志服务中。 前提条件 已购买高级版、企业版、旗舰版、独享版包年包月WAF实例,或者已购买按量付费WAF实例。重要 WAF 2.0版本已停止新购。 已接入网站。具体操作,请参见接入WAF。 操作步骤 重要 如果您使用RAM用户开通WAF日志服务功能,则需先为RAM用户授权。具体操作,请…

    阿里云日志服务SLS 2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。