详情页标题前

阿里云人工智能平台PAIFlink全托管资源管理-云淘科技

详情页1

机器学习PAI新增了Flink全托管资源,您可以购买Flink全托管资源,并关联到工作空间,用于PAI大规模分布式模型训练。本文为您介绍如何开通购买Flink全托管资源及使用该资源进行模型训练。

Flink全托管资源

阿里云实时计算Flink版是阿里云基于Apache Flink构建的一站式实时大数据分析平台,提供端到端亚秒级实时数据分析能力,有关Flink全托管资源的详细信息请参见Flink全托管资源概述。

前提条件

在开始执行操作之前,请确认您已经完成以下准备工作:

  • 购买Flink全托管资源需要使用阿里云账号。如果您还没有阿里云账号,请先完成注册,详情请参见阿里云账号注册。

操作账号和权限要求

  • 阿里云主账号(推荐):使用该账号可完成所有操作,无需额外授权。

  • RAM用户:

    • 购买Flink全托管资源,需要为该RAM用户授予AliyunStreamFullAccess权限,详情请参见RAM授权。

    • 提交训练任务到Flink全托管资源,您需要在Flink开发控制台的项目空间中为该RAM用户添加owner角色,详情请参见作业操作授权。

    • 关联Flink全托管资源到工作空间,需要在工作空间中为该RAM用户添加管理员角色;在Designer中使用Flink全托管资源进行模型训练,需要在工作空间中为该RAM用户添加算法开发角色。具体操作,请参见管理成员。

购买Flink全托管资源

  1. 登录PAI控制台

  2. 在左侧导航栏单击AI计算资源 > 资源配额,在资源配额页面中单击Flink全托管资源

  3. 可选:Flink全托管资源页面中,单击去开通

    说明

    如果您首次使用Flink全托管资源,则需要执行该操作步骤,并参考开通Flink全托管购买Flink全托管资源。

    如果您想购买更多Flink全托管资源,可以执行后续操作步骤。

  4. 在Flink全托管页面中,单击资源管理

  5. 实时计算控制台页面,单击立即购买,关于如何购买Flink全托管资源,详情请参见开通Flink全托管。

    购买成功后,在Flink全托管资源页面中,您可以看到购买成功的Flink全托管资源以及其他关键信息。阿里云人工智能平台PAIFlink全托管资源管理-云淘科技

关联Flink全托管资源到工作空间

如果您需要在PAI中使用Flink全托管资源进行计算,您可以通过以下两种方式将已购买的Flink全托管资源关联到工作空间。

  • 创建工作空间时,新增关联资源组。关于如何关联资源组,详情请参见创建工作空间。

  • 在已经创建完成的工作空间添加Flink计算资源,具体操作如下所示。

    1. 登录PAI控制台。

    2. 在左侧导航栏单击工作空间列表。在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。

    3. 在工作空间详情页面右侧,单击资源管理,并按照界面操作指引关联Flink全托管资源。具体操作,请参见管理工作空间计算资源。

在Designer中使用Flink全托管资源进行模型训练

  1. 进入关联了Flink全托管资源的工作空间,并在Designer页面创建空白工作流,详情请参见新建自定义工作流。

  2. 在画布中拖入支持在Flink全托管资源上运行的组件,包括:

    • Alink框架的所有组件(不包括Beta组件),组件上有紫色标识。阿里云人工智能平台PAIFlink全托管资源管理-云淘科技

    • 自定义算法组件(PyAlink脚本)。

  3. 在画布右侧工作流属性页签,从Alink算法默认执行资源类型列表选择Flink

    阿里云人工智能平台PAIFlink全托管资源管理-云淘科技重要

    如果Alink组件成组执行,您需要同时将Alink组执行资源类型切换到Flink,否则执行的资源类型为Alink组的默认资源类型,关于如何设置Alink组资源类型,详情请参见高级功能:Alink组件成组执行。

  4. 运行组件,支持以下几种方式:

    • 单独运行依赖Flink全托管资源的组件,以运行PyAlink脚本组件为例,详情请参见PyAlink脚本。

    • 依赖Flink全托管资源的组件和依赖其他资源类型的组件串联使用。以基于Alink框架的FM推荐为例,FM训练和FM预测组件依赖Flink全托管资源,二分类评估组件依赖MaxCompute计算资源。

    • 批量运行依赖Flink全托管资源的组件,详情请参见高级功能:Alink组件成组执行。

  5. 组件运行完成后,右键单击工作流中的组件,在快捷菜单,单击查看日志

    阿里云人工智能平台PAIFlink全托管资源管理-云淘科技您也可以在日志框中单击vvp日志链接,查看更详细的计算信息。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/161421.html

(0)
上一篇 2023年12月10日 上午3:24
下一篇 2023年12月10日 上午3:25
详情页2

相关推荐

  • 阿里云对象存储OSSEMR Flink写入OSS-HDFS服务-云淘科技

    可恢复性写入功能支持将数据以EXACTLY_ONCE语义写入存储介质。本文介绍Flink如何通过EMR集群的方式可恢复性写入OSS-HDFS服务。 前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见创建集群。 已开通并授权访问OSS-HDFS服务。具体操作,请参见开通并授权访问OSS-HDFS服务。 在Fli…

    阿里云对象存储 2023年12月10日
  • 阿里云日志服务SLSFlink消费-云淘科技

    Flink Log Connector是日志服务提供的用于对接Flink的工具,支持对接开源Flink和实时计算Flink版。本文介绍如何对接Flink消费日志数据。 前提条件 已创建Project和Logstore。具体操作,请参见创建Project和创建Logstore。 已创建RAM用户并完成授权。具体操作,请参见创建RAM用户并完成授权。 已配置环境…

    阿里云日志服务SLS 2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云人工智能平台PAIAI计算资源概述-云淘科技

    推荐您在使用PAI功能之前开通并购买用于AI开发或训练的资源。其中,灵骏智算资源和通用计算资源是云原生资源,使用前需要在资源池中创建资源组并购买相应的资源,然后通过新增资源配额并绑定到指定的工作空间,才能使用其进行AI开发和训练。而大数据计算MaxCompute和Flink全托管资源属于大数据引擎资源,您可以直接购买并新增资源配额,并将其绑定到工作空间,即可…

    阿里云人工智能平台PAI 2023年12月10日
  • 阿里云人工智能平台PAI模型训练-云淘科技

    创建完成工作流后,您可以进入工作流,根据创建工作流方式的不同,灵活的进行构建模型,然后调试模型、周期性调度模型,最终完成模型训练。本文为您介绍模型训练的具体操作步骤。 前提条件 已创建工作流。您可以根据业务需要创建空白工作流或模板工作流,详情请参见工作流概述。 已准备好训练模型需要的数据集,详情请参见概述。 背景信息 模型训练的操作步骤如下: 步骤一:构建模…

    2023年12月10日
  • 阿里云人工智能平台PAIPyAlink脚本-云淘科技

    PyAlink脚本支持通过编写代码的方式来调用Alink的所有算法。您可以使用PyAlink脚本调用Alink的分类算法做分类、 调用回归算法做回归、调用推荐算法做推荐等。PyAlink脚本也支持与其他Designer的算法组件无缝衔接, 完成业务链路的搭建及效果验证。本文为您介绍如何使用PyAlink脚本。 背景信息 PyAlink脚本支持两种使用方式(方…

    2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。