机器学习PAI新增了Flink全托管资源,您可以购买Flink全托管资源,并关联到工作空间,用于PAI大规模分布式模型训练。本文为您介绍如何开通购买Flink全托管资源及使用该资源进行模型训练。
Flink全托管资源
阿里云实时计算Flink版是阿里云基于Apache Flink构建的一站式实时大数据分析平台,提供端到端亚秒级实时数据分析能力,有关Flink全托管资源的详细信息请参见Flink全托管资源概述。
前提条件
在开始执行操作之前,请确认您已经完成以下准备工作:
-
购买Flink全托管资源需要使用阿里云账号。如果您还没有阿里云账号,请先完成注册,详情请参见阿里云账号注册。
操作账号和权限要求
-
阿里云主账号(推荐):使用该账号可完成所有操作,无需额外授权。
-
RAM用户:
-
购买Flink全托管资源,需要为该RAM用户授予
AliyunStreamFullAccess
权限,详情请参见RAM授权。 -
提交训练任务到Flink全托管资源,您需要在Flink开发控制台的项目空间中为该RAM用户添加owner角色,详情请参见作业操作授权。
-
关联Flink全托管资源到工作空间,需要在工作空间中为该RAM用户添加管理员角色;在Designer中使用Flink全托管资源进行模型训练,需要在工作空间中为该RAM用户添加算法开发角色。具体操作,请参见管理成员。
-
购买Flink全托管资源
-
登录PAI控制台
-
在左侧导航栏单击AI计算资源 > 资源配额,在资源配额页面中单击Flink全托管资源。
-
可选:在Flink全托管资源页面中,单击去开通。
说明
如果您首次使用Flink全托管资源,则需要执行该操作步骤,并参考开通Flink全托管购买Flink全托管资源。
如果您想购买更多Flink全托管资源,可以执行后续操作步骤。
-
在Flink全托管页面中,单击资源管理。
-
在实时计算控制台页面,单击立即购买,关于如何购买Flink全托管资源,详情请参见开通Flink全托管。
购买成功后,在Flink全托管资源页面中,您可以看到购买成功的Flink全托管资源以及其他关键信息。
关联Flink全托管资源到工作空间
如果您需要在PAI中使用Flink全托管资源进行计算,您可以通过以下两种方式将已购买的Flink全托管资源关联到工作空间。
-
创建工作空间时,新增关联资源组。关于如何关联资源组,详情请参见创建工作空间。
-
在已经创建完成的工作空间添加Flink计算资源,具体操作如下所示。
-
登录PAI控制台。
-
在左侧导航栏单击工作空间列表。在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。
-
在工作空间详情页面右侧,单击资源管理,并按照界面操作指引关联Flink全托管资源。具体操作,请参见管理工作空间计算资源。
-
在Designer中使用Flink全托管资源进行模型训练
-
进入关联了Flink全托管资源的工作空间,并在Designer页面创建空白工作流,详情请参见新建自定义工作流。
-
在画布中拖入支持在Flink全托管资源上运行的组件,包括:
-
在画布右侧工作流属性页签,从Alink算法默认执行资源类型列表选择Flink。
重要
如果Alink组件成组执行,您需要同时将Alink组执行资源类型切换到Flink,否则执行的资源类型为Alink组的默认资源类型,关于如何设置Alink组资源类型,详情请参见高级功能:Alink组件成组执行。
-
运行组件,支持以下几种方式:
-
单独运行依赖Flink全托管资源的组件,以运行PyAlink脚本组件为例,详情请参见PyAlink脚本。
-
依赖Flink全托管资源的组件和依赖其他资源类型的组件串联使用。以基于Alink框架的FM推荐为例,FM训练和FM预测组件依赖Flink全托管资源,二分类评估组件依赖MaxCompute计算资源。
-
批量运行依赖Flink全托管资源的组件,详情请参见高级功能:Alink组件成组执行。
-
-
组件运行完成后,右键单击工作流中的组件,在快捷菜单,单击查看日志。
您也可以在日志框中单击vvp日志链接,查看更详细的计算信息。
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家
阿里云企业补贴进行中: 马上申请
腾讯云限时活动1折起,即将结束: 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠
转转请注明出处:https://www.yunxiaoer.com/161421.html