在机器学习PAI平台创建数据集时,支持开启AI加速:数据集加速功能。您可以在创建DSW实例或提交训练任务时,直接使用已开启加速的数据集,提升数据读取效率。本文为您介绍如何在PAI平台使用数据集加速器。
前提条件
已创建数据集加速实例,具体操作,请参见创建及管理数据集加速实例。
开启数据集加速:新建数据集
-
在数据集管理页面创建数据集,并配置以下关键参数,更多详细内容,请参见创建及管理数据集。
参数
描述
创建方式
选择从阿里云云产品。
-
当选择数据存储配置为阿里云对象存储(OSS)且属性为文件夹时,支持开启数据集加速。
-
当选择数据存储配置为阿里云文件存储(NAS),且选择NAS文件系统配置为已创建的CPFS文件系统时,支持开启数据集加速。
开启数据集加速
选中开启数据集加速,并配置相关参数,即可开启数据集加速功能。
-
其中:
-
所属实例:选择已创建的数据集加速实例。
-
加速槽名称:默认配置为数据集名称,您也可以自行配置。
-
最大容量:配置数据集加速槽容量。该容量需要大于等于数据集容量,您可以参考需要加速的具体数据集容量来配置。
-
加速数据集默认挂载路径:数据的默认挂载路径。
其他参数配置,详情请参见创建及管理数据集。
-
-
-
单击提交。
数据集创建成功后,在数据集列表中展示,开启加速功能的数据集如下图所示。
开启数据集加速:已有数据集
-
在数据集管理页面,单击数据集名称,进入数据集详情页面。具体操作请参见创建及管理数据集。
说明
您需要选择支持开启数据集加速的数据集,详情请参见开启数据集加速:新建数据集。
-
在数据集详情页面右上角单击数据集加速,选择所属实例,配置加速槽名称、最大容量及加速数据集默认挂载路径。
-
单击提交,可在数据集页面查看到加速数据集。
使用数据集加速器
您可以在创建DSW实例或提交容器训练任务时使用数据集加速器。
-
创建DSW实例时,数据集参数选择开启加速功能的数据集即可,详情请参见创建及管理DSW实例。
-
提交容器训练任务时,数据集配置参数选择开启加速功能的数据集即可,详情请参见提交任务(通过控制台)。
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家
阿里云企业补贴进行中: 马上申请
腾讯云限时活动1折起,即将结束: 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠
转转请注明出处:https://www.yunxiaoer.com/164465.html