阿里云PAI为您提供了数据集加速器(DatasetAccelerator,简称DatasetAcc),在准备数据集时支持开启数据集加速功能,后续提交训练任务(DLC)时可直接使用已开启加速的数据集,提升数据读取效率。本文为您介绍基于灵骏智算资源场景下的数据集加速使用主要流程与注意事项。
支持的数据集类型
使用灵骏智算资源时,当前仅OSS类型的数据集支持加速,NAS、智算CPFS类型的数据集暂不支持加速。
创建数据集加速实例
授权并购买数据集加速实例,操作详情请参见云产品依赖与授权:DatasetAccelerator、创建及管理数据集加速实例。
开启数据集加速:已有数据集
主要流程如下。
-
创建一个可用于灵骏智能资源训练任务的数据集。
-
在数据集页面右上角单击数据集加速,选择上述步骤中创建的数据集加速实例并配置加速挂载点。
配置数据集加速时需关注:
加速挂载点:挂载点类型需选择为VPC,且选择灵骏智算资源绑定的VPC与交换机。
-
完成配置后,可在数据集页面查看到加速数据集。
开启数据集加速:新建数据集
在新建数据集时,您可以直接打开数据集加速,并配置数据集加速实例,详细步骤请参见创建数据集并开启数据集加速。
使用加速数据集
开启数据集加速后,后续在提交训练任务时即可选择已开启加速的数据集,提交训练任务的通用操作流程请参见通用流程。
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家
阿里云企业补贴进行中: 马上申请
腾讯云限时活动1折起,即将结束: 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠
转转请注明出处:https://www.yunxiaoer.com/163922.html