详情页标题前

阿里云人工智能平台PAI创建及管理数据集加速槽-云淘科技

详情页1

在使用数据集加速器(DatasetAccelerator)进行训练数据加速前,您需要创建数据集加速槽来绑定数据源的存储地址。系统会根据数据源类型、数据大小、训练的框架以及模型等因素,对关联的数据集数据进行预处理,以提高对数据集数据的访问速度。本文为您介绍如何创建和管理数据集加速槽。

前提条件

已创建数据集加速实例,具体操作,请参见创建及管理数据集加速实例。

创建数据集加速槽

  1. 登录PAI控制台。

  2. 进入创建加速槽配置面板。

    您可以通过以下任意一种方式进入创建加速槽配置面板。

    • 方式一:在加速槽页签创建加速槽。

      1. 在左侧导航栏,单击AI加速 > 数据集加速器

      2. 加速槽页签中,单击创建加速槽

    • 方式二:在加速实例详情页面创建加速槽。

      说明

      使用该方式创建加速槽时,所属实例为当前加速实例,不支持选择其他加速实例。

      1. 在左侧导航栏,单击AI加速 > 数据集加速器

      2. 加速实例页签中,单击目标实例名称,进入加速实例详情页面。

      3. 数据集加速槽页签中,单击创建加速槽

  3. 创建加速槽面板,配置参数,并单击提交

    其中关键参数说明如下。

    参数

    描述

    所属实例

    选择已创建的加速实例。

    绑定云产品

    支持将数据集加速槽绑定到与加速实例配置的数据源类型一致的云产品上。

    最大容量

    配置数据加速槽容量。您可以参考需要加速的具体数据集容量来配置。

    重要

    加速槽容量需要大于等于数据集容量。

    选定OSS路径

    绑定云产品选择阿里云对象存储OSS时,支持配置该参数。

    选择数据集在OSS Bucket中的存储目录。

    CPFS文件系统

    绑定云产品选择阿里云文件存储CPFS时,支持配置该参数。

    选择已创建的CPFS文件系统。

    挂载点

    绑定云产品选择阿里云对象存储OSS时,支持配置该参数。

    在使用数据集加速器时,通过挂载点将数据集加速器挂载到训练集群。在训练集群中进行模型训练时,训练任务可以通过挂载点来访问数据集加速槽,进而读取加速槽关联的数据集,提高了数据集访问效率。

    您可以选择已有的VPC网络,也可以单击创建专有网络创建交换机来创建新的VPC网络。

    说明

    • 数据集加速器只支持专有网络类型的挂载点。

    • 一个专有网络类型挂载点,可以被同VPC下不同交换机下的训练集群使用。

    • 添加挂载点时,文件系统会占用一个IP地址,建议您选择内网IP较多的交换机。

    • 挂载点只支持被同一VPC网络的训练集群挂载。

    • 使用灵骏智算资源场景时,挂载点类型需选择VPC,且选择的VPC和交换机需要与灵骏智算资源一致。

    启动自动回收

    打开启动自动回收开关,您可以配置数据集加速槽的运行时间或停止时间,等到指定时间时,系统会自动停止数据集加速槽。

    创建完成后,加速槽将开始初始化加速槽实例,待状态变为运行中时,表示加速槽实例可以使用。

管理数据集加速槽

您可以在加速槽页签或加速实例详情页面管理数据集加速槽。阿里云人工智能平台PAI创建及管理数据集加速槽-云淘科技

  • 单击加速槽名称,进入加速槽详情页面,查看加速槽的基本信息

  • 将鼠标悬浮到②位置,查看加速槽数据集存储类型。

  • 您可以停止或删除不再使用的加速槽,或克隆一个新的加速槽。您也可以单击自动回收为加速槽配置运行时间或自动停止时间。

管理挂载点

您可以在创建数据集加速槽时添加挂载点。挂载点添加完成后,您可以单击加速槽名称,进入加速槽详情页面来管理挂载点。阿里云人工智能平台PAI创建及管理数据集加速槽-云淘科技

  • 将鼠标悬浮在挂载点名称上,来查看挂载点的配置信息。

  • 单击挂载点名称,会展示安装数据集加速客户端的部署配置。您可以在部署配置面板,单击下载按钮,下载数据集加速器客户端的YAML文件,后续在训练集群中配置数据集加速器时使用。阿里云人工智能平台PAI创建及管理数据集加速槽-云淘科技

后续步骤

数据集加速槽创建成功后,您可以通过加速槽挂载点将数据集加速器挂载到训练集群,在训练集群中使用数据集加速器来高效访问数据集,详情请参见在自建的训练集群中使用数据集加速器。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/164748.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云人工智能平台PAI数据集加速器计费说明-云淘科技

    本文为您介绍数据集加速器的计费规则。 计费项 数据集加速器的计费项组成如下图所示: 计费方式 数据集加速器的计费方式如下。 计费项 计费主体 计费规则 计费方式 停止计费 加速实例容量 容量和购买时长。 按容量和购买时长收费。 预付费(包年包月) 无 使用数据集加速器,计费方式仅支持预付费(包年包月),具体说明如下。 计费说明 计费公式 单价 计费时间段 扩…

    2023年12月10日
  • 阿里云人工智能平台PAI在PAI平台使用数据集加速器-云淘科技

    在机器学习PAI平台创建数据集时,支持开启AI加速:数据集加速功能。您可以在创建DSW实例或提交训练任务时,直接使用已开启加速的数据集,提升数据读取效率。本文为您介绍如何在PAI平台使用数据集加速器。 前提条件 已创建数据集加速实例,具体操作,请参见创建及管理数据集加速实例。 开启数据集加速:新建数据集 在数据集管理页面创建数据集,并配置以下关键参数,更多详…

    2023年12月10日
  • 阿里云大数据开发治理平台 DataWorks创建并管理数据源-云淘科技

    若您想在DataWorks操作您的数据库或数据仓库(例如,MaxCompute项目数据),需先在DataWorks的数据源管理页面,将数据库或数据仓库创建为DataWorks的数据源,并将该数据源绑定至DataWorks相应的功能模块使用。例如,同步MaxCompute数据前,需先创建MaxCompute数据源,创建完成后可在数据集成模块选择该数据源,控制同…

    2023年12月10日
  • 阿里云人工智能平台PAI在自建的训练集群中使用数据集加速器-云淘科技

    您可以在训练集群中使用数据集加速器来读取挂载的文件,提高数据集访问效率。本文为您介绍如何使用数据集加速器。 前提条件 在开始执行操作之前,请确认您已完成以下准备工作。 已创建Kubernetes 1.20及以上版本集群,具体操作,请参见创建Kubernetes托管版集群。 已通过kubectl连接到Kubernetes集群,具体操作,请参见获取集群KubeC…

    2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云人工智能平台PAI创建及管理数据集加速实例-云淘科技

    通过创建预付费数据集加速实例,可以提前确定数据集加速实例的容量大小,确保对关键训练任务的数据进行加速处理。本文为您介绍创建数据集加速实例的操作步骤及如何管理数据集加速实例。 前提条件 如果首次使用数据集加速器,则需要对相关资源进行访问授权,具体操作请参见云产品依赖与授权:DatasetAccelerator。 创建数据集加速实例 重要 创建数据集加速实例会产…

    2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。