详情页标题前

阿里云人工智能平台PAI在PAI平台使用数据集加速器-云淘科技

详情页1

在机器学习PAI平台创建数据集时,支持开启AI加速:数据集加速功能。您可以在创建DSW实例或提交训练任务时,直接使用已开启加速的数据集,提升数据读取效率。本文为您介绍如何在PAI平台使用数据集加速器

前提条件

已创建数据集加速实例,具体操作,请参见创建及管理数据集加速实例。

开启数据集加速:新建数据集

  1. 数据集管理页面创建数据集,并配置以下关键参数,更多详细内容,请参见创建及管理数据集。

    参数

    描述

    创建方式

    选择从阿里云云产品

    • 选择数据存储配置为阿里云对象存储(OSS)属性文件夹时,支持开启数据集加速。

    • 选择数据存储配置为阿里云文件存储(NAS),且选择NAS文件系统配置为已创建的CPFS文件系统时,支持开启数据集加速。

    开启数据集加速

    选中开启数据集加速,并配置相关参数,即可开启数据集加速功能。阿里云人工智能平台PAI在PAI平台使用数据集加速器-云淘科技

    • 其中:

      • 所属实例:选择已创建的数据集加速实例。

      • 加速槽名称:默认配置为数据集名称,您也可以自行配置。

      • 最大容量:配置数据集加速槽容量。该容量需要大于等于数据集容量,您可以参考需要加速的具体数据集容量来配置。

      • 加速数据集默认挂载路径:数据的默认挂载路径。

      其他参数配置,详情请参见创建及管理数据集。

  2. 单击提交

    数据集创建成功后,在数据集列表中展示,开启加速功能的数据集如下图所示。阿里云人工智能平台PAI在PAI平台使用数据集加速器-云淘科技

开启数据集加速:已有数据集

  1. 数据集管理页面,单击数据集名称,进入数据集详情页面。具体操作请参见创建及管理数据集。

    说明

    您需要选择支持开启数据集加速的数据集,详情请参见开启数据集加速:新建数据集。

  2. 数据集详情页面右上角单击数据集加速,选择所属实例,配置加速槽名称最大容量加速数据集默认挂载路径

  3. 单击提交,可在数据集页面查看到加速数据集。

使用数据集加速器

您可以在创建DSW实例或提交容器训练任务时使用数据集加速器。

  • 创建DSW实例时,数据集参数选择开启加速功能的数据集即可,详情请参见创建及管理DSW实例。阿里云人工智能平台PAI在PAI平台使用数据集加速器-云淘科技

  • 提交容器训练任务时,数据集配置参数选择开启加速功能的数据集即可,详情请参见提交任务(通过控制台)。阿里云人工智能平台PAI在PAI平台使用数据集加速器-云淘科技

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/164465.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云人工智能平台PAI创建及管理DSW实例-云淘科技

    在使用DSW建模前,您需要创建DSW实例。本文为您介绍如何创建DSW实例、管理实例及实例界面的介绍。 背景信息 DSW支持通过控制台或Python SDK的方式创建实例,二者分别适用于不同的用户: 通过控制台创建实例 适用于普通开发者,您可以通过控制台管理实例,例如,在DSW中进行模型开发的开发者。 通过Python SDK创建实例 适用于需要对实例整体生命…

    2023年12月10日
  • 阿里云人工智能平台PAI创建及管理数据集加速槽-云淘科技

    在使用数据集加速器(DatasetAccelerator)进行训练数据加速前,您需要创建数据集加速槽来绑定数据源的存储地址。系统会根据数据源类型、数据大小、训练的框架以及模型等因素,对关联的数据集数据进行预处理,以提高对数据集数据的访问速度。本文为您介绍如何创建和管理数据集加速槽。 前提条件 已创建数据集加速实例,具体操作,请参见创建及管理数据集加速实例。 …

    2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云人工智能平台PAI在自建的训练集群中使用数据集加速器-云淘科技

    您可以在训练集群中使用数据集加速器来读取挂载的文件,提高数据集访问效率。本文为您介绍如何使用数据集加速器。 前提条件 在开始执行操作之前,请确认您已完成以下准备工作。 已创建Kubernetes 1.20及以上版本集群,具体操作,请参见创建Kubernetes托管版集群。 已通过kubectl连接到Kubernetes集群,具体操作,请参见获取集群KubeC…

    2023年12月10日
  • 阿里云人工智能平台PAI轻量微调和推理ChatGLM模型实践-云淘科技

    通过在DSW中微调和推理ChatGLM-6B模型,实现定制化、高交互性的对话系统。ChatGLM-6B是一个开源的、支持中英双语的对话语言模型,基于General Language Model (GLM) 架构,具有62亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署,从而实现更智能、交互性更强的人机对话体验。 准备环境和资源 创建工作空间,详…

    2023年12月10日
  • 阿里云云原生大数据计算服务 MaxCompute哈希分片全链路测试-云淘科技

    哈希分片用于测试Proxima CE端到端功能的正确性,本文为您介绍哈希分片全链路测试的结论及测试过程。 测试结论 Proxima CE哈希分片运行的召回结果与recall工具结果基本一致,正确性测试符合预期。 测试过程 方法设计。 数据准备:随机生产不同类型(包括FLOAT、BINARY和INT8)的数据集,对于Proxima CE需要将数据集转换成对应的…

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。