DSW是PAI产品的云端机器学习开发IDE,为您提供交互式编程环境,适用于不同水平的开发者。本文介绍个人版和探索者版的功能特点和使用流程等。
DSW集成了开源JupyterLab,并以插件化的形式进行深度定制化开发。您无需进行任何运维配置,即可进行Notebook编写、调试及运行Python代码。同时,DSW提供丰富的计算资源,且对接多种数据源。通过EASCMD的方式,可以将DSW获得的训练模型部署为EAS模型服务。
快速入门
您可以参考如下视频,快速了解DSW支持的主要功能。
功能特性
支持资源实时监控。在算法开发过程中,可以显示CPU或GPU的使用情况。
-
支持多源数据接入,包括MaxCompute、OSS和NAS。
-
支持编写和运行SQL语句。
-
支持多种资源类型,包括公共资源组(包括纯CPU及多种GPU算力卡)和专有资源组。
-
支持灵活切换各类资源,有效降低使用成本。
-
预置常用大数据开发包和算法库,且支持自定义安装第三方库。
版本介绍
DSW支持个人版和探索者版,支持的功能如下表所示。
功能 |
个人版 |
探索者版 |
支持GPU |
是 |
是 |
按量付费(后付费) |
是 |
免费使用 |
包年包月(预付费) |
否 |
免费使用 |
内存及CPU核数 |
自行选择,无上限。 |
2 vCPU+4 GB |
实例存储空间限制 |
自行选择,无上限。 |
5 GB |
网络访问 |
无限制 |
CPU型的无限制,GPU型的不能访问外网。 |
Root权限 |
是 |
否 |
运行环境Image选择 |
是 |
否 |
各版本的功能特点如下:
个人版
个人版基于阿里云Docker和Kubernetes等云原生技术,为您提供灵活且开放的AI开发环境。该版本的功能特点如下:
-
支持实例随时停止和启动、镜像一键保存及开发环境恢复。
-
提供集成式AI开发环境:
-
预装常用大数据开发包和算法包,并开放sudo权限,从而允许安装第三方库。
-
预装JupyterLab插件,可以提高开发效率,例如Git和TensorBoard。
-
提供多种官方镜像,可以覆盖多个版本的主流计算框架,例如TensorFlow和PyTorch。
-
嵌入WebIDE,可以安装任意插件。
-
-
预置PAI的基础能力,包括视觉类算法工具EasyVision(PAI-EasyVision简介)、自动调参工具AutoML、编译优化及读取MaxCompute表的CommonIO组件。
-
支持Root权限。
探索者版
探索者版基于阿里云Docker和Kubernetes等云原生技术,为您提供灵活且开放的AI开发环境。探索者版处于免费状态,在使用之前,请确保已在控制台完成登录,并登录探索者版即可使用。
目前,探索者版对资源和用户的单次使用时长有一定限制,更多关于探索者版的使用限制、入门须知问题、核心特性以及完整的使用流程等详细内容,请参见天池实验室用户手册。
使用流程
步骤一:准备工作
-
准备资源组
创建DSW实例前,您需要准备好训练任务所需的通用计算资源(包括公共资源组和专有资源组)或灵骏智算资源(包括专有资源组)。完成DLC授权后,系统将为您准备好公共资源组,无需手动添加。如果您需要使用专有资源组,则需要先购买并配置资源组,详情请参见新建及管理通用计算资源和新建资源组并购买灵骏智算资源。
-
(可选)准备数据集
-
使用公共资源组创建DSW实例:
PAI将赠送免费云盘作为持久化存储。但免费云盘存储空间有限,您可以通过挂载数据集来扩展实例存储空间。
-
使用专有资源组创建DSW实例:
DSW实例使用自带的系统盘做为临时存储,您可以通过挂载数据集来实现数据持久化存储。
目前支持挂载OSS、NAS和CPFS类型的数据集,如何创建数据集,请参见创建及管理数据集。
-
-
(可选)准备镜像
创建DSW实例前,您需要准备好需要安装的镜像,DSW实例将基于所选择的镜像来构建运行环境。目前支持选择以下类型的镜像:
-
官方镜像
DSW预置了多种类型的官方镜像,例如pytorch、tensorflow、modelscope等。每种镜像均提供了不同的版本,以满足您对特定框架版本的需求,从而方便您进行模型开发、训练和部署等工作。
-
自定义镜像
您也可以使用已创建的自定义镜像来满足特定场景下的开发需求。关于如何创建自定义镜像,请参见查看并添加镜像。
-
步骤二:创建及使用DSW实例
完成上述准备工作后,您可以创建DSW实例。具体操作,请参见创建及管理DSW实例。
DSW实例的特殊应用场景如下,您可以单击对应链接查看详细内容:
-
通过SSH远程连接DSW
-
配置DSW实例支持运行R脚本
-
配置DSW实例通过专有公网网关访问公网
-
功能试用:Gallery
步骤三:准备开发所需要的数据文件
目前,DSW支持接入多种数据源,包括OSS、NAS和MaxCompute,以实现数据的上传和下载功能。您可以将开发所需的数据文件从不同的数据源导入到DSW实例中,并将处理后的数据导出到指定的数据源。此外,DSW实例还提供了数据上传和下载功能,适用于小数据量的文件传输。更多关于数据传输的详细介绍,请参见读写数据与文件传输。
步骤四:使用DSW进行模型调试和训练
您可以将在DSW中开发的Notebook或Python代码提交到DLC进行离线训练,具体操作,请参见提交离线任务至DLC。
您也可以直接在DSW实例页面进行模型训练,DSW实例提供了交互式的开发环境,使您更够更直观的查看模型训练过程并进行代码调试。此外,在DSW实例中,您还可以管理第三方库,以满足特定的开发需求。更多操作实践,请参见DSW使用案例汇总。
后续步骤
后续,您可以将训练好的模型部署为EAS在线服务,以实现模型推理功能。具体操作,请参见服务部署:EASCMD&DSW。
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家
阿里云企业补贴进行中: 马上申请
腾讯云限时活动1折起,即将结束: 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠
转转请注明出处:https://www.yunxiaoer.com/163700.html