详情页标题前

阿里云人工智能平台PAI典型场景:使用自定义镜像-云淘科技

详情页1

使用灵骏智算资源提交训练任务时,您可以使用阿里云DLC为您提供的官方内置镜像,也可以自行构建并使用自定义镜像,本文为您介绍使用自定义镜像的注意事项。

环境要求

  • CUDA >= 11.2

  • NCCL >= 2.12.10

  • Python3

安装RDMA库

灵骏智算资源为您提供高性能的RDMA网络,当您用自定义镜像时,需在自定义镜像的Dockerfile中手动安装灵骏智算资源的Serverless的RDMA库,才能更好的使用灵骏智算资源的RDMA网络能力。

安装RDMA库的示例代码如下。

RUN apt-get update && \
    apt-get install -y --allow-downgrades --allow-change-held-packages --no-install-recommends libnl-3-dev libnl-route-3-dev libnl-3-200 libnl-route-3-200 iproute2 udev dmidecode ethtool && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*

RUN cd /tmp/ && \
    wget http://pythonrun.oss-cn-zhangjiakou.aliyuncs.com/rdma/nic-libs-mellanox-rdma-5.2-2/nic-lib-rdma-core-installer-ubuntu.tar.gz && \
    tar xzvf nic-lib-rdma-core-installer-ubuntu.tar.gz && \
    cd nic-lib-rdma-core-installer-ubuntu && \
    echo Y | /bin/bash install.sh && \
    cd .. && \
    rm -rf nic-lib-rdma-core-installer-ubuntu && \
    rm -f nic-lib-rdma-core-installer-ubuntu.tar.gz

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/163901.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云人工智能平台PAIEAS常见问题-云淘科技

    本文为您介绍在线预测的相关问题。 服务长时间处于Waiting(等待中)状态,如何解决? 服务处于Failed(失败)状态,如何解决? EAS服务内部如何访问公网? 服务VPC调用地址和VPC高速直连调用有什么区别? 服务日志中出现[WARN] connection is closed: End of file或Write a Invalid stream:…

    阿里云人工智能平台PAI 2023年12月10日
  • 阿里云人工智能平台PAI提交任务(通过命令行工具)-云淘科技

    您可以通过命令行工具的方式提交DLC专有资源组任务。本文介绍如何通过命令行工具提交使用专有资源组的训练任务,核心步骤包括下载客户端并执行用户认证、创建并提交任务。 前提条件 如果首次使用DLC,则需要对相关资源进行访问授权,详情请参见云产品依赖与授权:DLC。 已创建通用计算资源专有资源组并为专有资源组购买了计算资源,详情请参见准备专有资源组。 已获取阿里云…

    2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云人工智能平台PAIKV2Table-云淘科技

    您可以使用KV2Table转化KV(Key:Value)格式的表为普通表格式。Key转换成表的某列名,Value转成该列在对应行的值。 背景信息 KV表格式定义:Key是列名的index,Value支持BIGINT,DOUBLE和STRING类型。在该组件中可以输入用户定义的key_map表,是列名和Key的映射,但无论是否输入key_map表,该组件都会输…

    阿里云人工智能平台PAI 2023年12月10日
  • 阿里云人工智能平台PAI全表统计-云淘科技

    全表统计用于统计全表,或某些选中的列。 组件配置 您可以使用以下任意一种方式,配置全表统计组件参数。 方式一:可视化方式 在Designer(原PAI-Studio)工作流页面配置组件参数。 页签 参数 描述 参数设置 输入列 选择输入列的字段,系统默认选择全部列。 执行调优 核数目 节点个数。 内存数 单个节点内存大小。 方式二:PAI命令方式 使用PAI…

    阿里云人工智能平台PAI 2023年12月10日
  • 阿里云人工智能平台PAIDevelopService – 开发服务-云淘科技

    将容器服务转为开发模式,或退出开发模式。 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。 调试调试授权信息当前API暂无授权信息透出。请求语法 PUT /api/v2/services/{ClusterId}/{ServiceName}/devel…

    阿里云人工智能平台PAI 2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。