详情页标题前

阿里云人工智能平台PAI高级配置:多规格实例选择-云淘科技

详情页1

部署服务时,只指定单一规格的计算资源,会出现由于该规格库存不足导致服务长时间无法拉起的情况。针对该问题,EAS部署环节支持多规格实例选择,通过遍历配置文件中提供的规格列表来拉起资源,从而极大降低单一规格库存不足带来的部署风险。本文为您介绍多规格实例配置方法。

前提条件

如果您使用本地客户端方式配置多规格实例,则需要完成以下操作:

已下载EASCMD客户端并认证成功,具体操作,请参见下载并认证客户端。

使用限制

仅支持部署在公共资源组上的EAS服务配置多规格实例。

部署服务时使用多规格实例

通过控制台配置多规格实例

  1. 进入部署服务页面,详情请参见服务部署:控制台。

  2. 部署服务页面,配置以下关键参数,其他参数配置详情,请参见服务部署:控制台。阿里云人工智能平台PAI高级配置:多规格实例选择-云淘科技

    参数

    描述

    资源组种类

    选择公共资源组

    资源配置方法

    选择性价比资源配置

    抢占型保留时长

    资源类型选择抢占型时,该配置生效。支持以下两种配置方式:

    • 设置1小时保护期:您可以为抢占型实例设置1小时保护期,即实例抢占成功后,默认至少可以使用1小时。

    • 无确定保护期:表示禁用保护期。不保证有固定时长的保护期来保障资源的使用。

    关于抢占型实例的详细介绍,请参见高级配置:抢占型实例选择。

    部署资源

    • 资源类型:支持抢占型常规型

    • 机器型号:选择合适的机器型号。

    • 出价:仅抢占型资源需要设置出价,系统根据出价来自动竞价抢占资源。

      如果抢占式资源实例库存充足,且出价不低于当前抢占式实例市场价,可以使用抢占式实例。

    • 配置多规格实例

      您可以单击阿里云人工智能平台PAI高级配置:多规格实例选择-云淘科技来配置多规格实例,最多支持添加5个资源类型。系统会按照配置规格的先后顺序做为优先级排序来拉起资源。

  3. 单击部署。待服务状态变为运行中时,表明服务部署成功。

通过本地客户端配置多规格实例

以Windows 64版本为例:

  1. 在客户端文件所在目录新建JSON格式的文件,命名为service.json,文件内容示例如下。

    {
      "name": "service_example",
      "model_path": "http://examplebucket.aliyuncs.com/models%2Fmnist_saved_model.tar.gz",
      "processor": "tensorflow_cpu_1.12",
      "metadata": {
        "instance": 1,
      }
      "cloud": {
        "computing": {
          "instances": [
            {"type": "ecs.g7.2xlarge", "spot_price_limit": 2.00},
            {"type": "ecs.g7.4xlarge", "spot_price_limit": 4.00},
            {"type": "ecs.g7.2xlarge"},
            {"type": "ecs.g7.4xlarge"}
          ],
          "disable_spot_protection_period": true
        }
      }
    }

    其中关键参数说明如下,其他参数说明,详情请参见命令使用说明。

    参数

    描述

    instance

    服务启动的实例数量。上述JSON文件中表示启动1个实例。

    instances

    表示允许的实例规格,支持配置多个。当实例规格竞价失败或库存不足时,按照配置顺序依次尝试使用下一个实例规格创建服务。

    • type:表示配置的实例规格。

    • spot_price_limit为可选参数:

      • 当配置该参数时:表示对应实例规格使用抢占式资源实例,并指明价格上限。单位为CNY,支持按量付费。

      • 当不配置该参数时:表示对应实例规格为普通的按量付费实例。

    disable_spot_protection_period

    支持以下取值:

    • false(默认值):表示在抢占式资源实例创建成功后,默认有1小时保护期。在保护期内即使市场价格超过了出价,实例也不会被释放。

    • true:表示禁用保护期,无保护期实例会始终比有保护期实例优惠10%左右。

  2. 打开终端工具,在JSON文件所在目录,使用以下命令创建服务。

    eascmdwin64.exe create 

    其中:需要替换为您创建的JSON文件名称。

部署服务后修改服务使用多规格实例

通过控制台修改服务使用多规格实例

  1. 进入PAI-EAS 模型在线服务页面。

    1. 登录PAI控制台。

    2. 在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。

    3. 在工作空间页面的左侧导航栏选择模型部署 > 模型在线服务(EAS),进入PAI-EAS 模型在线服务页面。

  2. 选择部署在公共资源组的服务,单击服务名称,进入服务详情页面。

  3. 服务详情页面,单击资源信息区域的资源配置阿里云人工智能平台PAI高级配置:多规格实例选择-云淘科技

  4. 资源配置对话框性价比资源配置页签,配置部署资源为多个资源类型,更多参数配置详情,请参见通过控制台配置多规格实例。阿里云人工智能平台PAI高级配置:多规格实例选择-云淘科技

  5. 单击确定

通过本地客户端修改服务使用多规格实例

以Windows 64版本为例:

  1. 在客户端文件所在目录新建JSON格式的文件,命名为instances.json,文件内容示例如下。

    {
      "cloud": {
        "computing": {
          "instances": [
            {"type": "ecs.g7.2xlarge", "spot_price_limit": 2.00},
            {"type": "ecs.g7.4xlarge", "spot_price_limit": 4.00},
            {"type": "ecs.g7.2xlarge"},
            {"type": "ecs.g7.4xlarge"}
          ],
          "disable_spot_protection_period": true
        }
      }
    }

    其中关键参数说明,详情请参见部署服务时使用抢占式实例。

  2. 使用以下命令修改服务使用多规格实例。

    eascmd modify  -s instances.json

    其中:需要替换为EAS服务名称。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/164041.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云人工智能平台PAI服务部署:Designer-云淘科技

    您可以使用Designer训练模型,并将训练完成的单个模型一键部署为在线服务。本文为您介绍如何在Designer平台一键部署模型服务。 支持一键部署到EAS的算法 Designer中可以一键部署至EAS的算法,请参见单模型部署在线服务。 一键部署模型服务 说明 使用Designer训练获得的模型也支持使用命令行方式部署为在线服务,例如:使用EASCMD或DS…

    阿里云人工智能平台PAI 2023年12月10日
  • 阿里云人工智能平台PAI服务部署:控制台-云淘科技

    EAS支持将从开源社区下载的模型或您自己训练获得的模型部署为推理服务或AI-Web应用。针对不同方式获取的训练模型,EAS支持不同的部署方式,您可以使用EAS的控制台方式快速将其部署为API服务。本文介绍如何使用控制台方式部署及管理服务。 前提条件 已获得训练好的模型。 背景信息 您可以通过控制台部署及管理EAS。 控制台上传部署 您可以通过镜像、模型等方式…

    阿里云人工智能平台PAI 2023年12月10日
  • 阿里云人工智能平台PAIEAS一键部署HuggingFace&ModelScope服务应用-云淘科技

    EAS提供了预置镜像以部署社区模型,并针对模型分发和镜像拉起做了加速机制。您只需配置几个参数就可以将社区模型一键快捷的部署到EAS模型在线服务平台。本文为您介绍如何部署HuggingFace和ModelScope的社区模型。 背景信息 当前,开放的模型社区(例如 huggingface、modelscope )提供了大量的机器学习模型和代码实现,其对应库的接…

    2023年12月10日
  • 阿里云人工智能平台PAI高级配置:多规格实例选择-云淘科技

    在部署服务时,只指定单一规格的计算资源,会出现由于该规格库存不足导致服务长时间无法拉起的情况。针对该问题,EAS部署环节支持多规格实例选择,通过遍历配置文件中提供的规格列表来拉起资源,从而极大降低单一规格库存不足带来的部署风险。本文为您介绍多规格实例配置方法。 前提条件 如果您使用本地客户端方式配置多规格实例,则需要完成以下操作: 已下载EASCMD客户端并…

    2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云人工智能平台PAI管理模型任务-云淘科技

    本文为您介绍如何在快速开始查看与管理已创建的训练任务和部署服务。 前提条件 已创建训练任务或部署服务,具体操作,请参见模型部署及训练。 操作步骤 进入快速开始页面。 登录PAI控制台。 在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。 在左侧导航栏单击快速开始,进入快速开始页面。 在快速开始页面,单击搜索框右侧…

    2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。