详情页标题前

阿里云人工智能平台PAI弹性资源池-云淘科技

详情页1

为保证服务扩容时,不受专属资源组机器资源的限制,EAS提供了弹性资源池的能力。即部署在专属资源组中的服务,在扩容时遇到机器资源不足时,新扩出来的实例会自动启动在按量付费的公共资源上,并以公共资源组的方式来进行计费;在缩容时会优先缩掉公共资源组中的服务实例。

前提条件

已创建专属资源组,详情请参见使用专属资源组。

背景信息

在EAS的专属资源组中,您可以通过预付费包年包月后付费按量付费的方式来购买机器节点。一方面可以保证持久持有一定量的保底资源,避免业务临时扩容资源时因库存不足(特别是GPU资源)导致业务受损;另一方面,在专属资源组中可以用更低的价格购买预付费的资源,您可以用更低的成本来持有保底资源。

而在实际应用中,用户通常希望服务资源能更弹性。即在业务高峰时段,能够更方便的使用更多的后付费资源;而在业务低峰时段,又能自动进行缩容。配合EAS提供的水平自动扩缩容的能力,服务可做到实例维度的自动伸缩。但在专属资源组中,机器节点资源有限的情况下,实例的伸缩会受到资源组中机器资源的限制,而动态扩缩资源组中的机器节点数量效率太低且使用不便。因此,EAS提供了专属资源组服务资源自动伸缩的功能。

功能优势

该功能非常适合配合水平自动扩缩容功能来使用,服务开启根据QPS或CPU等指标的波动自动伸缩的功能后,开启服务资源自动伸缩功能可保证资源不受专属资源组的限制。相当于更方便的在一个服务中组合使用按量付费和预付费资源,可以大幅降低服务的整体资源成本。

配置方法

服务部署时开启资源自动伸缩

通过控制台开启资源自动伸缩

  1. 进入部署服务页面,具体操作,请参见控制台上传部署。

  2. 部署服务页面的资源部署信息区域,配置以下关键参数,其他参数配置详情,请参见控制台上传部署。

    参数

    描述

    资源组种类

    选择已创建的专属资源组。

    弹性资源池

    打开开启弹性资源池开关,为部署在专属资源组中的服务开启弹性资源池能力。

    请参考控制台上传部署中的资源配置方法参数配置,配置公共资源组实例规格。

    完成弹性资源池配置后,服务扩容时遇到机器资源不足,新扩出的实例会自动启动在已配置的按量付费公共资源上,并以公共资源组的方式进行计费。在缩容时,优先缩减公共资源组中的服务实例。

    阿里云人工智能平台PAI弹性资源池-云淘科技

  3. 单击部署

通过本地客户端开启资源自动伸缩

使用eascmd客户端部署服务时,开启资源自动伸缩功能。具体操作步骤如下:

  1. 配置JSON文件。

    重要

    公共资源组和专属资源组中的服务,在资源配置和网络配置上有稍许不同。在公共资源组中可以通过配置实例类型来为服务申请资源(即通过cloud.computing字段配置);公共资源组的网络直连是配置在服务中的(即通过cloud.networking字段配置),而专属资源组的网络直连是配置在资源组级别的。因此,如果要保证网络直连功能在资源自动伸缩过程中同样可用,则在部署服务时,需要增加相关的网络配置项。

    JSON文件配置示例如下。

    {
      "model_path": "http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/lr.pmml",
      "name": "test_burstable_service",
      "processor": "pmml",
      "metadata": {
        "instance": 1,
        "cpu": 1,
        "resource": "eas-r-xxx",
        "resource_burstable": true
      },
       "cloud": {
            "computing": {
                "instance_type": "ecs.r7.2xlarge"
            },
            "networking": {
                "security_group_id": "sg-uf68iou5an8j7sxd****",
                "vswitch_id": "vsw-uf6nji7pzztuoe9i7****"
            }
        }
    }

    其中:

    • resource_burstable:配置为true时,表示开启资源自动伸缩功能。

    • cloud.networking:在专属资源组中部署服务时,该参数不生效。为保证网络直连功能在资源伸缩过程中同样可用,需要配置该参数。

    • cloud.computing:可选,如果您希望扩容到公共资源的实例使用机器实例资源,则需要在JSON文件中配置该参数,详情请参见使用公共资源组。

    其他参数配置说明,详情请参见服务模型所有相关参数说明。

  2. 使用eascmd客户端部署模型服务,详情请参见服务部署:EASCMD&DSW。

    该服务部署在专属资源组中,当服务扩容时,如果专属资源组中机器资源不足,会自动将实例扩容到公共资源组中。

服务部署后,开启或关闭资源自动伸缩

通过控制台开启或关闭资源自动伸缩

  1. 进入EAS模型在线服务页面。具体操作,请参见控制台上传部署。

  2. 单击已部署服务操作列下的更新服务

  3. 部署服务页面的资源部署信息区域开启或关闭资源自动伸缩功能。

    • 开启资源自动伸缩

      资源部署信息区域,打开开启弹性资源池开关,并配置公共资源组实例规格。

    • 关闭资源自动伸缩

      资源部署信息区域,关闭开启弹性资源池开关。

  4. 单击部署

通过本地客户端开启或关闭资源自动伸缩

您可以使用以下命令,为已部署的服务快速打开或关闭自动伸缩功能。

重要

如果在专属资源组中部署服务时未配置cloud.networking参数,则开启自动伸缩功能后,扩容到公共资源组的实例不支持网络直连功能。

# 开启服务资源自动弹性伸缩。
eascmd modify  -Dmetadata.resource_burstable=true

# 关闭服务资源自动弹性伸缩。
eascmd modify  -Dmetadata.resource_burstable=false

其中::需要替换为已部署的服务名称。

重要

服务资源自动伸缩功能的开启和关闭只会影响新创建的服务实例,老实例不会自动做迁移。例如:一个服务扩容完成后有2个实例为pending(等待中)状态,在开启了资源自动伸缩功能后,这2个pending(等待中)的实例不会自动迁移至公共资源组上。您可以在控制台上重启该实例,实例重启后会调度到公共资源中。同理,已经开启了自动伸缩的服务,调度到公共资源中的服务实例,在关闭了资源自动伸缩功能后,也不会自动调度回专属资源中。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/161502.html

(0)
上一篇 2023年12月10日 上午3:27
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云容器服务ACK使用Terraform创建具备自动伸缩功能的节点池-云淘科技

    ACK的节点池及托管节点池中的节点默认不具备自动伸缩能力,您也可以通过使用Terraform工具创建开启自动伸缩功能的节点池。本文介绍如何通过Terraform创建开启自动伸缩功能的节点池。 前提条件 已安装Terraform工具。具体操作,请参见在本地安装和配置Terraform。 自动伸缩功能依赖弹性伸缩(Auto Scaling,旧称ESS)服务。启动…

    2023年12月10日
  • 阿里云容器服务ACK节点自动伸缩-云淘科技

    ACK的自动伸缩能力是通过节点自动伸缩组件实现的,可以按需弹出以下按量计费的实例:普通实例、GPU实例和竞价付费实例,支持多可用区、多实例规格、多种伸缩模式,满足不同的节点伸缩场景。 工作原理 在Kubernetes中,节点自动伸缩的工作原理与传统意义上基于使用率阈值的模型有所差别,这也是很多开发者在从传统的IDC或者其他编排系统迁移到Kubernetes后…

    2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。