阿里云人工智能平台PAIEAS模型服务概述-云淘科技

EAS产品架构

模型在线服务EAS（Elastic Algorithm Service）是一种模型在线服务平台，可支持您一键部署模型为在线推理服务或AI-Web应用。它提供的弹性扩缩容和蓝绿部署等功能，可以支撑您以较低的资源成本获取高并发且稳定的在线算法模型服务。此外，EAS还提供了资源组管理、版本控制以及资源监控等功能，方便您将模型服务应用于业务。EAS适用于实时推理、近实时异步推理等多种AI推理场景，并具备自动扩缩容和完整运维监控体系等能力。

点击可查看EAS架构分层详细说明

• 基础设施层：支持异构硬件（CPU或GPU）的基础设施，并提供了AI专属的GU机器规格和抢占型实例，以帮助您降低成本并提高效率。

• 容器调度层：通过自动扩缩容等多种方法，帮助您在业务的波峰波谷中更高效地管理集群资源，实现降本增效的目标。支持以下几种方法：

  • 弹性扩缩容：当业务负载呈现显著的波峰波谷时，通过开启弹性扩缩容功能，系统可自动调整实例数量，实现动态管理线上服务的计算资源，避免资源浪费。

  • 定时扩缩容：在可以预估业务负载的场景中，服务可以定时将实例数自动扩缩容到指定数量，从而避免资源浪费。

  • 弹性资源池：如果专属资源组内资源已经占满，服务会自动将扩容的实例弹到按量计费的公共资源组机器上，以保障服务的稳定性。

• 模型部署层：通过服务部署发布的多项功能，帮助您实时高效地监控服务状态，并简化服务发布和更新流程，以适配最合理的计算资源。服务部署发布支持的功能如下：

  • 一键压测：支持动态加压，并能自动寻找服务的负载上限。此外，还提供了实时查看压测秒级监控数据和查看报告的功能。

  • 灰度发布：支持将多个服务加入同一个灰度群组，其中一些服务用于生产环境，而另一些服务则用于灰度环境。此外，还支持切换每个服务的流量分配比例，以进行更灵活的灰度测试。

  • 实时监控：服务部署成功后，您可以在服务监控页面查看相关指标，例如QPS、响应时长、CPU利用率等，以了解服务调用及运行情况。

  • 流量镜像：支持将当前服务的流量按照一定比例镜像到目标服务中，同时不影响当前服务的正常运行。这一功能主要用于测试新服务的性能和可靠性。

• 推理能力：目前EAS支持的推理能力如下：

  • 实时同步推理：适用于个性化搜索、智能对话等场景，具有高吞吐、低延迟的特点，同时不影响线上业务的正常运行。系统还可以根据业务需求适配合理的部署机型，以实现最佳的运行效果。

  • 近实时异步推理：适用于文图生成、视频处理等场景，在推理服务内部集成了消息队列。使得服务能够按需进行弹性扩缩容，且无需进行运维工作。

部署原理

使用EAS进行模型部署时，支持镜像部署和Processor部署两类部署方式，对比介绍如下。

基本概念

使用流程

步骤2：部署服务

• 在部署工具维度上：EAS支持通过界面化或命令行方式部署服务和管理服务，不同工具的部署流程和操作要点不一致，对比引导如下表所示。

  操作类型	界面化方式	命令行方式
  部署服务	通过控制台部署（服务部署：控制台）或Designer一键部署（服务部署：Designer）。	通过DSW部署或本地客户端（EASCMD）部署，详情请参见服务部署：EASCMD&DSW。
  管理服务	您可以在EAS模型在线服务页面管理模型服务，详情请参见服务部署：控制台。 包括： 查看模型调用信息。 查看日志、监控及服务部署相关信息。 扩容、缩容、启动、停止及删除模型服务。	通过EASCMD方式管理模型服务，详情请参见命令使用说明。

  您在使用专属资源组部署服务时，也可以配置储存挂载，用来存储服务部署过程依赖的数据，详情请参见高级配置：服务存储挂载。

• 在部署方式上：EAS支持镜像方式部署（推荐，包含镜像部署、镜像AI-Web部署两个细分部署场景）和Processor方式部署。

  部署类型	对比介绍	参考文档
  镜像部署服务（推荐）	适用场景：使用镜像快速部署模型服务。 优势： 可通过镜像保障模型开发训练环境与部署运行环境的一致性。 典型场景已为您预置了很多官方镜像，您可使用官方预置镜像一键部署。 也支持自定义镜像部署，无需进行部署的工程化改造，部署便捷。	镜像部署原理介绍 服务部署：自定义镜像 服务部署：官方预置镜像
  镜像部署AI-Web应用（推荐）	适用场景：使用镜像快速部署模型服务，更适用于将模型部署为Web应用的场景。 优势： 典型场景已为您预置了很多官方镜像，如Stable-Diffusion-Webui，Chat-LLM-Webui等，支持基于Gradio、Flask、FastAPI等框架实现HTTP Server，您可使用官方预置镜像一键部署。 也支持自定义镜像部署，无需进行部署的工程化改造，部署便捷。
  模型+processor部署服务	EAS为您提供了常见模型框架的预置Processor，例如PMML、XGBOOST等，通过EAS预置的Processor可以快速启动服务，但可能无法满足特定的业务需求。 您还可以构建自定义Processor，以实现更为灵活的业务逻辑处理。	Processor部署原理介绍 服务部署：预置Processor 服务部署：自定义Processor

地域限制

EAS支持的地域包括华北2（北京）、华东2（上海）、华东1（杭州）、华北3（张家口）、华北6（乌兰察布）、华南1（深圳）、华南2（河源）、西南1（成都）、中国（香港）、新加坡、印度尼西亚（雅加达）、印度（孟买）、美国（硅谷）、美国（弗吉尼亚）及德国（法兰克福）。

计费说明

• EAS资源组收费：

  EAS支持将模型服务部署在公共资源组或专属资源组，定价和计费规则请参见EAS计费说明。

  • 公共资源组中，根据每个模型服务占用的资源量计费。

  • 专属资源组中，根据资源组管理的服务器资源包年包月或按量计费。

• （可选）相关云产品收费：

  • 存储类云产品：

    使用EAS部署服务时，您可以挂在OSS、NAS，将部署过程中的相关数据永久存储在对应存储服务中，对应云产品的定价和计费相关请参见对应云产品的计费文档，例如OSS计费概述、NAS计费概述。

  • 公网NAT网关：

    使用公网地址访问已部署的模型服务时可免费访问，如果您部署的服务需要访问公网环境，您需要开通NAT网关服务，公网连接及白名单配置操作请参见公网连接及白名单配置，公网NAT网关计费详情请参见NAT网关计费概述。