详情页标题前

阿里云日志服务SLS工作原理-云淘科技

详情页1

日志服务提供时序预测功能,用于对时序数据进行自动化、智能化的预测。您可以根据预测结果判断时序数据未来的走势,提前感知系统或者业务关键指标的状态。本文介绍时序预测的背景信息、功能、调度与执行场景、使用建议等信息。

背景信息

服务在运行过程中会产生各种各样的时序数据,记录了服务的各种指标随时间的变化情况。时序数据的监控分析被广泛地应用在系统监控和故障定位中。对于时序数据的监控分析一般分为以下两种方式。

  • 分析已经产生的时序数据,检测其中可能的异常。您可通过智能巡检功能实现。更多信息,请参见智能巡检。

    该方式主要应用于在服务出现异常后及时的发现问题和定位问题。

  • 预测将来产生的时序数据,判断时序数据未来的走势。您可通过时序预测功能实现。

    该方式主要应用于对服务关键指标的异常走势进行提前预警。

时序预测应用场景如下:

  • 预测服务关键指标(例如QPS、在线人数)的未来一段时间走势,当预测指标未来的数值超过配置的阈值时产生告警,便于运维人员在异常产生前对潜在问题进行排查。
  • 预测系统各种指标(例如CPU使用率、磁盘利用率)未来的波动情况,可以使用指标的未来波动趋势对系统进行更可靠地调整。例如在系统CPU使用率过高时对系统进行扩容。


注意 时序数据未来的走势受各种因素的影响,包括各种突发、不稳定情况和预测算法内部缺陷等。因此预测结果无法保证100%的准确。预测结果可作为决策的参考依据之一,而不是唯一依据。

功能介绍

时序预测作业通过SQL方式抽取或聚合时序指标,按照调度规则定时拉取数据输入预测模型,将预测结果写入到目标日志库(internal-ml-log)中,并在仪表盘中展示预测结果,帮助您快速查看时序预测的结果。

阿里云日志服务SLS工作原理-云淘科技

基本概念

日志服务时序预测涉及的基本概念如下表所示。

术语 说明
作业 一个时序预测任务对应一个作业,包括数据特征、模型参数等信息。
实例 一个时序预测作业按照作业配置生成执行实例。每一个实例针对作业配置定时拉取数据,运行算法模型,分发预测结果。关于不同操作对实例的调度与执行的影响,请参见调度和执行场景。

  • 一个作业可生成一个或多个实例,但是无论是正常被调度还是您触发异常实例重试的情况,不存在多个实例同时执行的情况。
  • 目前不支持参数的热升级。当您修改作业配置后,智能巡检作业会重新创建一个新实例执行算法模型,与之前的实例无关。
实例ID 执行实例的唯一标识。
创建时间 实例创建的时间。一般是按照您配置的作业规则生成,在补运行或追赶延迟时会立即生成实例。
执行时间 实例开始执行的时间。如果重试作业,则表示最后一次开始执行的时间。
结束时间 实例执行结束的时间。如果重试任务,则表示最后一次执行结束的时间。
执行状态 实例的执行状态。取值:

  • 运行中(RUNNING)
  • 重试中(STARTING)
  • 成功(SUCCEEDED)
  • 失败(FAILED)
数据特征配置 数据特征配置中包含时间项、实体项和特征项等参数。更多信息,请参见数据特征配置参数说明。
算法配置 算法配置中包含周期配置、假日配置、预测配置(待测序列长度、置信度、采样数、预测频率和观测时长)等参数。更多信息,请参见算法配置参数说明。
预测结果 通过内置仪表盘展示预测结果。

调度和执行场景

一个作业可生成一个或多个实例,无论是正常被调度还是您触发异常实例重试的情况,同时只有一个实例处于运行中,不存在多个实例并发执行的情况。

主要的调度与执行场景如下表所示。

场景 说明
场景一:从当前时间开始执行时序预测作业 从当前时间发起作业,预测作业根据配置的观测长度读取历史数据,然后预测未来一段时间的时间序列。
场景二:从某个历史时间点开始执行时序预测作业 在指定的时间点创建时序预测作业后,按照作业规则对历史数据进行处理,算法模型会快速消费历史数据,并逐渐追上当前时间。
场景三:修改调度配置 修改调度配置后,下一个实例按照新配置生成。算法模型会记忆当前消费的时间位置,进而对新来的数据继续巡检。
场景四:重试失败的实例 如果实例执行失败(例如权限不足、源库不存在、目标库不存在、配置不合法等),系统支持自动重试。若您的状态一直显示启动中,可能是配置失败。错误日志会发送到您的internal-etl-log下,您可以检查下配置并重新发起。调度执行完成后,系统会根据实际执行情况变更实例状态为成功或失败。

使用建议

建议您在使用时序预测时,根据业务情况明确具体的监控项,从而实现高效的数据转化与预测。具体说明如下:

  • 上传数据到Logstore时,明确数据格式和字段的具体含义,确定观测时间间隔,从而完成巡检作业的快速配置。
  • 掌握所监控对象的时序数据变化情况,了解其稳定性和周期性,从而完成算法参数的合理配置。
  • 按整时(例如整秒、整分钟、整小时)对齐预测作业时间窗口。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/160919.html

(0)
上一篇 2023年12月10日 上午2:55
下一篇 2023年12月10日 上午2:56
详情页2

相关推荐

  • 阿里云日志服务SLSIP地址白名单-云淘科技

    从MySQL、SQL Server、Kafka等数据节点导入数据时,您需要为数据导入任务开启白名单,允许其可以访问这些数据节点。本文介绍数据导入任务对应的IP地址列表和示例。 IP地址列表 如果您的数据节点与数据导入任务所在的Project在相同地域的VPC环境中,则您需要在数据节点中添加VPC IP地址白名单。如果不是,则数据导入任务需通过公网访问您的数据…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云ECS云服务器高可用架构部署方案-云淘科技

    高可用架构提供业务分发、弹性扩展、多可用区部署等功能。相较于使用单台ECS实例部署数据库与应用,高可用架构只需简单部署,并且拥有更高的稳定性和可扩展性。 高可用架构特点 高可用架构具有如下特点: 使用多可用区高可用版的负载均衡CLB(Classic Load Balancer)对多台云服务器ECS进行流量分发,可扩展应用系统对外服务能力、消除单点故障,提升应…

    阿里云服务器 2023年12月9日
  • 阿里云日志服务SLS智能分析-异常根因定位分析利器-云淘科技

    日志服务Trace应用提供智能分析功能,用于分析可观测性数据和定位系统的异常根因。本文介绍可观测性数据的必要性、优势以及使用智能分析功能的方法。 系统必要属性-可观测性 随着IT系统几十年的飞速发展,开发模式、系统架构、部署模式和基础设施等都经历了多轮优化,实现了更快地开发和部署效率,但整个系统也更加复杂。开发需要依赖更多的人员和部门,部署模式和运行环境也变…

    2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云RDS数据库诊断报告-云淘科技

    数据库自治服务DAS(Database Autonomy Service)为RDS MySQL提供诊断报告功能,支持创建和查看诊断报告。 前提条件 实例为如下版本: RDS MySQL 8.0 高可用版或集群版 RDS MySQL 5.7 高可用版或集群版 RDS MySQL 5.6 高可用版 RDS MySQL 5.5 高可用版 操作步骤 访问RDS实例列…

    2023年12月9日
  • 阿里云云原生大数据计算服务 MaxCompute时区配置操作-云淘科技

    本文为您介绍如何使用SET命令配置MaxCompute Project的时区。 支持时区功能的作业如下: MapReduce支持时区功能。 Spark支持时区功能。 对于提交到MaxCompute计算集群的任务,可自动获取Project的时区。 对于通过yarn-client模式启动(例如spark-shell,spark-sql,pyspark等)的设置,…

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。