详情页标题前

阿里云日志服务SLS智能异常分析概述-云淘科技

详情页1

智能异常分析应用是一个可托管、高可用、可扩展的服务,主要提供智能巡检、文本分析和根因诊断三大能力。本文介绍智能异常分析应用的产品架构、功能优势、适用场景、核心名词、使用限制和费用说明等信息。

重要

目前仅限白名单用户使用根因诊断功能。如果您需要使用根因诊断功能,请提交工单申请。

产品试用

SLS Playground中的智能异常分析Demo,内置了实例、任务、演示数据、可视化图表等资源,提供了完整的演示环境,便于您快速了解及体验功能。

您可以单击智能异常分析,进行试用。

重要

SLS Playground中的数据为演示数据,请勿用于生产环境。

产品架构

智能异常分析应用围绕运维场景中的监控指标、程序日志、服务关系等核心要素展开,通过机器学习等手段产生异常事件,通过服务拓扑关联分析时序数据和事件,最终降低企业的运维复杂度,提高服务质量。产品架构图如下所示。

阿里云日志服务SLS智能异常分析概述-云淘科技

各功能组件说明如下:

  • 日志存储(Logstore):日志服务提供Logstore用于存储日志类型的数据,并在日志存储的基础上提供查询和分析(SQL92语法)功能。更多信息,请参见分析概述。

  • 时序存储(Metricstore):日志服务提供Metricstore用于存储时序数据,并在时序数据存储的基础上提供分析(SQL92语法、PromQL语法)功能。更多信息,请参见时序数据查询和分析简介。

  • 机器学习算法:通过对特定场景的深度整合,提供一系列针对时序数据和文本等相关的算法,生成异常数据。更多信息,请参见智能巡检算法说明、文本分析算法说明。

  • 告警(Alert Monitoring):支持对异常结果进行告警。更多信息,请参见什么是日志服务告警。

功能优势

  • 支持海量实体指标的智能异常检测,您无需关注具体的告警规则,通过简单的设置即可巡检各种异常。

  • 智能化地分析和挖掘非结构化文本日志,自动发现异常模式。

  • 支持您对算法产生的结果进行标注,帮助您逐步实现更好的模型训练和学习。

  • 依托于日志服务的高可用性与数据可靠性,告警服务的可用性达到99.9%。

  • 智能异常分析应用跟告警服务深度整合,让您拥有更完整的体验。

使用场景

在如下场景中,推荐使用智能异常分析应用。

  • 观察对象多且每个观察对象的观测维度也多。

  • 观测对象没有明确的阈值规则,但需要关注指标的形态。

  • 需要对观测对象编写大量的业务规则。

  • 处理非结构化的日志数据时,需要对文本日志中的模式进行挖掘。

  • 在Trace场景中,有明确的服务拓扑。

  • 存在自定义的服务拓扑。

核心名词

基本概念

说明

时序序列

在时序巡检任务的配置过程中,需要给算法提供标准的时间序列,即为Unix时间戳形式、等间隔的序列指标。

实体

智能巡检任务中的观测对象。

例如对某台机器上的某个特定的服务进行异常检测,通常对这个实体的描述为"192.0.2.0": 机器IP地址,"80": 服务端口号,则您通过机器IP地址、服务端口号即可唯一确定一个实体。

黄金指标

可以较准确的描述服务质量或者观测实体稳定性的指标。例如:

  • 描述一个域名的请求质量,则对应的黄金指标为每分钟平均响应延时、每分钟的请求数、每分钟的失败请求数、每分钟写入流量的大小。

  • 描述一个机器的状态,则对应的黄金指标为每分钟用户态CPU的利用率、每分钟内核态CPU的利用率、每分钟系统驻留内存的大小、每分钟磁盘IO次数、每分钟系统的平均负载。

  • 描述一个OSS Bucket的状态,则对应的黄金指标为每分钟该Bucket写入的次数、每分钟该Bucket读取的次数、每分钟该Bucket的写入流量的大小。

异常类型

内置7种常见的异常类型,用于快速筛选所需的关注点。更多信息,请参见智能巡检异常类型、文本分析异常类型。

归一化方法

归一化是一种简化计算的方式,即将有量纲的表达式转化为无量纲的表达式,成为标量,用于提升异常检测的效果。

滤波方法

滤波是将信号中特定波段频率滤除的操作,是抑制和防止干扰的一项重要措施。通过滤波后的曲线会平滑一些,用于提升异常检测的效果。

标注

您可以对智能巡检结果进行打标反馈,智能异常分析应用会接收到对应的信息。

误报

在时序巡检场景中,模型会检测出对应的异常,并通过告警渠道通知给您。如果您认为该结果不符合预期,则打标反馈给智能巡检应用,智能巡检应用将接收到此信息并进行机器学习。

漏报

在时序巡检场景中,如果模型未检测出对应的异常,您可以通过相应的组件对任意数据点的打标信息进行上报。

模式提取

通过分析、抽取、归纳的方法提取文本对象中的模式,用来描述一类相似文本的方法。

聚类

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合,这些对象与同一个簇中的对象彼此相似,与其他簇中的对象不同。

无监督

根据类别未知(未被标记)的训练样本解决模式识别中的各种问题。

有监督

有监督的学习是从标签化训练数据集中推断出函数或模型的机器学习任务。

日志常量

日志往往由程序中的logging语句或者print语句产生。例如connect mysql server, latency 212ms日志可能是通过日志输出语句logging.info("connect mysql server, latency %dms")产生。每次执行日志输出语句都包含的部分称为日志常量,例如connect mysql server, latency ms

日志变量

日志往往由程序中的logging语句或者print语句产生。例如connect mysql server, latency 212ms日志可能是通过日志输出语句logging.info("connect mysql server, latency %dms")产生。每次执行日志输出语句都变化的部分称为日志变量,例如示例中的数字212

日志模板

由日志中的常量部分和变量部分的通配符构成的文本被称为日志模板。

例如connect mysql server, latency 212ms日志对应的模板为connect mysql server, latency *ms,其中使用通配符星号(*)替换数字变量212

通配符可以根据变量类型的不同进行选择,例如可以使用NUM表示数字变量,则日志模板为connect mysql server, latency NUMms

日志类别

每个日志类别包含表示该类别的日志模板,如果日志内容与该日志模板匹配,那么就认为日志属于该日志类别。

使用限制

作业类型

限制项

说明

智能巡检

巡检实体规模

单个任务最多支持1万个巡检实体。

如果您需要巡检更大的实体规模,请提交工单进行申请。

巡检时序粒度

单个实体的曲线需要等间隔且连续,在SQL场景中最小支持分钟粒度。

如果您需要更细的巡检粒度,请提交工单进行申请。

异常结果通知

目前只有钉钉机器人通知渠道支持异常结果的打标反馈。

如果您需要其他通知渠道,请提交工单进行申请。

文本分析

文本字段规模

单任务最多可以配置5个文本字段。

通识字段模板规模

单任务最多可以配置6个通识模板。

费用说明

目前智能巡检应用处于公测阶段,不会产生费用。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/159942.html

(0)
上一篇 2023年12月10日 上午2:02
下一篇 2023年12月10日 上午2:03
详情页2

相关推荐

  • 阿里云日志服务SLS任务监控大盘异常处理-云淘科技

    本文通过具体案例介绍如何在CloudLens for SLS中解决Project任务监控大盘异常问题。 重要 阿里云账号具有所有资源的所有权,可以直接操作CloudLens for SLS。但是使用RAM用户操作时,需确保RAM用户具有CloudLens for SLS的只读权限或读写权限。授权操作,请参见授予RAM用户操作CloudLens for SLS…

    2023年12月10日
  • 阿里云日志服务SLS使用Java SDK创建定时SQL任务-云淘科技

    本文介绍通过Java SDK创建定时SQL任务的代码示例。 前提条件 已创建RAM用户并完成授权。具体操作,请参见创建RAM用户并完成授权。 已配置环境变量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作,请参见配置环境变量。 重要 阿里云账号的AccessKey拥有所有API的…

    2023年12月10日
  • 阿里云日志服务SLS开启日志采集功能-云淘科技

    CloudLens for SLS支持一键开启日志采集功能,用于采集日志服务重要日志、详细日志、任务运行日志、计费日志、错误日志、监控指标和审计日志。本文介绍开启日志采集功能的操作步骤及相关操作。 前提条件 已创建Project。具体操作,请参见创建Project。 配置权限 重要 本操作只需执行一次。 登录日志服务控制台。 在日志应用区域的云产品Lens页…

    阿里云日志服务SLS 2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云日志服务SLS使用前须知-云淘科技

    日志服务提供基于原生OpenTelemetry协议的分布式链路追踪功能,支持各类Trace数据的接入、存储、分析、可视化、告警、人工智能运维等。本文介绍日志服务分布式链路追踪功能(Trace服务)相关的背景信息、方案介绍、资产说明、费用等。 重要 日志服务推出全栈可观测应用,提供一站式IT系统可观测方案,包含全栈监控、全链路Trace、移动运维监控、性能监控…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云日志服务SLS管理Logtail采集配置-云淘科技

    本文介绍如何在日志服务控制台上创建、查看、修改及删除Logtail采集配置等操作。 创建Logtail采集配置 在日志服务控制台上创建Logtail采集配置,详情请参见采集文本日志。 查看Logtail采集配置 登录日志服务控制台。 在Project列表区域,单击目标Project。 在日志存储 > 日志库页签中,单击目标日志库前面的>,依次选择…

    阿里云日志服务SLS 2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。