详情页标题前

阿里云日志服务SLS结果字段说明-云淘科技

详情页1

智能异常分析的结果数据保存在名为internal-ml-log的Logstore中。本文介绍结果数据中的字段详情。

通用的tag结构说明

各类任务的结果数据中都包含如下通用字段。说明 您可以通过__tag__:__job_name__和__tag__:__schedule_id__字段,查询对应任务的结果数据。

__tag__:__apply_time__:1638414250
__tag__:__batch_id__:a8343****5b0fd
__tag__:__data_type__:anomaly_detect
__tag__:__instance_name__:29030-****7bcdd
__tag__:__job_name__:etl-1637****3966-398245
__tag__:__model_name__:d52b5****c45397
__tag__:__region__:chengdu
__tag__:__schedule_id__:2457f****ebcdd
字段名称 说明
__tag__:__apply_time__ 模型对批次数据进行巡检的时间,单位:秒。
__tag__:__batch_id__ 批次ID。每次算法执行所处理的一批数据,被标记为同一个批次ID。
__tag__:__data_type__ 数据类型。

  • job_statistic:任务运行中的统计数据。
  • job_progress:实体巡检进度的输出数据。
  • anomaly_detect:异常结果数据。
  • detection_process:模型训练任务的检测结果数据。
  • eval_report:模型训练任务运行结束后,各个实体验证集的结果数据。
__tag__:__instance_name__ 任务实例名,由Project ID与Schedule ID组成。

每个智能巡检任务对应后台服务端的实例名。

__tag__:__job_name__ 任务名,在同一Project下唯一。
__tag__:__model_name__ 模型名。任务中的每个实体都会单独创建一个模型进行智能巡检,每一个模型名对应一个时序实体。
__tag__:__region__ 任务所在的地域。
__tag__:__schedule_id__ 任务实例ID。

每个任务对应后台服务端的实例ID。

智能巡检(模型训练)

不同的__tag__:__data_type__字段值,代表不同类型的日志。

任务运行中的统计数据

当您的模型训练任务结果数据中的__tag__:__data_type__字段值为job_statistic时,表示该数据为模型训练任务运行中的统计数据。

字段名称 说明
meta 模型训练任务数据源所在的Project、Logstore信息。JSON数据格式。
project_name 模型训练任务数据源所在的Project。
logstore_name 模型训练任务数据源所在的Logstore。
result 结果内容。JSON数据格式。
event_msg 模型训练任务在该时间点的进度信息。
occ_time 模型训练任务进度对应的时间戳。
tips 模型训练任务进度的简介信息,例如保存模型完成。

模型训练任务的检测结果

当您的模型训练任务结果数据中的__tag__:__data_type__字段值为job_statistic时,表示该数据为模型训练任务的检测结果。

字段名称 说明
meta 模型训练任务数据源所在的Project、Logstore信息。JSON数据格式。
project_name 模型训练任务数据源所在的Project。
logstore_name 模型训练任务数据源所在的Logstore。
result 结果内容。JSON数据格式。
dim_name 该实体的某个特征名称。
score 在某个时间点,该实体的某个特征的异常分数。
value 在某个时间点,该实体的某个特征值大小。
is_train_step 该实体下该点是否属于训练集。

验证集的结果数据

当您的模型训练任务结果数据中的__tag__:__data_type__字段值为eval_report时,表示该数据为任务运行结束后各实体验证集的结果数据。

字段名称 说明
entity 标识模型所在的实体信息。键值对格式。
meta 模型训练任务数据源所在的Project、Logstore信息。JSON数据格式。
project_name 标识模型训练任务的数据所在Project名称。
logstore_name 标识模型训练任务的数据所在Logstore名称。
result 结果内容。JSON数据格式。
evaluation_metrics.auc 该实体训练的监督模型所计算的验证集auc值。
evaluation_metrics.macro_f1 该实体训练的监督模型所计算的验证集macro f1 score值。
evaluation_metrics.precision 该实体训练的监督模型所计算的验证集precision值。
evaluation_metrics.recall 该实体训练的监督模型所计算的验证集recall值。
time_config.training_start_time 该实体下模型训练的开始时间,单位:秒。
time_config.training_stop_time 该实体下模型训练的结束时间,单位:秒。
time_config.validation_end_time 该实体下模型验证的结束时间,单位:秒。
time_config.predict_time 该实体下模型验证的时间,单位:秒。
time_config.train_time 该实体下模型训练的时间,单位:秒。
statistic.train_data_meta.train_anomaly_num 该实体下训练集的异常点个数。
statistic.train_data_meta.train_data_length 该实体下训练集的长度。
statistic.evaluation_data_meta.evaluation_anomaly_num 该实体下验证集的异常点个数。
statistic.evaluation_data_meta.evaluation_data_length 该实体下验证集的长度。

智能巡检(实时巡检)

不同的__tag__:__data_type__字段值,代表不同类型的日志。

任务在运行中的统计数据

当您的实时巡检任务结果数据中的__tag__:__data_type__字段值为job_statistic时,表示该数据为实时巡检任务在运行中的统计数据。

{
  "__tag__:__job_name__": "etl-1637133966-398245",
  "__tag__:__region__": "chengdu",
  "__tag__:__data_type__": "job_statistic",
  "__tag__:__apply_time__": "1638415928",
  "__tag__:__instance_name__": "29030-2457fbbd724de9421da8c73d37debcdd",
  "result": {
    "maxEntity": {
      "host": "machine_001",
      "ip": "192.0.2.1"
    },
    "maxTime": 1638415994,
    "minEntity": {
      "host": "machine_001",
      "ip": "192.0.2.1"
    },
    "minTime": 1638415994,
    "nTotalEntity": 1
  }
}
字段名称 说明
result 结果项。JSON类型。
maxEntity 距离当前数据消费最近时间点的实体信息。
maxTime 距离当前数据消费最近实体的时间点。
nTotalEntity 当前任务中被检测的实体数量。

实体巡检进度的输出数据

当您的实时巡检任务结果数据中的__tag__:__data_type__字段值为job_progress时,表示该数据为实体巡检进度的输出数据。实体巡检进度的输出数据可协助您判断是否出现了一个新实体、实体中是否已没有数据等问题。

{
  "__tag__:__job_name__": "etl-1637133966-398245",
  "__tag__:__region__": "chengdu",
  "__tag__:__data_type__": "job_progress",
  "__tag__:__apply_time__": "1638415883",
  "__tag__:__instance_name__": "29030-2457fbbd724de9421da8c73d37debcdd",
  "result": {
    "new_entity": false,
    "recently_arrived_time": 1638415994
  },
  "meta": {
    "logstore_name": "machine_monitor",
    "project_name": "sls-ml-demo"
  },
  "entity": {
    "host": "machine_001",
    "ip": "192.0.2.1"
  }
}
字段名称 说明
meta 当前任务所在的Project、Logstore信息,JSON数据类型。
project_name 实时巡检任务数据源所在的Project。
logstore_name 实时巡检任务数据源所在的Logstore。
result 结果项,JSON数据类型。
new_entity 判断是否为新实体。
recently_arrived_time 当前实体(entity字段)中最后一条有效数据的时间戳。
entity 实体信息,字典类型。

异常结果数据

当您的实时巡检任务结果数据中的__tag__:__data_type__字段值为anomaly_detect时,表示该数据为异常结果数据。

{
  "__time__": 1638416474,
  "__tag__:__batch_id__": "a5870979816fc507cbeebc6b1133af0a",
  "__tag__:__schedule_id__": "2457fbbd724de9421da8c73d37debcdd",
  "__tag__:__apply_time__": "1638416291",
  "__tag__:__job_name__": "etl-1637133966-398245",
  "__tag__:__model_name__": "d52b59a6bfb3adcf2ee62a5064c45397",
  "__tag__:__data_type__": "anomaly_detect",
  "__tag__:__region__": "chengdu",
  "__tag__:__instance_name__": "29030-2457fbbd724de9421da8c73d37debcdd",
  "result": {
    "anomaly_type": "None",
    "dim_name": "value",
    "is_anomaly": false,
    "score": 0,
    "value": "0.780000"
  },
  "meta": {
    "logstore_name": "machine_monitor",
    "project_name": "sls-ml-demo"
  },
  "entity": {
    "host": "machine_001",
    "ip": "192.0.2.1"
  }
}
字段名称 说明
entity 实体项,JSON类型,来源于原始数据。用于标明一个监控实体的具体项。
meta 配置项,JSON类型,来源于智能巡检任务的配置信息。
project_name Logstore所在的Project。
logstore_name 数据源所在的Logstore。
result 结果项。输出每一个数据点的智能巡检结果。
dim_name 数值关键字,来源于原始数据。

无论是单维时序还是多维时序,巡检输出的每个result都是指单维时序单个值的巡检结果。

value 数值关键字的取值,来源于原始数据。用于标明原始数据中某个关键词的取值,即result.dim_name中关键字的取值。
score 异常分数,模型对异常程度的量化结果。取值范围[0,1],分数越高,异常程度越高。
is_anomaly 是否异常判断。

  • 如果result.score大于0.5,则判断为异常(true)。
  • 如果result.score大于0.75,则判断为异常(true),并且触发告警。
anomaly_type 异常类型。模型对于异常现场的初步类型判别,包括5种类型:突刺、漂移、抖动、缺失、过阈值。更多信息,请参见异常类型说明。

文本分析

文本分析结果中的通用字段说明如下表所示(通用的tag字段除外)。

字段名称 说明
algo_type 算法类型。
result_type 结果类型,JSON类型。
result 结果内容,JSON类型。

result字段的值取决于result_type字段。

meta 元数据信息,JSON类型。
project_name Logstore所在的Project。
logstore_name 数据源所在的Logstore。
topic 数据源的日志主题。
query 拉取数据的方式,例如消费组方式。
win_size 时间窗口长度。
version 算法的版本号。

其中,result字段的值取决于result_type字段。result字段的详细说明如下所示。

result_type字段为cluster_info

当result_type字段为cluster_info时,result字段中包含日志类别信息,内容如下:

"result": {
  "cluster_id": "xxxx",
  "cluster_pattern": "xxxx",
  "cluster_active_age": 120,
  "cluster_alive_age": 150,
  "anomaly_score": 0.1,
  "count": 2,
  "source": []
}
字段名称 说明
result.cluster_id 日志类别ID。
result.cluster_pattern 日志类别模板。
result.cluster_active_age 日志类别活跃的时间窗口数量。

在时间窗口中有该日志类别的日志出现表示该日志类别在该窗口中活跃。

result.cluster_alive_age 日志类别从第一次出现到目前为止的时间窗口数量。
result.anomaly_score 日志类别的异常分数。
result.count 日志类别包含的日志数量。
result.source 日志模板中变量部分可能的取值。

result_type字段为group_info

当result_type字段为group_info时,result字段中包含日志类别组的信息,内容如下:

"result": {
  "group_anomaly_score": 0.1,
  "group_age": 10,
  "group_n_event": 190,
  "group_n_cluster": 10
}
字段名称 说明
result.group_anomaly_score 日志类别群组的异常分数。
result.group_age 当前是第几个时间窗口。
result.group_n_event 群组中(当前时间窗口中)所有日志的数量。
result.group_n_cluster 群组中(当前时间窗口中)所有日志类别的数量。

result_type字段为anomaly_info

当result_type字段为anomaly_info时,result字段中包含异常事件的信息,内容如下:

"result": {
  "anomaly_id": "xxxx",
  "anomaly_type": "xxxx",
  "value": 0,
  "anomaly_score": 0.0,
  "expect_lower": 0.0,
  "expect_upper": 0.0
}
字段名称 说明
result.anomaly_id 异常的日志类别ID。
result.anomaly_type 异常类型。
result.value 事件取值。

result.anomaly_type字段值不同,result.value字段代表的含义不同。

result.anomaly_score 异常分数。
result.expect_lower 您所期望的事件取值(result.value字段)的下边界。
result.expect_upper 您所期望的事件取值(result.value字段)的上边界。

时序预测

时序预测结果中的通用字段说明如下表所示(通用的tag字段除外)。

字段 说明
algo_type 算法类型。取值为series_prediction。
result_type 结果类型,JSON类型。

预测成功时,取值为prediction_ok;预测异常时,取值为prediction_error。

result 结果内容,JSON类型。

result字段的值取决于result_type字段。

meta 元数据信息,JSON类型。
project_name Logstore所在的Project。
logstore_name 数据源所在的Logstore。
topic 数据源的日志主题。
version 算法的版本号。

其中,result字段的值取决于result_type字段。result字段的详细说明如下所示。

result_type字段为prediction_ok

当result_type字段为prediction_ok时,表示预测成功,每条日志中包含了对时序中一个时序点的预测结果。对应的result字段结构如下:

{
  "entity": "xxxx",
  "metric": "xxxx",
  "time": xxxx,
  "value": "xxxx",
  "expect_value": "xxxx",
  "expect_lower": "xxxx",
  "expect_upper": "xxxx"
}
字段 说明
result.entity 预测时序中的实体ID。
result.metric 预测时序中的指标。
result.time 预测时序中当前时序点的时间戳。
result.value 预测时序中当前时序点的实际值。
result.expect_value 预测时序中当前时序点的预测值。
result.expect_lower 预测时序中当前时序点的预测下界。
result.expect_upper 预测时序中当前时序点的预测上界。

result_type字段值为prediction_error

当result_type字段为prediction_error时(此时__tag__:__data_type__ 字段值为job_error_message),表示在预测过程中出现异常,对应的result字段结构如下:

{
  "entity": "xxxx",
  "metric": "xxxx",
  "error_type": "xxxx",
  "error_msg": "xxxx"
}
字段 说明
result.entity 异常的预测时序中的实体ID。
result.metric 异常的预测时序中的指标。
result.error_type 异常类型。
result.error_msg 异常详情。

下探分析

下探分析结果中的通用字段说明如下表所示(通用的tag字段除外)。

字段 说明
result 结果内容,JSON 类型。

result字段的值取决于__tag__:__data_type__字段。

不同的__tag__:__data_type__字段值,代表不同类型的日志。

下探分析任务的进度信息

当__tag__:__data_type__的值为job_progress时,result字段中包含下探分析任务的进度信息。

字段 说明
result.from_ts 任务的开始时间。
result.to_ts 任务的结束时间。其中,inf表示任务持续运行。
result.progress 任务的当前进度。
result.message 任务当前进度的状态信息。

下探分析任务的状态信息

当__tag__:__data_type__字段的值为job_status时,result字段中包含下探分析任务的状态信息。

字段 说明
result.from_ts 任务的开始时间。
result.to_ts 任务的结束时间。其中,inf表示任务持续运行。
result.status 任务的状态。
result.message 任务的状态信息。

下探分析检测到的根因信息

当__tag__:__data_type__字段的值为root_cause时,result字段中包含下探分析检测到的根因信息。

字段 说明
result.status 是否找到事件根因,具体说明如下:

  • success:找到。
  • fail:未找到。
result.snapshot_time 下探分析时使用哪个时间点的多维时序数据。
result.elapsed_time 对事件进行根因分析所用的时间。
result.event_info 触发根因分析的事件。
result.root_cause 当result.status为success时,表示根因分析结果。
result.reason 当result.status为fail时,表示未找到根因分析结果的原因。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/165627.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云日志服务SLS处理日期时间-云淘科技

    处理日期时间,将方便您对日志后续查询与可视化展示。本文档主要介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 SLS DSL语法中的日期时间处理主要涉及三种数据类型:日期时间字符串、日期时间对象和Unix时间戳。 日期时间字符串 日期时间字符串的主要用途是为了便于展示以及提升用户可读性。SLS DSL语法中的日期时间字符串主要分为两种形式: 带…

    2023年12月10日
  • 阿里云日志服务SLSCreateIndex-云淘科技

    调用CreateIndex接口为指定Logstore创建索引。 接口说明 请求语法中Host由Project名称和日志服务Endpoint构成,您需要在Host中指定Project。 已创建并获取AccessKey。更多信息,请参见访问密钥。 阿里云账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运…

    阿里云日志服务SLS 2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云日志服务SLS采集MySQL查询结果-云淘科技

    本文介绍如何通过日志服务控制台创建Logtail采集配置来采集MySQL查询结果。 前提条件 已在服务器上安装Linux Logtail 0.16.0及以上版本或Window Logtail 1.0.0.8及以上版本。具体操作,请参见安装Logtail(Linux系统)或安装Logtail(Windows系统)。重要 请确保用于安装Logtail的服务器可连…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云云原生大数据计算服务 MaxCompute多类目测试-云淘科技

    本文为您介绍多类目测试的结论及测试过程。 测试结论 Proxima CE对于多类目场景的按类目检索、类目多标签检索符合预期。 测试过程 测试方法。 case1: 生成一批多类目数据,各类目对应的文档数量为1、5、10、20、30,query数据中各类目对应的数量为5、10、20、 5、10,类目阈值假定为15,小类目的行数为2,列数为3,大类目并发度为3,t…

  • 阿里云大数据开发治理平台 DataWorks数据开发-云淘科技

    本文从需求分析、规划业务流程、规划表管理、同步数据以及加工数据几方面,为您介绍数据开发。 需求分析 将MySQL的数据采集到MaxCompute 贴源层表中,进行清洗和加工,产出最终的概览应用表。 规划业务流程 业务流程是DataWorks针对业务实体抽象出来的概念,帮助您从业务视角组织代码的开发,提高任务管理效率。 本实验中参考数据建模的分层划域,新建“零…

    2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。