详情页标题前

阿里云日志服务SLS结果字段说明-云淘科技

详情页1

智能异常分析的结果数据保存在名为internal-ml-log的Logstore中。本文介绍结果数据中的字段详情。

通用的tag结构说明

各类任务的结果数据中都包含如下通用字段。说明 您可以通过__tag__:__job_name__和__tag__:__schedule_id__字段,查询对应任务的结果数据。

__tag__:__apply_time__:1638414250
__tag__:__batch_id__:a8343****5b0fd
__tag__:__data_type__:anomaly_detect
__tag__:__instance_name__:29030-****7bcdd
__tag__:__job_name__:etl-1637****3966-398245
__tag__:__model_name__:d52b5****c45397
__tag__:__region__:chengdu
__tag__:__schedule_id__:2457f****ebcdd
字段名称 说明
__tag__:__apply_time__ 模型对批次数据进行巡检的时间,单位:秒。
__tag__:__batch_id__ 批次ID。每次算法执行所处理的一批数据,被标记为同一个批次ID。
__tag__:__data_type__ 数据类型。

  • job_statistic:任务运行中的统计数据。
  • job_progress:实体巡检进度的输出数据。
  • anomaly_detect:异常结果数据。
  • detection_process:模型训练任务的检测结果数据。
  • eval_report:模型训练任务运行结束后,各个实体验证集的结果数据。
__tag__:__instance_name__ 任务实例名,由Project ID与Schedule ID组成。

每个智能巡检任务对应后台服务端的实例名。

__tag__:__job_name__ 任务名,在同一Project下唯一。
__tag__:__model_name__ 模型名。任务中的每个实体都会单独创建一个模型进行智能巡检,每一个模型名对应一个时序实体。
__tag__:__region__ 任务所在的地域。
__tag__:__schedule_id__ 任务实例ID。

每个任务对应后台服务端的实例ID。

智能巡检(模型训练)

不同的__tag__:__data_type__字段值,代表不同类型的日志。

任务运行中的统计数据

当您的模型训练任务结果数据中的__tag__:__data_type__字段值为job_statistic时,表示该数据为模型训练任务运行中的统计数据。

字段名称 说明
meta 模型训练任务数据源所在的Project、Logstore信息。JSON数据格式。
project_name 模型训练任务数据源所在的Project。
logstore_name 模型训练任务数据源所在的Logstore。
result 结果内容。JSON数据格式。
event_msg 模型训练任务在该时间点的进度信息。
occ_time 模型训练任务进度对应的时间戳。
tips 模型训练任务进度的简介信息,例如保存模型完成。

模型训练任务的检测结果

当您的模型训练任务结果数据中的__tag__:__data_type__字段值为job_statistic时,表示该数据为模型训练任务的检测结果。

字段名称 说明
meta 模型训练任务数据源所在的Project、Logstore信息。JSON数据格式。
project_name 模型训练任务数据源所在的Project。
logstore_name 模型训练任务数据源所在的Logstore。
result 结果内容。JSON数据格式。
dim_name 该实体的某个特征名称。
score 在某个时间点,该实体的某个特征的异常分数。
value 在某个时间点,该实体的某个特征值大小。
is_train_step 该实体下该点是否属于训练集。

验证集的结果数据

当您的模型训练任务结果数据中的__tag__:__data_type__字段值为eval_report时,表示该数据为任务运行结束后各实体验证集的结果数据。

字段名称 说明
entity 标识模型所在的实体信息。键值对格式。
meta 模型训练任务数据源所在的Project、Logstore信息。JSON数据格式。
project_name 标识模型训练任务的数据所在Project名称。
logstore_name 标识模型训练任务的数据所在Logstore名称。
result 结果内容。JSON数据格式。
evaluation_metrics.auc 该实体训练的监督模型所计算的验证集auc值。
evaluation_metrics.macro_f1 该实体训练的监督模型所计算的验证集macro f1 score值。
evaluation_metrics.precision 该实体训练的监督模型所计算的验证集precision值。
evaluation_metrics.recall 该实体训练的监督模型所计算的验证集recall值。
time_config.training_start_time 该实体下模型训练的开始时间,单位:秒。
time_config.training_stop_time 该实体下模型训练的结束时间,单位:秒。
time_config.validation_end_time 该实体下模型验证的结束时间,单位:秒。
time_config.predict_time 该实体下模型验证的时间,单位:秒。
time_config.train_time 该实体下模型训练的时间,单位:秒。
statistic.train_data_meta.train_anomaly_num 该实体下训练集的异常点个数。
statistic.train_data_meta.train_data_length 该实体下训练集的长度。
statistic.evaluation_data_meta.evaluation_anomaly_num 该实体下验证集的异常点个数。
statistic.evaluation_data_meta.evaluation_data_length 该实体下验证集的长度。

智能巡检(实时巡检)

不同的__tag__:__data_type__字段值,代表不同类型的日志。

任务在运行中的统计数据

当您的实时巡检任务结果数据中的__tag__:__data_type__字段值为job_statistic时,表示该数据为实时巡检任务在运行中的统计数据。

{
  "__tag__:__job_name__": "etl-1637133966-398245",
  "__tag__:__region__": "chengdu",
  "__tag__:__data_type__": "job_statistic",
  "__tag__:__apply_time__": "1638415928",
  "__tag__:__instance_name__": "29030-2457fbbd724de9421da8c73d37debcdd",
  "result": {
    "maxEntity": {
      "host": "machine_001",
      "ip": "192.0.2.1"
    },
    "maxTime": 1638415994,
    "minEntity": {
      "host": "machine_001",
      "ip": "192.0.2.1"
    },
    "minTime": 1638415994,
    "nTotalEntity": 1
  }
}
字段名称 说明
result 结果项。JSON类型。
maxEntity 距离当前数据消费最近时间点的实体信息。
maxTime 距离当前数据消费最近实体的时间点。
nTotalEntity 当前任务中被检测的实体数量。

实体巡检进度的输出数据

当您的实时巡检任务结果数据中的__tag__:__data_type__字段值为job_progress时,表示该数据为实体巡检进度的输出数据。实体巡检进度的输出数据可协助您判断是否出现了一个新实体、实体中是否已没有数据等问题。

{
  "__tag__:__job_name__": "etl-1637133966-398245",
  "__tag__:__region__": "chengdu",
  "__tag__:__data_type__": "job_progress",
  "__tag__:__apply_time__": "1638415883",
  "__tag__:__instance_name__": "29030-2457fbbd724de9421da8c73d37debcdd",
  "result": {
    "new_entity": false,
    "recently_arrived_time": 1638415994
  },
  "meta": {
    "logstore_name": "machine_monitor",
    "project_name": "sls-ml-demo"
  },
  "entity": {
    "host": "machine_001",
    "ip": "192.0.2.1"
  }
}
字段名称 说明
meta 当前任务所在的Project、Logstore信息,JSON数据类型。
project_name 实时巡检任务数据源所在的Project。
logstore_name 实时巡检任务数据源所在的Logstore。
result 结果项,JSON数据类型。
new_entity 判断是否为新实体。
recently_arrived_time 当前实体(entity字段)中最后一条有效数据的时间戳。
entity 实体信息,字典类型。

异常结果数据

当您的实时巡检任务结果数据中的__tag__:__data_type__字段值为anomaly_detect时,表示该数据为异常结果数据。

{
  "__time__": 1638416474,
  "__tag__:__batch_id__": "a5870979816fc507cbeebc6b1133af0a",
  "__tag__:__schedule_id__": "2457fbbd724de9421da8c73d37debcdd",
  "__tag__:__apply_time__": "1638416291",
  "__tag__:__job_name__": "etl-1637133966-398245",
  "__tag__:__model_name__": "d52b59a6bfb3adcf2ee62a5064c45397",
  "__tag__:__data_type__": "anomaly_detect",
  "__tag__:__region__": "chengdu",
  "__tag__:__instance_name__": "29030-2457fbbd724de9421da8c73d37debcdd",
  "result": {
    "anomaly_type": "None",
    "dim_name": "value",
    "is_anomaly": false,
    "score": 0,
    "value": "0.780000"
  },
  "meta": {
    "logstore_name": "machine_monitor",
    "project_name": "sls-ml-demo"
  },
  "entity": {
    "host": "machine_001",
    "ip": "192.0.2.1"
  }
}
字段名称 说明
entity 实体项,JSON类型,来源于原始数据。用于标明一个监控实体的具体项。
meta 配置项,JSON类型,来源于智能巡检任务的配置信息。
project_name Logstore所在的Project。
logstore_name 数据源所在的Logstore。
result 结果项。输出每一个数据点的智能巡检结果。
dim_name 数值关键字,来源于原始数据。

无论是单维时序还是多维时序,巡检输出的每个result都是指单维时序单个值的巡检结果。

value 数值关键字的取值,来源于原始数据。用于标明原始数据中某个关键词的取值,即result.dim_name中关键字的取值。
score 异常分数,模型对异常程度的量化结果。取值范围[0,1],分数越高,异常程度越高。
is_anomaly 是否异常判断。

  • 如果result.score大于0.5,则判断为异常(true)。
  • 如果result.score大于0.75,则判断为异常(true),并且触发告警。
anomaly_type 异常类型。模型对于异常现场的初步类型判别,包括5种类型:突刺、漂移、抖动、缺失、过阈值。更多信息,请参见异常类型说明。

文本分析

文本分析结果中的通用字段说明如下表所示(通用的tag字段除外)。

字段名称 说明
algo_type 算法类型。
result_type 结果类型,JSON类型。
result 结果内容,JSON类型。

result字段的值取决于result_type字段。

meta 元数据信息,JSON类型。
project_name Logstore所在的Project。
logstore_name 数据源所在的Logstore。
topic 数据源的日志主题。
query 拉取数据的方式,例如消费组方式。
win_size 时间窗口长度。
version 算法的版本号。

其中,result字段的值取决于result_type字段。result字段的详细说明如下所示。

result_type字段为cluster_info

当result_type字段为cluster_info时,result字段中包含日志类别信息,内容如下:

"result": {
  "cluster_id": "xxxx",
  "cluster_pattern": "xxxx",
  "cluster_active_age": 120,
  "cluster_alive_age": 150,
  "anomaly_score": 0.1,
  "count": 2,
  "source": []
}
字段名称 说明
result.cluster_id 日志类别ID。
result.cluster_pattern 日志类别模板。
result.cluster_active_age 日志类别活跃的时间窗口数量。

在时间窗口中有该日志类别的日志出现表示该日志类别在该窗口中活跃。

result.cluster_alive_age 日志类别从第一次出现到目前为止的时间窗口数量。
result.anomaly_score 日志类别的异常分数。
result.count 日志类别包含的日志数量。
result.source 日志模板中变量部分可能的取值。

result_type字段为group_info

当result_type字段为group_info时,result字段中包含日志类别组的信息,内容如下:

"result": {
  "group_anomaly_score": 0.1,
  "group_age": 10,
  "group_n_event": 190,
  "group_n_cluster": 10
}
字段名称 说明
result.group_anomaly_score 日志类别群组的异常分数。
result.group_age 当前是第几个时间窗口。
result.group_n_event 群组中(当前时间窗口中)所有日志的数量。
result.group_n_cluster 群组中(当前时间窗口中)所有日志类别的数量。

result_type字段为anomaly_info

当result_type字段为anomaly_info时,result字段中包含异常事件的信息,内容如下:

"result": {
  "anomaly_id": "xxxx",
  "anomaly_type": "xxxx",
  "value": 0,
  "anomaly_score": 0.0,
  "expect_lower": 0.0,
  "expect_upper": 0.0
}
字段名称 说明
result.anomaly_id 异常的日志类别ID。
result.anomaly_type 异常类型。
result.value 事件取值。

result.anomaly_type字段值不同,result.value字段代表的含义不同。

result.anomaly_score 异常分数。
result.expect_lower 您所期望的事件取值(result.value字段)的下边界。
result.expect_upper 您所期望的事件取值(result.value字段)的上边界。

时序预测

时序预测结果中的通用字段说明如下表所示(通用的tag字段除外)。

字段 说明
algo_type 算法类型。取值为series_prediction。
result_type 结果类型,JSON类型。

预测成功时,取值为prediction_ok;预测异常时,取值为prediction_error。

result 结果内容,JSON类型。

result字段的值取决于result_type字段。

meta 元数据信息,JSON类型。
project_name Logstore所在的Project。
logstore_name 数据源所在的Logstore。
topic 数据源的日志主题。
version 算法的版本号。

其中,result字段的值取决于result_type字段。result字段的详细说明如下所示。

result_type字段为prediction_ok

当result_type字段为prediction_ok时,表示预测成功,每条日志中包含了对时序中一个时序点的预测结果。对应的result字段结构如下:

{
  "entity": "xxxx",
  "metric": "xxxx",
  "time": xxxx,
  "value": "xxxx",
  "expect_value": "xxxx",
  "expect_lower": "xxxx",
  "expect_upper": "xxxx"
}
字段 说明
result.entity 预测时序中的实体ID。
result.metric 预测时序中的指标。
result.time 预测时序中当前时序点的时间戳。
result.value 预测时序中当前时序点的实际值。
result.expect_value 预测时序中当前时序点的预测值。
result.expect_lower 预测时序中当前时序点的预测下界。
result.expect_upper 预测时序中当前时序点的预测上界。

result_type字段值为prediction_error

当result_type字段为prediction_error时(此时__tag__:__data_type__ 字段值为job_error_message),表示在预测过程中出现异常,对应的result字段结构如下:

{
  "entity": "xxxx",
  "metric": "xxxx",
  "error_type": "xxxx",
  "error_msg": "xxxx"
}
字段 说明
result.entity 异常的预测时序中的实体ID。
result.metric 异常的预测时序中的指标。
result.error_type 异常类型。
result.error_msg 异常详情。

下探分析

下探分析结果中的通用字段说明如下表所示(通用的tag字段除外)。

字段 说明
result 结果内容,JSON 类型。

result字段的值取决于__tag__:__data_type__字段。

不同的__tag__:__data_type__字段值,代表不同类型的日志。

下探分析任务的进度信息

当__tag__:__data_type__的值为job_progress时,result字段中包含下探分析任务的进度信息。

字段 说明
result.from_ts 任务的开始时间。
result.to_ts 任务的结束时间。其中,inf表示任务持续运行。
result.progress 任务的当前进度。
result.message 任务当前进度的状态信息。

下探分析任务的状态信息

当__tag__:__data_type__字段的值为job_status时,result字段中包含下探分析任务的状态信息。

字段 说明
result.from_ts 任务的开始时间。
result.to_ts 任务的结束时间。其中,inf表示任务持续运行。
result.status 任务的状态。
result.message 任务的状态信息。

下探分析检测到的根因信息

当__tag__:__data_type__字段的值为root_cause时,result字段中包含下探分析检测到的根因信息。

字段 说明
result.status 是否找到事件根因,具体说明如下:

  • success:找到。
  • fail:未找到。
result.snapshot_time 下探分析时使用哪个时间点的多维时序数据。
result.elapsed_time 对事件进行根因分析所用的时间。
result.event_info 触发根因分析的事件。
result.root_cause 当result.status为success时,表示根因分析结果。
result.reason 当result.status为fail时,表示未找到根因分析结果的原因。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/165637.html

(0)
上一篇 2023年12月10日 上午7:54
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云日志服务SLS创建Trace实例-云淘科技

    日志服务Trace实例用于管理各类已采集到的Trace数据,包括查询和分析Trace数据、查看Trace数据详情、查看服务指标等。本文介绍创建Trace实例的操作步骤。 操作步骤 登录日志服务控制台。 在日志应用区域的智能运维页签下,单击Trace服务。 单击创建实例。 在创建实例页面,配置如下参数,然后单击确定。 参数 描述 Trace实例名称 Trace…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云日志服务SLS友盟日志分析-云淘科技

    阿里云日志服务和友盟联合推出实时日志订阅功能,将友盟数据开放平台U-DOP的各类明细数据一键实时同步至日志服务,实现日志实时查询、可视化分析、告警、投递、加工等操作。 内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家阿里云企业补贴进行中: 马上申请腾讯云限时活动1折起,即将结束: 马上收藏同尘科技为腾讯云授权服务中心。 购买腾讯云产品享受折上折,…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云大数据开发治理平台 DataWorks安全中心-云淘科技

    本文汇总了DataWorks安全中心的相关问题。 通过安全中心可以申请什么权限? 数据管理和安全中心是什么关系? 为什么在申请时,有时可以选择字段,有时不可以选择? 提交申请后,需要谁进行审批? 为什么提交了一个申请,在我的申请中却看到两个申请单? 为什么有的字段只申请1个月权限,审批完成后查看变为永久? 为什么有的表和字段没有申请权限,但能看到有权限? 为…

  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云日志服务SLS采集HTTP数据-云淘科技

    Logtail会根据您的采集配置定期请求指定的URL,将请求返回的Body内容作为数据源上传到日志服务。本文介绍如何通过日志服务控制台创建Logtail采集配置采集HTTP数据。 前提条件 已在服务器上安装Logtail。更多信息,请参见安装Logtail(Linux系统)或安装Logtail(Windows系统)。 说明 目前支持Linux Logtail…

    2023年12月10日
  • 阿里云云原生大数据计算服务 MaxComputeMaxCompute作业概述-云淘科技

    本文为您介绍MaxCompute作业的基本概念和常用场景。 背景信息 在MaxCompute中作业由一个或者多个任务(Task)组成,Task是MaxCompute的基本计算单元,Task的详情请参见任务。MaxCompute中数据开发作业主要存在以下三种类型:周期性调度作业、数据集成作业、数据分析作业。 典型场景 创建作业:创建ODPS SQL节点、数据传…

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。