详情页标题前

阿里云日志服务SLS数据加工仪表盘-云淘科技

详情页1

创建数据加工任务后,日志服务默认为每个加工任务创建一个仪表盘,您可以在仪表盘中查看据加工任务运行指标。本文介绍加工任务运行指标详情及如何查看数据加工仪表盘。

查看仪表盘

创建加工任务后,您可以在数据加工概览页面查看该任务的仪表盘。

  1. 登录日志服务控制台。
  2. 在Project列表区域,单击目标Project。
  3. 在左侧导航栏中,选择任务管理 > 数据加工。
  4. 单击目标数据加工任务,在执行状态区域,查看仪表盘信息。

总览指标

总览指标信息如下所示。阿里云日志服务SLS数据加工仪表盘-云淘科技

  • 读日志数总计:从源Logstore的各个shard中读取到的日志条数总计。
  • 投递日志数总计:从源Logstore的各个shard中读取日志并成功写入到目标Logstore的日志条数总计。
  • 失败日志数总计:从源Logstore的各个shard中读取日志并在加工过程中发生失败的日志条数总计。
  • 投递日志数占比:成功投递到目标Logstore的日志条数占源Logstore读取到日志条数的比例。

加工速率

加工速率用于统计每分钟窗口内,数据加工处理的日志条数。阿里云日志服务SLS数据加工仪表盘-云淘科技

  • accept:从源Logstore的各个shard中读到的日志条数。
  • dropped:从源Logstore的各个shard中读到并按规则脚本预期丢弃的日志条数。
  • delivered:从源Logstore的各个shard中读到并成功写入到目标Logstore的日志条数。
  • failed:从源Logstore的各个shard中读取到日志并在加工过程中发生失败的日志条数。

shard消费延迟、shard消费速率

统计每分钟窗口内,加工任务读取源Logstore数据时,每个shard的指标。阿里云日志服务SLS数据加工仪表盘-云淘科技

  • 消费延迟:该shard中的日志被完全消费的时间与该shard最新日志产生的时间之差。两个时间,都是按shard数据到达服务端时间(sever receive time)开始计算的。
  • 消费速率:shard在一分钟窗口内平均每秒钟读取到的日志条数。

说明 处理实时日志时消费延迟一般是1s左右。如果处理的是历史日志数据,在任务开始的阶段消费延迟可能会很高,随着数据加工的进行,消费进度不断追赶最终达到低延迟水平。

活跃shard

展示最近一段时间内发生,shard每秒处理的日志行数(accept、dropped、delivered、failed)。阿里云日志服务SLS数据加工仪表盘-云淘科技

异常详情

您可以根据reason字段,查看可能导致出错的规则脚本。阿里云日志服务SLS数据加工仪表盘-云淘科技

您也可以在当前Project下的internal-etl-log日志库中,通过关键词ERROR或WARNING查看完整的错误日志。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/164341.html

(0)
上一篇 2023年12月10日 上午6:16
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云日志服务SLSAPI简介-云淘科技

    阿里云日志服务(Log Service,简称SLS)提供数据的采集、加工、查询与分析、可视化、告警、消费与投递等功能。如果您熟悉网络服务协议和一种以上编程语言,您可以通过API接口管理您的数据资源。 使用限制 您能创建的Project、Logstore、ConsumerGroup和Shard等资源均有数量限制。更多信息,请参见使用限制。 使用说明 日志服务A…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云日志服务SLS什么是日志服务告警-云淘科技

    日志服务告警是一站式的告警监控、降噪、事务管理、通知分派的智能运维平台。 产品架构 日志服务告警系统由告警监控、告警管理、通知(行动)管理等子系统组成,具体架构如下图所示: 日志服务告警功能主要包含以下功能组件: 日志存储(Logstore):日志服务提供Logstore用于存储日志类型的数据,并在日志存储的基础上提供查询和分析(SQL92语法)功能。告警监…

    2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云云原生大数据计算服务 MaxCompute运行SQL命令并导出结果数据-云淘科技

    本文介绍如何在%ignore_a_1%客户端上运行SQL命令并通过Tunnel Download导出结果数据。 前提条件 已向MaxCompute的表中导入数据。更多导入数据操作,请参见导入数据。 背景信息 MaxCompute客户端支持DDL、DML、DQL等操作,您可以结合相应语法运行SQL命令。 MaxCompute客户端的常用SQL命令,请参见常用命…

  • 阿里云RDS数据库查看数据复制方式-云淘科技

    本文介绍如何查看RDS SQL Server主备实例之间的数据复制方式。 使用限制 仅高可用系列和集群系列的实例支持查看数据复制方式。 暂不支持修改数据复制方式。 复制方式介绍 同步 应用发起的更新在主实例执行完成后,会将日志同步传输到备实例,备实例收到日志,事务就完成了提交,不需要等待备实例执行日志内容。 当备实例不可用或者主备实例间出现网络异常时,同步会…

    阿里云数据库 2023年12月9日
  • 阿里云日志服务SLS开启日志采集功能-云淘科技

    日志审计服务支持快速开启日志采集功能,本文介绍开启日志采集功能以及相关操作的步骤。 前提条件 已注册阿里云账号。 建议使用阿里云RAM用户,该RAM用户需具备RAM读权限(例如已被授权AliyunRAMReadOnlyAccess策略),且对日志服务有读写权限(例如被授权AliyunLogFullAccess策略)。 待采集日志的云产品已开启相应的服务。更多…

    阿里云日志服务SLS 2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。