创建数据加工任务后,日志服务默认为每个加工任务创建一个仪表盘,您可以在仪表盘中查看数据加工任务运行指标。本文介绍加工任务运行指标详情及如何查看数据加工仪表盘。
查看仪表盘
创建加工任务后,您可以在数据加工概览页面查看该任务的仪表盘。
- 登录日志服务控制台。
- 在Project列表区域,单击目标Project。
- 在左侧导航栏中,选择任务管理 > 数据加工。
- 单击目标数据加工任务,在执行状态区域,查看仪表盘信息。
总览指标
总览指标信息如下所示。
- 读日志数总计:从源Logstore的各个shard中读取到的日志条数总计。
- 投递日志数总计:从源Logstore的各个shard中读取日志并成功写入到目标Logstore的日志条数总计。
- 失败日志数总计:从源Logstore的各个shard中读取日志并在加工过程中发生失败的日志条数总计。
- 投递日志数占比:成功投递到目标Logstore的日志条数占源Logstore读取到日志条数的比例。
加工速率
加工速率用于统计每分钟窗口内,数据加工处理的日志条数。
- accept:从源Logstore的各个shard中读到的日志条数。
- dropped:从源Logstore的各个shard中读到并按规则脚本预期丢弃的日志条数。
- delivered:从源Logstore的各个shard中读到并成功写入到目标Logstore的日志条数。
- failed:从源Logstore的各个shard中读取到日志并在加工过程中发生失败的日志条数。
shard消费延迟、shard消费速率
统计每分钟窗口内,加工任务读取源Logstore数据时,每个shard的指标。
- 消费延迟:该shard中的日志被完全消费的时间与该shard最新日志产生的时间之差。两个时间,都是按shard数据到达服务端时间(sever receive time)开始计算的。
- 消费速率:shard在一分钟窗口内平均每秒钟读取到的日志条数。
说明 处理实时日志时消费延迟一般是1s左右。如果处理的是历史日志数据,在任务开始的阶段消费延迟可能会很高,随着数据加工的进行,消费进度不断追赶最终达到低延迟水平。
活跃shard
展示最近一段时间内发生,shard每秒处理的日志行数(accept、dropped、delivered、failed)。
异常详情
您可以根据reason字段,查看可能导致出错的规则脚本。
您也可以在当前Project下的internal-etl-log日志库中,通过关键词ERROR或WARNING查看完整的错误日志。
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家
阿里云企业补贴进行中: 马上申请
腾讯云限时活动1折起,即将结束: 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠
转转请注明出处:https://www.yunxiaoer.com/164341.html