日志服务异常智能分析应用提供文本分析功能，用于对日志中的文本日志进行智能化、自动化的分析，提供全局的统计分析结果。本文介绍日志相似度聚类算法、日志词频聚类算法和日志模板匹配算法。
概述
您可以通过日志相似度聚类算法、日志词频聚类算法和日志模板匹配算法进行文本分析。
文本分析中的算法采用LogParser和异常检测技术，提供针对大量日志的分析与检测能力，并提供日志分析报表帮助您了解日志的全局信息和可能存在的异常情况，包括：
- 通过日志报表快速定位可能出现异常的日志类别（例如新出现的日志类别，异常分数Top5的日志类别等），缩小人工排查的日志范围。
- 通过定时查看日志报表了解日志全局信息的变化，辅助探查系统的稳定性。
日志相似度聚类算法
日志相似度聚类算法使用基于文本相似度（例如编辑距离，Jaccard相似度，Cosine相似度等）的LogParser对文本日志进行解析，根据日志的文本内容与结构对日志进行聚类，将相似的日志归为一种类别。日志相似度聚类算法以日志类别为单位，分析各个日志类别中的日志在连续时间窗口中的变化情况，检测可能存在的异常。更多信息，请参见Drain: An Online Log Parsing Approach with Fixed Depth Tree。
日志相似度聚类算法适用于日志量大或者日志格式整齐的场景。
日志词频聚类算法
使用基于词频的LogParser对文本进行解析，将拥有相似高频词的日志归为同一类别，且高频词为对应日志模板中的常量部分。日志词频聚类算法以日志类别为单位，分析各个日志类别中的日志在连续时间窗口中的变化情况，检测可能存在的异常。更多信息，请参见Efficient and Robust Syslog Parsing for Network Devices in Datacenter Networks。
日志相似度聚类算法适用于日志量小、日志格式复杂且包含较多变量成分的场景。
日志模板匹配算法
日志模板匹配算法是使用您所创建的日志模板对日志进行匹配，将匹配到同一个模板的日志归为一类。日志模板匹配算法适用于自定义模板场景。
您使用日志模板匹配算法前，需要先手动创建日志模板。操作步骤如下：
- 登录日志服务控制台。
- 进入添加日志模板页面。
- 在日志应用区域的智能运维页签中，单击智能异常分析。
- 在实例列表中，单击目标实例。
- 在左侧导航栏中，单击日志模板。
- 在页面右上角，单击添加。
- 在添加数据对话框中，完成如下配置，然后单击确认。
参数 是否必填 说明 source 是 设置模板源，文本分析作业将根据该参数获取指定的日志模板。 pattern_id 是 设置日志模板的唯一标识符。 pattern 是 设置正则表达式。使用该日志模板后，匹配该正则表达式的日志将被归为一类。 package 否 针对Java程序中的Log4j日志，支持指定日志所在的package和class，提高日志的匹配速度。 class 否 针对Java程序中的Log4j日志，支持指定日志所在的package和class，提高日志的匹配速度。 level 否 定义日志等级。符合该日志模板的日志，被定义为该级别。 extra 否 用于后续扩展参数。
内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家
阿里云企业补贴进行中： 马上申请
腾讯云限时活动1折起，即将结束： 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠
转转请注明出处：https://www.yunxiaoer.com/165618.html
