详情页标题前

阿里云日志服务SLSGROK函数-云淘科技

• 阿里云日志服务SLS
详情页1

本文介绍GROK函数的语法规则，包括参数解释、函数示例等。

函数介绍

正则表达式函数在使用中较为复杂，推荐您优先使用GROK函数。您也可以将GROK函数与正则表达式函数混合使用，示例如下：

e_match("content", grok(r"\w+: (%{IP})"))  #匹配abc: 192.0.2.0或者xyz: 192.0.2.2等形式。
e_match("content", grok(r"\w+: (%{IP})", escape=True)) #不会匹配abc: 192.0.2.0，而是匹配\w+: 192.0.2.0。

GROK函数根据正则表达式提取特定的值。

  • 函数格式 
    grok(pattern, escape=False, extend=None)
  • GROK语法 
    %{SYNTAX} 
%{SYNTAX:NAME}

    其中SYNTAX表示预定义正则模式，NAME表示分组。

    "%{IP}"               #等价于r"(?:\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})"
"%{IP:source_id}"     #等价于r"(?P\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})"
("%{IP}")             #等价于r"(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})"

    GROK有两种分组模式：

    • 捕获分组模式
      GROK模式中部分是自带命名分组捕获的，所以针对这种模式只能使用%{SYNTAX}方式的语法。此类模式常见于语句解析，具体请参见GROK模式参考中的Log formats模块。

      "%{SYSLOGBASE}"        
"%{COMMONAPACHELOG}" 
"%{COMBINEDAPACHELOG}"
"%{HTTPD20_ERRORLOG}"
"%{HTTPD24_ERRORLOG}"
"%{HTTPD_ERRORLOG}"
...
    • 非捕获分组模式
      在GROK模式中部分是非捕获分组模式，例如： 

      "%{INT}"    
"%{YEAR}"
"%{HOUR}"
...
  • 参数说明
    参数名称 参数类型 是否必填 说明
    pattern String 是 GROK语法。具体的GROK模式，请参见GROK模式参考。
    escape Bool 否 是否将其他非GROK pattern中的正则相关特殊字符做转义，默认不转义。
    extend Dict 否 用户自定义的GROK表达式。

函数示例

  • 示例1：提取日期和引用内容。
    • 原始日志 
      content: 2019 June 24 "I am iron man"
    • 加工规则 
      e_regex('content',grok('%{YEAR:year} %{MONTH:month} %{MONTHDAY:day} %{QUOTEDSTRING:motto}'))
    • 加工结果 
      content: 2019 June 24 "I am iron man"
year: 2019
month: June
day: 24
motto: "I am iron man"
  • 示例2：提取HTTP请求日志。
    • 原始日志 
      content: 10.0.0.0 GET /index.html 15824 0.043
    • 加工规则 
      e_regex('content',grok('%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}'))
    • 加工结果 
      content: 10.0.0.0 GET /index.html 15824 0.043
client: 10.0.0.0
method: GET
request: /index.html
bytes: 15824
duration: 0.043
  • 示例3：提取Apache日志。
    • 原始日志 
      content: 127.0.0.1 - - [13/Apr/2015:17:22:03 +0800] "GET /router.php HTTP/1.1" 404 285 "-" "curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.15.3 zlib/1.2.3 libidn/1.18 libssh2/1.4.2"
    • 加工规则 
      e_regex('content',grok('%{COMBINEDAPACHELOG}'))
    • 加工结果 
      content: 127.0.0.1 - - [13/Apr/2015:17:22:03 +0800] "GET /router.php HTTP/1.1" 404 285 "-" "curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.15.3 zlib/1.2.3 libidn/1.18 libssh2/1.4.2"
clientip: 127.0.0.1
ident: -
auth: -
timestamp: 13/Apr/2015:17:22:03 +0800
verb: GET
request: /router.php
httpversion: 1.1
response: 404
bytes: 285
referrer: "-"
agent: "curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.15.3 zlib/1.2.3 libidn/1.18 libssh2/1.4.2"
  • 示例4：Syslog默认格式日志。
    • 原始日志 
      content: May 29 16:37:11 sadness logger: hello world
    • 加工规则 
      e_regex('content',grok('%{SYSLOGBASE} %{DATA:message}'))
    • 加工结果 
      content: May 29 16:37:11 sadness logger: hello world
timestamp: May 29 16:37:11
logsource: sadness
program: logger
message: hello world
  • 示例5：转义特殊字符。
    • 原始日志 
      content: Nov  1 21:14:23 scorn kernel: pid 84558 (expect), uid 30206: exited on signal 3
    • 加工规则 
      e_regex('content',grok(r'%{SYSLOGBASE} pid %{NUMBER:pid} \(%{WORD:program}\), uid %{NUMBER:uid}: exited on signal %{NUMBER:signal}'))

      因为加工规则中包含了正则特殊字符括号，如果您不使用转义符，则添加escape=True参数即可，如下所示：

      e_regex('content',grok('%{SYSLOGBASE} pid %{NUMBER:pid} (%{WORD:program}), uid %{NUMBER:uid}: exited on signal %{NUMBER:signal}', escape=True))
    • 加工结果 
      content: Nov  1 21:14:23 scorn kernel: pid 84558 (expect), uid 30206: exited on signal 3
timestamp: Nov  1 21:14:23
logsource: scorn
program: expect
pid: 84558
uid: 30206
signal: 3
  • 示例6：用户自定义GROK表达式。
    • 原始日志 
      content: Beijing-1104,gary 25 "never quit"
    • 加工规则 
      e_regex('content',grok('%{ID:user_id},%{WORD:name} %{INT:age} %{QUOTEDSTRING:motto}',extend={'ID': '%{WORD}-%{INT}'}))
    • 加工结果 
      content: Beijing-1104,gary 25 "never quit"
user_id: Beijing-1104
name: gary
age: 25
motto: "never quit"
  • 示例7：匹配JSON数据。
    • 原始日志 
      content: 2019-10-29 16:41:39,218 - INFO: owt.AudioFrameConstructor - McsStats: {"event":"mediaStats","connectionId":"331578616547393100","durationMs":"5000","rtpPackets":"250","rtpBytes":"36945","nackPackets":"0","nackBytes":"0","rtpIntervalAvg":"20","rtpIntervalMax":"104","rtpIntervalVar":"4","rtcpRecvPackets":"0","rtcpRecvBytes":"0","rtcpSendPackets":"1","rtcpSendBytes":"32","frame":"250","frameBytes":"36945","timeStampOutOfOrder":"0","frameIntervalAvg":"20","frameIntervalMax":"104","frameIntervalVar":"4","timeStampIntervalAvg":"960","timeStampIntervalMax":"960","timeStampIntervalVar":"0"}
    • 加工规则 
      e_regex('content',grok('%{EXTRACTJSON}'))
    • 加工结果 
      content: 2019-10-29 16:41:39,218 - INFO: owt.AudioFrameConstructor - McsStats: {"event":"mediaStats","connectionId":"331578616547393100","durationMs":"5000","rtpPackets":"250","rtpBytes":"36945","nackPackets":"0","nackBytes":"0","rtpIntervalAvg":"20","rtpIntervalMax":"104","rtpIntervalVar":"4","rtcpRecvPackets":"0","rtcpRecvBytes":"0","rtcpSendPackets":"1","rtcpSendBytes":"32","frame":"250","frameBytes":"36945","timeStampOutOfOrder":"0","frameIntervalAvg":"20","frameIntervalMax":"104","frameIntervalVar":"4","timeStampIntervalAvg":"960","timeStampIntervalMax":"960","timeStampIntervalVar":"0"}
json:{"event":"mediaStats","connectionId":"331578616547393100","durationMs":"5000","rtpPackets":"250","rtpBytes":"36945","nackPackets":"0","nackBytes":"0","rtpIntervalAvg":"20","rtpIntervalMax":"104","rtpIntervalVar":"4","rtcpRecvPackets":"0","rtcpRecvBytes":"0","rtcpSendPackets":"1","rtcpSendBytes":"32","frame":"250","frameBytes":"36945","timeStampOutOfOrder":"0","frameIntervalAvg":"20","frameIntervalMax":"104","frameIntervalVar":"4","timeStampIntervalAvg":"960","timeStampIntervalMax":"960","timeStampIntervalVar":"0"}
  • 示例8：解析标准w3c格式日志。
    • 原始日志 
      content: 2018-12-26 00:00:00 W3SVC2 application001 192.168.0.0 HEAD / - 8000 - 10.0.0.0 HTTP/1.0 - - - - 404 0 64 0 19 0
    • 加工规则

      w3c中没有的字段使用了短划线（-）替代，在GROK中也使用短划线（-）去匹配这些字段。

      e_regex("content",grok('%{DATE:data} %{TIME:time} %{WORD:s_sitename} %{WORD:s_computername} %{IP:s_ip} %{WORD:cs_method} %{NOTSPACE:cs_uri_stem} - %{NUMBER:s_port} - %{IP:c_ip} %{NOTSPACE:cs_version} - - - - %{NUMBER:sc_status} %{NUMBER:sc_substatus} %{NUMBER:sc_win32_status} %{NUMBER:sc_bytes} %{NUMBER:cs_bytes} %{NUMBER:time_taken}'))
    • 加工结果 
      content: 2018-12-26 00:00:00 W3SVC2 application001 192.168.0.0 HEAD / - 8000 - 10.0.0.0 HTTP/1.0 - - - - 404 0 64 0 19 0 
data: 18-12-26
time: 00:00:00
s_sitename: W3SVC2
s_computername: application001
s_ip: 192.168.0.0
cs_method: HEAD 
cs_uri_stem: /
s_port: 8000
c_ip: 10.0.0.0
cs_version: HTTP/1.0
sc_status: 404
sc_substatus: 0
sc_win32_status: 64 
sc_bytes: 0 
cs_bytes: 19 
time_taken: 0

内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家

阿里云企业补贴进行中： 马上申请

腾讯云限时活动1折起，即将结束： 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠

转转请注明出处：https://www.yunxiaoer.com/162382.html

赞 (0)
0
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云大数据开发治理平台 DataWorksHDFS数据源-云淘科技

    HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍DataWorks的HDFS数据同步的能力支持情况。 支持的版本 目前不支持阿里云文件存储HDFS版。 使用限制 离线读 使用HDFS Reader时，请注意以下事项： 由于连通默认资源组到HDFS的网络链路比较复杂，建议您使用独享数据集成资源组完成数据同步任务。您需要确保您…

    阿里云大数据开发治理平台 DataWorks 2023年12月10日

  • 阿里云RDS数据库SQL Server DBCC功能-云淘科技

    RDS SQL Server 2012及以上版本实例支持部分DBCC（Database Consistency Checker）功能。您可使用高权限账号执行sp_rds_dbcc_trace存储过程开启需要的跟踪标记，用于监控数据库的死锁、空间管理、缓存等情况，从而帮助您更好地优化数据库性能和运行状况。 支持的跟踪标记 1222、1204、1117、1118…

    阿里云数据库 2023年12月9日
  • 阿里云ECS云服务器使用Megatron-Deepspeed训练GPT-2并生成文本-云淘科技 阿里云服务器

    阿里云ECS云服务器使用Megatron-Deepspeed训练GPT-2并生成文本-云淘科技

    本文介绍如何使用GPU云服务器，使用Megatron-Deepspeed框架训练GPT-2模型并生成文本。 背景信息 GPT-2模型是OpenAI于2018年在GPT模型的基础上发布的新的无监督NLP模型，当时被称为“史上最强通用NLP模型”。该模型可以生成连贯的文本段落，并且能在未经预训练的情况下，完成阅读理解、问答、机器翻译等多项不同的语言建模任务。GP…

    2023年12月9日
  • 信息流广告，信息流部分建议宽度830px，只针对默认列表样式，顺序随机

  • 阿里云负载均衡SetCACertificateName – 设置CA证书名称-云淘科技

    设置CA证书名称。 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。 调试调试授权信息下表是API对应的授权信息，可以在RAM权限策略语句的Action元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下： 操作：是指具体的权…

    阿里云负载均衡 2023年12月10日

  • 阿里云日志服务SLS机器学习函数-云淘科技

    本视频介绍如何在告警服务中使用机器学习函数。 内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家阿里云企业补贴进行中： 马上申请腾讯云限时活动1折起，即将结束： 马上收藏同尘科技为腾讯云授权服务中心。 购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠

    阿里云日志服务SLS 2023年12月10日

联系我们

400-800-8888

在线咨询： QQ交谈

邮件：admin@example.com

工作时间：周一至周五，9:30-18:30，节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买，续费优惠，保证底价，买贵退差。