详情页标题前

阿里云日志服务SLS提取日志时间-云淘科技

• 阿里云日志服务SLS
详情页1

您在使用Logtail采集日志时，可以使用processor_gotime插件或processor_strptime插件解析原始日志中的时间字段。本文介绍两种插件的参数说明和配置示例。

重要

  • 表单配置方式：采集文本日志和容器标准输出时可用。

  • JSON配置方式：采集文本日志时不可用。

功能入口

当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见概述。

Go语言时间格式

processor_gotime插件使用Go语言时间格式解析原始日志中的时间字段，并支持将解析结果设置为日志服务中的日志时间。

重要 Logtail 0.16.28及以上版本支持processor_gotime插件。

表单配置方式

  • 参数说明配置处理器类型为提取日志时间（Go语言时间格式），相关参数说明如下表所示。
    参数说明
    原始时间字段原始字段名。
    原始时间格式原始时间的格式。
    原始时间时区原始时间的时区。选择机器时区时，表示Logtail所在主机或容器的时区。
    结果时间字段解析后的目标字段。
    结果时间格式解析后的时间格式。
    自定义结果时间时区解析后的时区。选择机器时区时，表示本机时区。
    设为日志时间选中该选项后，系统会将解析后的时间设置为日志时间。
    保留原始字段选中该选项后，解析后的日志中将保留原始字段。
    原始字段缺失报错选中该选项后，如果原始日志中无您所指定的原始字段，系统将报错。
    提取失败报错选中该选项后，如果提取日志时间失败，系统将报错。
  • 示例原始时间（s_key字段）的格式为2006-01-02 15:04:05（东八区），现将原始时间解析为2006/01/02 15:04:05（东九区）格式，添加到d_key字段中，并设置解析结果为日志服务中的日志时间。
    • 原始日志
      "s_key":"2022-07-05 19:28:01"
    • Logtail插件处理配置阿里云日志服务SLS提取日志时间-云淘科技
    • 处理结果
      "s_key":"2022-07-05 19:28:01""d_key":"2022/07/05 20:28:01"

JSON配置方式

  • 参数说明配置type为processor_gotime，detail说明如下表所示。
    参数类型是否必选说明
    SourceKeyString是原始字段名。
    SourceFormatString是原始时间的格式。
    SourceLocationInt是原始时间的时区。参数值为空时，表示Logtail所在主机或容器的时区。
    DestKeyString是解析后的目标字段。
    DestFormatString是解析后的时间格式。
    DestLocationInt否解析后的时区。参数值为空时，表示本机时区。
    SetTimeBoolean否是否将解析后的时间设置为日志时间。

    • true（默认值）：是
    • false：否
    KeepSource Boolean 否 被解析后的日志中是否保留原始字段。

    • true（默认值）：保留
    • false：不保留
    NoKeyError Boolean 否 原始日志中无您所指定的原始字段时，系统是否报错。

    • true（默认值）：报错
    • false：不报错
    AlarmIfFail Boolean 否 提取日志时间失败，系统是否报错。

    • true（默认值）：报错
    • false：不报错
  • 示例原始时间（s_key字段）的格式为2006-01-02 15:04:05（东八区），现将原始时间解析为2006/01/02 15:04:05（东九区）格式，添加到d_key字段中，并设置解析结果为日志服务中的日志时间。
    • 原始日志 
      "s_key":"2019-07-05 19:28:01"
    • Logtail插件处理配置 
      {
  "processors":[
    {
      "type":"processor_gotime",
      "detail": {
        "SourceKey": "s_key",
        "SourceFormat":"2006-01-02 15:04:05",
        "SourceLocation":8,
        "DestKey":"d_key",
        "DestFormat":"2006/01/02 15:04:05",
        "DestLocation":9,
        "SetTime": true,
        "KeepSource": true,
        "NoKeyError": true,
        "AlarmIfFail": true
      }
    }
  ]
}
    • 处理结果 
      "s_key":"2019-07-05 19:28:01"
"d_key":"2019/07/05 20:28:01"

strptime时间格式

processor_strptime插件使用Linux strptime时间格式解析日志中的时间字段，并支持将解析结果设置为日志时间。

重要 Logtail 0.16.28及以上版本支持processor_strptime插件。

表单配置方式

  • 参数说明配置处理器类型为提取日志时间（strptime时间格式），相关参数说明如下表所示。
    参数说明
    原始字段原始字段名。
    原始时间格式原始时间的格式。
    保留原始字段选中该选项后，被解析后的日志中将保留原始字段。
    提取失败报错选中该选项后，如果提取日志时间失败，系统将报错。
    进行时间偏移选中该选项后，您可以设置时间偏移秒数。
    时间偏移秒数时间偏移秒数。例如28800表示东八区。
    提取高精度时间选中该选项后，该插件会将原始字段对应的字段值解析为毫秒级别的时间戳，并存入高精度时间字段名中设置的字段。更多信息，请参见Logtail日志采集支持高精度时间戳。重要

    • 选中该参数前，请确保原始字段中对应的字段值（原始时间）支持相应的时间精度（ms、us或ns）。
    • 仅Logtail 1.0.32及以上版本支持。
    高精度时间字段名 保存高精度时间戳的字段。默认值为precise_timestamp字段。
    时间单位 高精度时间戳的单位，默认值为ms。取值包括ms（毫秒）、us（微秒）、ns（纳秒）。
  • 配置示例将%Y/%m/%d %H:%M:%S格式的原始时间（log_time字段的值）解析为对应的日志时间，时区使用机器所在时区。假设时区为东八区。
    • 原始日志 
      "log_time":"2022/01/02 12:59:59"
    • Logtail插件处理配置 阿里云日志服务SLS提取日志时间-云淘科技
    • 处理结果 
      "log_time":"2022/01/02 12:59:59"
Log.Time = 1451710799
  • 常见的时间表达式说明 processor_strptime插件支持%f格式解析，表示秒的小数部分，最高精度为纳秒。
    示例 时间表达式
    2016/01/02 12:59:59 %Y/%m/%d %H:%M:%S
    2016/01/02 12:59:59.1 %Y/%m/%d %H:%M:%S.%f
    2016/01/02 12:59:59.987654321 +0700 (UTC) %Y/%m/%d %H:%M:%S.%f %z (%Z)
    2016/Jan/02 12:59:59,123456 %Y/%b/%d %H:%M:%S,%f
    2019-07-15T04:16:47:123Z %Y-%m-%dT%H:%M:%S:%f

JSON配置方式

  • 参数说明配置type为processor_strptime，detail说明如下表所示。
    参数 类型 是否必选 说明
    SourceKey String 是 原始字段名。
    Format String 是 原始时间的格式。
    AdjustUTCOffset Boolean 否 是否调整时区。

    • true：是。
    • false（默认值）：否
    UTCOffset Int 否 用于调整的时区偏移秒数。例如28800表示东八区。
    AlarmIfFail Boolean 否 提取日志失败时，系统是否报错。

    • true（默认值）：报错。
    • false：不报错。
    KeepSource Boolean 否 被解析后的日志中，是否保留原始字段。

    • true（默认值）：保留。
    • false：不保留。
    EnablePreciseTimestamp Boolean 否 是否提取高精度时间。

    • true：是。
    • false（默认值）：否。

    设置为true后，该插件会将SourceKey参数对应的字段值解析为毫秒级别的时间戳，并存入PreciseTimestampKey参照中对应的字段。更多信息，请参见Logtail日志采集支持高精度时间戳。重要

    • 设置该参数为true前，请确保SourceKey参数对应的字段值（原始时间）支持相应的时间精度（ms、us或ns）。
    • 仅Logtail 1.0.32及以上版本支持。
    PreciseTimestampKey String 否 保存高精度时间戳的字段。默认值为precise_timestamp字段。
    PreciseTimestampUnit String 否 高精度时间戳的单位。默认值为ms。取值包括ms（毫秒）、us（微秒）、ns（纳秒）。
  • 示例将%Y/%m/%d %H:%M:%S格式的原始时间（log_time字段的值）解析为对应的日志时间，时区使用机器所在时区。
    • 示例1：假设时区为东八区。
      • 原始日志 
        "log_time":"2016/01/02 12:59:59"
      • Logtail插件处理配置 
        {
  "processors":[
    {
      "type":"processor_strptime",
      "detail": {
        "SourceKey": "log_time",
        "Format": "%Y/%m/%d %H:%M:%S"
      }
    }
  ]
}
      • 处理结果 
        "log_time":"2016/01/02 12:59:59"
Log.Time = 1451710799
    • 示例2：假设时区为东七区。
      • 原始日志 
        "log_time":"2016/01/02 12:59:59"
      • Logtail插件处理配置 
        {
  "processors":[
    {
      "type":"processor_strptime",
      "detail": {
        "SourceKey": "log_time",
        "Format": "%Y/%m/%d %H:%M:%S",
        "AdjustUTCOffset": true,
        "UTCOffset": 25200
      }
    }
  ]
}
      • 处理结果 
        "log_time":"2016/01/02 12:59:59"
Log.Time = 1451714399
    • 示例3：假设时区为东七区。
      • 原始日志 
        "log_time":"2016/01/02 12:59:59.123"
      • Logtail插件处理配置 
        {
  "processors":[
    {
      "type":"processor_strptime",
      "detail": {
        "SourceKey": "log_time",
        "Format": "%Y/%m/%d %H:%M:%S.%f",
        "EnablePreciseTimestamp": true
      }
    }
  ]
}
      • 处理结果 
        "log_time":"2016/01/02 12:59:59.123"
"precise_timestamp": 1451714399123
Log.Time = 1451714399
  • 常见的时间表达式说明 processor_strptime插件支持%f格式解析，表示秒的小数部分，最高精度为纳秒。
    示例 时间表达式
    2016/01/02 12:59:59 %Y/%m/%d %H:%M:%S
    2016/01/02 12:59:59.1 %Y/%m/%d %H:%M:%S.%f
    2016/01/02 12:59:59.987654321 +0700 (UTC) %Y/%m/%d %H:%M:%S.%f %z (%Z)
    2016/Jan/02 12:59:59,123456 %Y/%b/%d %H:%M:%S,%f
    2019-07-15T04:16:47:123Z %Y-%m-%dT%H:%M:%S:%f

内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家

阿里云企业补贴进行中： 马上申请

腾讯云限时活动1折起，即将结束： 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠

转转请注明出处：https://www.yunxiaoer.com/160855.html

赞 (0)
0
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云ECS云服务器DeleteAutoProvisioningGroup-云淘科技

    调用DeleteAutoProvisioningGroup删除一个弹性供应组。 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。 请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteAutoProvisionin…

    阿里云服务器 2023年12月9日

  • 阿里云日志服务SLS日志类型-云淘科技

    日志服务提供的服务日志功能可记录多种日志类型，本文介绍各种日志类型及不同日志类型的日志字段。 日志类型 开启服务日志功能时，您可以选择服务日志的类型，具体说明如下表所示。 重要 为保证您自定义查询语句的兼容性，建议您在查询语句中通过__topic__: XXX指定特定的日志类型。 日志类型 概述 Logstore名称 日志详情 说明 详细日志 包括Proje…

    阿里云日志服务SLS 2023年12月10日

  • 阿里云负载均衡HTTP头字段-云淘科技

    HTTP头字段是指在超文本传输协议（HTTP）的请求和响应消息中的消息头部分。HTTP头字段可以根据需求自定义，因此在Web服务器和浏览器上可能存在非标准的HTTP头字段。本文介绍应用型负载均衡ALB（Application Load Balancer）支持的非标准头字段。 ALB支持的头字段 字段名 说明 适用监听协议 X-Forwarded-For 在您…

    阿里云负载均衡 2023年12月10日
  • 信息流广告，信息流部分建议宽度830px，只针对默认列表样式，顺序随机

  • 阿里云ECS云服务器ModifyCapacityReservation-云淘科技

    调用ModifyCapacityReservation修改一个容量预定服务的部分信息，包括容量预定服务的名称、描述信息、失效方式以及预留的实例总数量。 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。 请求参数 名称 类型 是否必选 示例值 描述 A…

    阿里云服务器 2023年12月9日

  • 阿里云日志服务SLS加工示例-云淘科技

    本视频以SLB日志为例向您介绍日志服务数据加工功能。 内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家阿里云企业补贴进行中： 马上申请腾讯云限时活动1折起，即将结束： 马上收藏同尘科技为腾讯云授权服务中心。 购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠

    阿里云日志服务SLS 2023年12月10日

联系我们

400-800-8888

在线咨询： QQ交谈

邮件：admin@example.com

工作时间：周一至周五，9:30-18:30，节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买，续费优惠，保证底价，买贵退差。