详情页标题前

阿里云日志服务SLSCSV格式-云淘科技

详情页1

日志服务将日志投递到OSS后,支持存储为不同的文件格式。本文介绍CSV格式。

参数配置

在创建OSS投递任务(新版)时,选择存储格式为csv,对应的参数配置如下所示。

阿里云日志服务SLSCSV格式-云淘科技参数说明如下所示。更多信息,请参见CSV标准和postgresql CSV说明。

参数 说明
CSV字段 在原始日志页签中查看日志字段,将需要投递到OSS的字段名有序填入。

日志服务还提供保留字段__time__、__topic__、__source__等。保留字段的更多信息,请参见保留字段。

说明

  • 同一个日志字段在CSV字段中只能配置一次,不支持多次使用
  • 如果您的日志中存在同名字段(例如都为request_time),则日志服务会将其中一个字段名显示为request_time_0,底层存储的字段名仍为request_time。因此您在投递时,只能使用原始字段名request_time。

    存在同名字段时,系统只随机投递其中一个字段的值。请尽量避免日志中使用同名字段。

分隔符 用于分割不同的日志字段。支持半角逗号(,)、竖线(|)、空格和制表符。
转义符 当字段内出现分隔符时,需要使用转义符包裹该字段,避免读数据时造成字段错误分割。
无效字段内容 当CSV字段中指定的日志字段不存在时,投递此参数中配置的内容。
投递字段名称 打开投递字段名称开关后,将字段名称写入到CSV文件中。

OSS文件地址

投递到OSS后,OSS文件地址样例如下所示。说明

  • 在创建OSS投递任务时,如果您自定义了文件后缀,则文件后缀由您自定义的后缀决定。
  • 在创建OSS投递任务时,如果您未自定义文件后缀,则文件后缀由压缩类型决定。
压缩类型 文件后缀 OSS文件地址举例 说明
无压缩 如果您自定义了文件后缀,则以您的设置为准,例如.suffix。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix 未压缩的CSV文件可下载到本地,以文本方式打开查看。
如果未自定义文件后缀,则文件后缀为.csv。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.csv
压缩(snappy) 如果您自定义了文件后缀,则以您的设置为准,例如.suffix。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix Snappy压缩文件的打开方式,请参见打开Snappy压缩文件。
如果未自定义文件后缀,则文件后缀为.snappy.csv。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.snappy.csv
压缩(gzip) 如果您自定义了文件后缀,则以您的设置为准,例如.suffix。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix 如果使用了gzip压缩,则您可以安装并使用gzip命令进行解压。
如果未自定义文件后缀,则文件后缀为.gz.csv。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.gz.csv
压缩(zstd) 如果您自定义了文件后缀,则以您的设置为准,例如.suffix。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix 如果使用了zstd压缩,则您可以安装并使用zstd命令进行解压。
如果未自定义文件后缀,则文件后缀为.zst.csv。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.zst.csv

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/165105.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云日志服务SLS使用前须知-云淘科技

    阿里云配置审计服务联合日志服务推出投递功能,支持将云资源的配置变更历史数据、不合规事件和定时快照数据推送到日志服务进行存储、查询、分析等。本文介绍配置审计日志相关的资产、费用等信息。 资产详情 自定义的Project和Logstore 重要 在删除投递任务前,请勿删除相关的日志服务Project和Logstore,否则将导致无法正常投递日志到日志服务。 创建…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云日志服务SLS简介-云淘科技

    日志服务支持将日志投递到SIEM,以确保阿里云上的所有法规、审计与其他相关日志能够导入到您的安全运维中心(SOC)中。 名词解释 SIEM:安全信息与事件管理系统(Security Information and Event Management),如Splunk,IBM QRadar等。 Splunk HEC:Splunk的HTTP事件接收器(Splunk…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云日志服务SLS采集Windows事件日志-云淘科技

    您可以通过Logtail插件采集Windows事件日志。本文介绍如何通过日志服务控制台创建Logtail配置采集Windows事件日志。 前提条件 已在服务器上安装Windows Logtail 1.0.0.0及以上版本。具体操作,请参见安装Logtail(Windows系统)。 目标服务器持续产生日志。重要 Logtail只采集增量日志。如果下发Logta…

    2023年12月10日
  • 阿里云日志服务SLS数据流转-云淘科技

    本视频介绍使用数据加工进行数据流转的操作步骤。 内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家阿里云企业补贴进行中: 马上申请腾讯云限时活动1折起,即将结束: 马上收藏同尘科技为腾讯云授权服务中心。 购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

    阿里云日志服务SLS 2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云对象存储OSSRuby生命周期-云淘科技

    OSS支持设置Bucket生命周期(Lifecycle)规则,自动删除过期的文件(Object)和碎片,或将到期的文件转储为低频或归档存储类型,从而节省存储费用。本文介绍如何管理存储空间(Bucket)的生命周期规则。 设置生命周期规则 以下代码用于设置生命周期规则: require ‘aliyun/oss’ client = Aliyun::OSS::Cl…

    阿里云对象存储 2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。