详情页标题前

阿里云日志服务SLSCSV格式-云淘科技

详情页1

日志服务将日志投递到OSS后,支持存储为不同的文件格式。本文介绍CSV格式。

参数配置

在创建OSS投递任务(新版)时,选择存储格式为csv,对应的参数配置如下所示。

阿里云日志服务SLSCSV格式-云淘科技参数说明如下所示。更多信息,请参见CSV标准和postgresql CSV说明。

参数 说明
CSV字段 在原始日志页签中查看日志字段,将需要投递到OSS的字段名有序填入。

日志服务还提供保留字段__time__、__topic__、__source__等。保留字段的更多信息,请参见保留字段。

说明

  • 同一个日志字段在CSV字段中只能配置一次,不支持多次使用
  • 如果您的日志中存在同名字段(例如都为request_time),则日志服务会将其中一个字段名显示为request_time_0,底层存储的字段名仍为request_time。因此您在投递时,只能使用原始字段名request_time。

    存在同名字段时,系统只随机投递其中一个字段的值。请尽量避免日志中使用同名字段。

分隔符 用于分割不同的日志字段。支持半角逗号(,)、竖线(|)、空格和制表符。
转义符 当字段内出现分隔符时,需要使用转义符包裹该字段,避免读数据时造成字段错误分割。
无效字段内容 当CSV字段中指定的日志字段不存在时,投递此参数中配置的内容。
投递字段名称 打开投递字段名称开关后,将字段名称写入到CSV文件中。

OSS文件地址

投递到OSS后,OSS文件地址样例如下所示。说明

  • 在创建OSS投递任务时,如果您自定义了文件后缀,则文件后缀由您自定义的后缀决定。
  • 在创建OSS投递任务时,如果您未自定义文件后缀,则文件后缀由压缩类型决定。
压缩类型 文件后缀 OSS文件地址举例 说明
无压缩 如果您自定义了文件后缀,则以您的设置为准,例如.suffix。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix 未压缩的CSV文件可下载到本地,以文本方式打开查看。
如果未自定义文件后缀,则文件后缀为.csv。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.csv
压缩(snappy) 如果您自定义了文件后缀,则以您的设置为准,例如.suffix。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix Snappy压缩文件的打开方式,请参见打开Snappy压缩文件。
如果未自定义文件后缀,则文件后缀为.snappy.csv。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.snappy.csv
压缩(gzip) 如果您自定义了文件后缀,则以您的设置为准,例如.suffix。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix 如果使用了gzip压缩,则您可以安装并使用gzip命令进行解压。
如果未自定义文件后缀,则文件后缀为.gz.csv。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.gz.csv
压缩(zstd) 如果您自定义了文件后缀,则以您的设置为准,例如.suffix。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix 如果使用了zstd压缩,则您可以安装并使用zstd命令进行解压。
如果未自定义文件后缀,则文件后缀为.zst.csv。 oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.zst.csv

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/165042.html

(0)
上一篇 2023年12月10日 上午7:03
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云日志服务SLS采集MySQL查询结果-云淘科技

    本文介绍如何通过日志服务控制台创建Logtail采集配置来采集MySQL查询结果。 前提条件 已在服务器上安装Linux Logtail 0.16.0及以上版本或Window Logtail 1.0.0.8及以上版本。具体操作,请参见安装Logtail(Linux系统)或安装Logtail(Windows系统)。重要 请确保用于安装Logtail的服务器可连…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云日志服务SLS投递CDN实时日志到SLS来分析用户访问数据-云淘科技

    本文介绍如何使用实时日志功能对用户访问日志进行分析。 概述 阿里云CDN产品的实时日志功能是CDN产品与SLS产品联合推出的一项功能,是一种时效性非常高(延迟在3分钟左右)的日志数据处理服务,能够将CDN节点上采集到的用户访问日志实时推送至SLS日志服务,然后可以通过SLS来存储和分析用户访问数据。在使用阿里云CDN产品来加速网站域名访问速度的情况下,用户访…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云对象存储OSSAndroid下载文件概述-云淘科技

    OSS Android SDK提供了丰富的文件下载方式。 您可以根据业务场景,选择适当的文件下载方式。 流式下载 范围下载 下载到本地文件 限定条件下载 内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家阿里云企业补贴进行中: 马上申请腾讯云限时活动1折起,即将结束: 马上收藏同尘科技为腾讯云授权服务中心。 购买腾讯云产品享受折上折,更有现金返利:…

    阿里云对象存储 2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云日志服务SLS目标Logstore输出错误-云淘科技

    本文档为您介绍数据加工服务进行数据加工后,将加工结果写入目标Logstore产生错误的原因以及排查处理方法。 日志事件被加工完之后,会被输出到预先配置好的目标Logstore中。LOG DSL引擎每次读取一个批次的源日志(从1条到近万条不等),数据加工后,并不是加工一条日志就输出一条,而是会先将加工好的数据存放在一个缓存池中,等源数据批次处理完,再一起输出。…

    2023年12月10日
  • 阿里云日志服务SLS控制台提示“查询结果不精确”,如何解决?-云淘科技

    在您查询和分析日志时,如果日志服务控制台提示查询结果不精确,可参考本文进行排查。 问题描述 在您查询和分析日志时,如果日志服务控制台提示查询结果不精确,表示日志服务未能扫描全部日志,返回的查询和分析结果不是基于全部日志的精确结果。 可能原因 查询结果不精确一般由以下原因造成。 查询时间范围太大 例如查询时间范围为3个月或1年时,日志服务无法在一次查询中完整扫…

    2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。