阿里云日志服务SLS通用数据结构-云淘科技

name

String

test-consumer-group

消费组名称。

timeout

Integer

300

超时时间。在超时时间段内没有收到心跳，消费者将被删除。单位：秒。

order

Boolean

false

是否按顺序消费。

• true：在Shard中按顺序消费。Shard分裂后，先消费原Shard中数据，然后同时消费由该Shard分裂的Shard中数据。Shard合并后，先消费原Shard中数据，然后消费由原Shard合并后的新Shard中数据。
• false：不按顺序消费。即所有同时开始消费，Shard分裂或者合并后产生的新Shard，也会立即消费。

enable

Boolean

true

是否启用数据加密。

• true：是
• false：否

encrypt_type

String

default

加密算法，只支持default和sm4。当enable为true时，此项必选。

user_cmk_info

EncryptUserCmkConf

{ “cmk_key_id” : “f5136b95-2420-ab31-xxxxxxxxx” “arn” : “acs:ram::13234:role/logsource” “region_id” : “cn-hangzhou” }

可选字段。如果设置该字段，则表示使用自带密钥（BYOK），否则使用日志服务的服务密钥。

cmk_key_id

String

f5136b95-2420-ab31-xxxxxxxxx

BYOK的主密钥ID。

arn

String

acs:ram::13234:role/logsource

RAM角色的ARN。

region_id

String

cn-hangzhou

主密钥所在的地域ID。

from

Integer

1409529600

子时间区间的开始时间点。UNIX时间戳格式，表示从1970-1-1 00:00:00 UTC计算起的秒数。

to

Integer

1409569200

子时间区间的结束时间点。UNIX时间戳格式，表示从1970-1-1 00:00:00 UTC计算起的秒数。

count

Long

2

该子时间区间内查询到的日志条数。

progress

String

Complete

当前查询结果在该子时间区间内的结果是否完整。

• Complete：查询已经完成，返回结果为完整结果。
• Incomplete：查询已经完成，返回结果为不完整结果，需要重复请求以获得完整结果。

configName

String

test-config

Logtail配置名称。必须满足以下条件：

• 同一日志项目下唯一。
• 由大小写字母、数字、下划线、连字符组成。
• 长度在[2,64]之间。
• 必须以大小写字母或数字开头与结尾。

logSample

String

2022-06-14 11:13:29.796 | DEBUG | __main__::1 – hello world

Logtail需要采集的日志样例。

inputType

String

file

Logtail采集日志输入的类型。

inputDetail

Map

Logtail采集输入的详细配置。

outputType

String

LogService

Logtail采集日志输出的类型，固定填写为LogService。

createTime

Long

1655176807

创建时间，Unix时间戳。

lastModifyTime

Long

1655176807

最后修改时间，Unix时间戳。

savedsearchName

String

savedsearch-name

快速查询名称。

searchQuery

String

status: 401 | SELECT remote_addr,COUNT(*) as pv GROUP by remote_addr ORDER by pv desc limit 5

查询语句或者分析语句。

logstore

String

aliyun-test-logstore

Logstore名称。

topic

String

topic

日志主题。默认值为空字符串（””）。

displayName

String

Method统计

快速查询显示名称。

title

String

my-chart

图表标题。

type

String

linepro

图表类型。

search

Map

(*)| SELECT date_format(__time__ – __time__ % 60, ‘%H:%i:%s’) as time, count(1) as count GROUP BY time ORDER BY time

查询配置。

display

Map

图表的显示配置。

action

Map

action

dashboardName

String

dashboard-1609294922657-434834

仪表盘的内部显示名称。

displayName

String

test-alert

仪表盘的展示名称。

description

String

这是一个仪表盘。

仪表盘的描述信息。

attribute

Map

仪表盘的属性值。

etlJobName

String

etl-name

数据加工任务名称。

functionParameter

Map

参数列表。

enable

Boolean

true

是否启用。

etlMetaName

String

MetaName

MetaName

etlMetaKey

String

MetaKey

MetaKey

etlMetaTag

String

MetaTag

MetaTag

enable

Boolean

true

Enable

etlMetaValue

String

MetaValue

MetaValue

externalStoreName

String

rds_store

外部存储名称，在同一Project中名称不能重复，且和Logstore名称不能重复。

storeType

String

rds-vpc

存储类型。固定取值为rds-vpc，表示VPC下的RDS MySQL数据库。

parameter

Map

{ “vpc-id”: “vpc-bp1aevy8sofi8mh1q****”, “instance-id”: “i-bp1b6c719dfa08exf****”, “host”: “192.168.XX.XX”, “port”: “3306”, “username”: “root”, “password”: “sfdsfldsfksfls****”, “db”: “meta”, “table”: “join_meta”, “region”: “cn-qingdao” }

外部存储的配置参数。

ttl

Integer

30

日志保存时间，单位为天。

max_text_len

Integer

2048

日志服务默认字段值的最大长度为2048字节，即2 KB。如果您需要修改字段值的最大长度，可设置统计字段（text）最大长度，取值范围为64~16384字节。

log_reduce_white_list

Array of String

name

白名单字段。

log_reduce_black_list

Array of String

time

黑名单字段。

keys

Map

字段索引配置，key为字段名称，value为字段索引配置。该参数和line必须至少指定一个，更多示例，请参见示例。

log_reduce

Boolean

true

是否开启日志聚类。开启后白名单与黑名单至多生效其中一个。

• true：开启日志聚类。
• false（默认值）：不开启日志聚类。

lastModifyTime

Long

1622186280

上次修改时间，unix 时间戳，记录从 1970年1月1日0时0分0秒以来的所经过的秒数。

loggingProject

String

my-project

服务日志要保存到的Project名称。

logstoreName

String

my-logstore

Logstore名称。

ttl

Integer

1

数据的保存时间，单位为天。取值范围为1~3650。如果配置为3650，表示永久保存。

shardCount

Integer

2

Shard分区个数。

enable_tracking

Boolean

false

是否开启WebTracking功能。默认值为false。

• true：开启WebTracking。
• false：不开启WebTracking。

autoSplit

Boolean

true

是否自动分裂Shard。

• true：自动分裂Shard。
• false：不自动分裂Shard。

maxSplitShard

Integer

6

自动分裂时最大的Shard个数，最小值是1，最大值是64。

appendMeta

Boolean

false

是否记录外网IP地址功能。默认值为false。

• true：记录外网IP地址。
• false：不记录外网IP地址。

telemetryType

String

Metrics

要查询的日志类型。取值：

• Metrics：时序存储。
• None：非时序存储。

createTime

Integer

1453949705

日志库创建时间。UNIX时间戳格式，表示从1970-1-1 00:00:00 UTC计算起的秒数。

lastModifyTime

Integer

1524155379

日志库最后一次更新时间。UNIX时间戳格式，表示从1970-1-1 00:00:00 UTC计算起的秒数。

encrypt_conf

EncryptConf

数据加密配置。

hot_ttl

Integer

60

数据在Logstore热存储层中的存储时间，最少为30天。单位：天。

mode

String

standard

日志服务提供标准型（Standard）和查询型（Query）两种类型的Logstore。

• standard：支持日志服务一站式数据分析功能，适用于实时监控、交互式分析以及构建完整的可观测性系统等场景。
• query：支持高性能查询，索引流量费用约为Standard的一半，但不支持SQL分析，适用于数据量大、存储周期长（周、月级别以上）、无日志分析的场景。

productType

String

aliyun

日志所属产品类型。

ip

String

192.168.xx.x

机器的IP地址。

machine-uniqueid

String

3B70F4F1-80F7-46C4-A6C1-100***CEE647

机器的唯一标识。

lastHeartbeatTime

Long

1447182247

最后一次心跳时间。Unix时间戳格式，表示从1970-1-1 00:00:00 UTC计算起的秒数。

userdefined-id

String

无

机器的用户自定义标识，当机器组标识类型为用户自定义类型时有效。

groupName

String

machineGroup-1

机器组名称。

groupType

String

“”

机器组类型，目前固定为空字符串。

machineIdentifyType

String

ip

机器标识类型。

• ip：IP地址机器组。
• userdefined：用户自定义标识机器组。

machineList

Array of String

47.100.XX.XX

机器的IP地址或自定义标识。

createTime

String

2021-07-07 14:08:09

创建Project的时间。

lastModifyTime

String

2022-04-18 13:30:19

最后一次更新Project时间。

description

String

Description of my-project

Project描述信息。

owner

String

“”

Project所属得阿里云账号。

projectName

String

ali-test-project

Project名称，作为Host的一部分。Project名称在阿里云地域内全局唯一，创建后不可修改。

region

String

cn-hangzhou

Project所属地域。

status

String

Normal

Project状态。

• Normal：正常
• Disable：禁用

resourceGroupId

String

rg-acf******sq

Project所属的资源组ID。

shardID

Integer

0

shard id

status

String

readwrite

Shard状态。创建Shard时，所有Shard状态均为readwrite状态。执行分裂或合并操作后，Shard状态变更为readonly，并生成新的readwrite状态的Shard。Shard状态不影响其数据读取的性能。readwrite状态的Shard可保证数据写入性能，readonly状态的Shard不提供数据写入服务。取值包括：

• readwrite（读写）
• readonly（只读）

inclusiveBeginKey

String

00000000000000000000000000000000

Shard起始的Key值，在Shard MD5范围中包含该值。

exclusiveEndKey

String

8000000000000000000000000000000

分区结束的Key值。

createTime

Integer

1524222931

分区的创建时间。UNIX时间戳格式，表示从1970-1-1 00:00:00 UTC计算起的秒数。