阿里云日志服务SLS高精度时间戳（精确到纳秒）和全局排序-云淘科技

本文主要介绍日志服务支持通过高精度时间戳（精确到纳秒）进行数据的全局排序，给您提供更加精准、可靠的时间顺序视图。

SLS支持全局有序和高精度时间戳

当前SLS已经支持高精度时间戳功能，并且直接按照纳秒级别进行全局排序。

相比老的非高精度时间戳的版本，会在以下PB格式新增了一个可选的Time_ns字段，在开启高精度时间戳功能的时候，用来存放日志时间里面的纳秒部分。之所以新增这么一个字段，而没有修改Time字段的类型主要是为了兼容历史数据。

SLS会基于Time和Time_ns组合出来的纳秒时间全局排序，控制台序查询结果如下图所示：

基本原理

日志写入SLS的时候可能会落在不同的Shard里面，在查询的时候根据查询条件和查询时间范围，通过倒排索引和写入过程中存放的高精度时间信息来将各个shard内部满足条件的log过滤出来并返回给中间节点做进一步的全局排序处理，中间结点处理后再返回。

写入
查询

注意事项

Python SDK

Python SDK 支持纳秒高精度，目前发布在pypi官方源，如果在国内用pip install -U aliyun-log-python-sdk 没有拉取到纳秒版本，可以用pip install -U aliyun-log-python-sdk==0.8.11获取。
Logtail

1.8.2及以上版本支持

如何开启全局有序和纳秒高精度时间戳

从有序业务场景章节我们了解了全局有序对业务的重要性，您使用该功能，需要从数据写入和查询两方面入手，其中数据写入主要有两类途径：Logtail和SDK。

数据写入

Logtail

Logtail可以帮助您无侵入式从服务器或容器中采集文件和标准输出日志，Logtail 1.8.2及以上版本支持纳秒高精度时间戳。具体操作，请参见Logtail日志采集支持高精度时间戳。如何安装和升级Logtail，请参见安装Logtail（Linux系统）。
- 安装命令
```
./logtail.sh install {region}
```
- 升级命令
```
./logtail.sh upgrade
```
  以上命令都可以使用-v参数指定版本，如
```
./logtail.sh upgrade -v 1.8.2
```

SDK

当前GO SDK、C++ SDK、Java SDK、Python SDK支持纳秒时间的日志，其他语言的SDK，请提交工单。

下述代码示例为通过Python SDK写入带有纳秒时间的日志。您可以根据具体业务需要，解析日志中正确的纳秒时间部分传入。在查询时，使用秒和纳秒两者拼接的时间进行全局排序。

def put_log_with_nano():
  logitemList = []
  for i in range(30):
    contents = [
        ('DeviceIP', 11.22.xx.xx)
    ]
    logItem = LogItem()
    nano_time = time.time_ns()
    sec_time = int(nano_time / 1000000000);
    nano_time_part = nano_time % 1000000000;
    logItem.set_time(sec_time)
    logItem.set_time_nano_part(nano_time_part)
    logItem.set_contents(contents)
    logitemList.append(logItem)
  request = PutLogsRequest(_project, _logstore, logitems=logitemList)
  res = client.put_logs(request)
  res.log_print()

数据查询

控制台

SLS控制台，会根据高精度的时间信息，自动进行显示优化，显示成毫秒、微秒、纳秒的形式。
- 微秒形式
- 纳秒形式

以Python 为例，捞取[1696743635 s, 1696743635 s +10 ns)区间内满足myQuery查询条件的最多100行log，并以逆序输出返回结果。

新增参数说明：

accurate_query设置为true默认走精确查询，在设置为False情况下，只能保证分钟级别有序。

from_time_nano_part和to_time_nano_part 会分别和fromTime、toTime组合成nano时间范围去SLS查询，SLS会过滤出在这段纳秒时间范围内的满足查询条件的log，并以纳秒时间戳粒度有序输出。

def query_log_with_nano():
    query = "LEVEL:ERROR"
    req = GetLogsRequest(_project, _logstore, fromTime=1696743635, toTime=1696743635, query=query, line=100, reverse=True, accurate_query=True, from_time_nano_part=0, to_time_nano_part = 10)
    res = client.get_logs(req)
    res.log_print()

内容没看懂？不太想学习？想快速解决？有偿解决：联系专家

阿里云企业补贴进行中：马上申请

腾讯云限时活动1折起，即将结束：马上收藏

 同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠

转转请注明出处：https://www.yunxiaoer.com/164112.html