阿里云日志服务SLS数据类型-云淘科技

text类型

如果您要查询和分析字符串类型的字段，需在配置索引时，将字段的数据类型设置为text，并开启统计功能。

说明

开启全文索引后，日志服务默认将整条日志（除__time__以外所有字段）设置为text类型。

• 日志样例

• 配置索引

• 查询和分析语句

  • 查询非GET请求的日志。

    not request_method : GET

  • 查询以cn开头的日志。

    cn*

  • 统计客户端分布情况。

    * | SELECT ip_to_province(client_ip) as province, count(*) AS pv GROUP BY province ORDER BY pv

long和double类型

设置字段的数据类型为long或double后，您才能通过数值范围查询该字段的值。

• 如果日志字段的值为整数类型，建议您在配置索引时，将字段的数据类型设置为long。

• 如果日志字段的值为浮点数类型，建议您在配置索引时，将字段的数据类型设置double。

重要

• 如果设置数据类型为long，而实际字段值为浮点数类型，则无法查询该字段。

• 如果设置数据类型为long或double，而实际字段值为字符串类型，则无法查询该字段。

• 如果设置数据类型为long或double，则不支持使用星号（*）或半角问号（?）进行模糊查询。

• 如果字段的值为非法的数值，则使用not key > -1000000语句进行查询，表示查询所有有效数值之外的日志，其中-1000000为足够小的值即可。

• 日志样例

• 配置索引

• 查询和分析语句

  • 查询请求时间大于60秒的日志。

    request_time > 60

  • 查询请求时间大于等于60秒，并且小于200秒的日志。

    • request_time in [60 200)

    • request_time >= 60 and request_time < 200

  • 查询请求状态码为200的日志。

    status = 200

JSON类型

如果字段的值为JSON类型，您可在配置索引时，将字段的数据类型设置为JSON。

• 针对JSON对象中的字段，您可根据其值，将数据类型设置为long、double或text，并开启统计功能。开启统计功能后，日志服务支持您查询和分析JSON对象中的字段。

  通过选中对Json内所有文本字段自动索引，可实现JSON对象中的所有文本字段自动创建索引。创建索引后，将产生索引流量。

• 针对非完全合法的JSON数据，日志服务支持解析合法部分。

  例如以下为非完整的JSON日志，日志服务可正确解析content.remote_addr字段、content.request.request_length字段和content.request.request_method字段。

  content: {
       remote_addr:"192.0.2.0"
       request: {
               request_length:"73"
               request_method:"GE

• 更多参考信息

  • 关于查询和分析JSON日志的更多操作场景和常见问题，包括设置索引、查询和分析具有索引的JSON字段、使用JSON函数、分析JSON数组等，请参见查询和分析JSON日志的常见问题。

  • 查询和分析JSON日志相关的基础配置和基本用法，请参见查询和分析JSON日志。

  • 在查询和分析JSON日志时，如果数据量比较小，您可以不对JSON叶子节点建立字段索引，而是使用JSON函数进行查询和分析。另外，针对一些特殊情况，只能使用JSON函数进行查询与分析。相关案例，请参见何时使用JSON函数。关于JSON函数的完整介绍和案例，请参见JSON函数。

重要

• 日志服务支持JSON对象中的叶子节点建立索引，但不支持包含叶子节点的子节点建立索引。

• 日志服务不支持值为JSON数组的字段建立索引，也不支持JSON数组中的字段建立索引。

• 如果字段的值为Boolean类型，则您可以在建立索引时，将字段的数据类型设置为text。

• 查询和分析语句格式为查询语句|分析语句。在分析语句中，您必须使用双引号（””）包裹字段名称，使用单引号（”）包裹字符串。

• 日志样例

  JSON日志样例如下所示，除日志服务保留字段外，还包括class字段、latency字段、status字段和info字段。其中info字段的值是JSON对象，并存在多层嵌套。

  

• 配置索引

  相关说明如下：

  • IP字段和data字段的值为JSON数组，所以您无法为IP字段和data字段建立索引，也无法通过这两个字段进行查询和分析。

  • region字段和CreateTime字段在JSON数组中，所以您无法为region字段和CreateTime字段建立索引，也无法通过这两个字段进行查询和分析。

• 查询和分析语句

  • 查询usedTime字段的值大于60秒的日志。

    info.usedTime > 60

  • 查询success字段的值为true的日志。

    info.success : true

  • 查询usedTime字段的值大于60秒且projectName的值不为project01的日志。

    info.usedTime > 60 not info.param.projectName : project01

  • 计算获取Project信息的平均时长。

    methodName = getProjectInfo | SELECT avg("info.usedTime") AS avg_time