阿里云日志服务SLSORC格式-云淘科技

参数配置

在创建OSS投递任务（新版）时，选择存储格式为orc，对应的参数配置如下所示。

相关参数说明如下表所示。

OSS文件地址

投递到OSS后，OSS文件地址示例如下表所示。

说明

• 在创建OSS投递任务时，如果您自定义了文件后缀，则文件后缀由您自定义的后缀决定。

• 在创建OSS投递任务时，如果您未自定义文件后缀，则文件后缀由压缩类型决定。

数据消费

• 通过E-MapReduce、Spark 、Hive消费数据。更多信息，请参见社区文档。

• 通过单机校验工具消费数据。

  orc tool可用于查看ORC文件的Meta信息、读取数据等。您可以通过maven repo下载orc-tools-1.7.2-uber.jar进行验证。

  • 查看Meta信息

    • 命令

      java -jar ~/Downloads/orc-tools-1.7.2-uber.jar meta -p file.orc

    • 返回结果

      Processing data file /Users/xx/file.orc [length: 200779]
      Structure for /Users/xx/file.orc
      File Version: 0.12 with ORC_CPP_ORIGINAL by ORC C++ 1.7.2
      Rows: 124022
      Compression: ZSTD
      Compression size: 65536
      Calendar: Julian/Gregorian
      Type: struct
      
      Stripe Statistics:
        Stripe 1:
          Column 0: count: 124022 hasNull: false
          Column 1: count: 124022 hasNull: false min: bucket0 max: sls-training-data sum: 1468133
          Column 2: count: 0 hasNull: true
      
      File Statistics:
        Column 0: count: 124022 hasNull: false
        Column 1: count: 124022 hasNull: false min: bucket0 max: sls-training-data sum: 1468133
        Column 2: count: 0 hasNull: true
      
      Stripes:
        Stripe: offset: 3 data: 199856 rows: 124022 tail: 97 index: 578
          Stream: column 0 section ROW_INDEX start: 3 length 102
          Stream: column 1 section ROW_INDEX start: 105 length 367
          Stream: column 2 section ROW_INDEX start: 472 length 109
          Stream: column 0 section PRESENT start: 581 length 25
          Stream: column 1 section PRESENT start: 606 length 25
          Stream: column 1 section LENGTH start: 631 length 38989
          Stream: column 1 section DATA start: 39620 length 160794
          Stream: column 2 section PRESENT start: 200414 length 23
          Stream: column 2 section LENGTH start: 200437 length 0
          Stream: column 2 section DATA start: 200437 length 0
          Encoding column 0: DIRECT
          Encoding column 1: DIRECT_V2
          Encoding column 2: DIRECT_V2
      
      File length: 200779 bytes
      Padding length: 0 bytes
      Padding ratio: 0%

  • 读取数据

    • 命令

      java -jar ~/Downloads/orc-tools-1.7.2-uber.jar data -n 5 file.orc

    • 返回结果

      Processing data file /Users/xx/file.orc [length: 200779]
      {"bucket":"bucket3","bucket_region":"cn-hangzhou"}
      {"bucket":"bucket3","bucket_region":"cn-hangzhou"}
      {"bucket":"bucket4","bucket_region":"cn-hangzhou"}
      {"bucket":"dashboard-bucket","bucket_region":"cn-hangzhou"}
      {"bucket":"bucket2","bucket_region":null}

  更多用法请执行java -jar orc-tools-1.7.2-uber.jar命令或者参见orc tool查看帮助。