阿里云对象存储OSS使用Python SDK的SelectObject查询CSV和JSON文件-云淘科技

上传CSV或JSON格式文件

您可以根据业务需求，在OSS管理控制台将CSV或JSON格式文件上传到OSS bucket中。如何将文件上传至OSS bucket，请参见上传文件。

调用测试

通过put_object中的key、contant参数创建并上传了一个名为python_select的文件。

说明

以下JSON与CSV示例需分开执行。

import os
import oss2

# 首先初始化AccessKeyId、AccessKeySecret、Endpoint等信息。
# 请确保已在环境变量中，设置OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
access_key_id = os.getenv('OSS_ACCESS_KEY_ID')
access_key_secret = os.getenv('OSS_ACCESS_KEY_SECRET')
# 指定Bucket名称。
bucket_name = ''
# 以杭州区域为例，Endpoint可以是：
# http://oss-cn-hangzhou.aliyuncs.com
# https://oss-cn-hangzhou.aliyuncs.com
endpoint = ''

# 创建存储空间实例，所有文件相关的方法都需要通过存储空间实例来调用。
bucket = oss2.Bucket(oss2.Auth(access_key_id, access_key_secret), endpoint, bucket_name)


### CSV示例

key = 'python_select.csv'
# 文件内容。
content = 'fralychen,China,30\r
Tom,USA,20\r
'
filename = 'python_select.csv'
# 上传一个名为python_select.csv文件。
bucket.put_object(key, content)

# 通过select_object使用sql语法查询文件。
# def select_object(self, key, sql,
#                   progress_callback=None,
#                   select_params=None,
#                   byte_range=None
#                   )

result = bucket.select_object(key, 'select * from ossobject where _3 > 29')
print('csv select result:')
print(result.read())


### JSON示例

key = 'python_select.json'
#content = "{"contacts":
#        [
#            {
#            "key1":1,
#            "key2":"love china"
#            },
#            {
#            "key1":2,
#            "key2":"fralychen"
#            }
#        ]
#    }"
content = "{\"contacts\":[{\"key1\":1,\"key2\":\"love China\"},{\"key1\":2,\"key2\":\"fralychen\"}]}"

# 上传一个名为python_select.json文件。
bucket.put_object(key,content)

select_json_params = {'Json_Type': 'DOCUMENT'}
result = bucket.select_object(key,'select s.key2 from ossobject.contacts[*] s where s.key1 = 1', None, select_json_params)
print('json select result:')
print(result.read())

输出示例

您可以在OSS控制台上查看上传后的python_select.csv及python_select.json文件。

CSV及JSON的示例输出结果如下所示。

常见SQL语句

常见的SQL应用场景及对应的SQL语句如下表所示：

更多参考

• 有关Python SDK API的更多信息，请参见GitHub。

• 有关SelectObject的更多信息，请参见查询文件。

• 有关使用Python SDK的SelectObject查询CSV和JSON文件的更多信息，请参见Python查询文件。