阿里云对象存储OSSPython断点续传上传-云淘科技

注意事项

• 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系，请参见访问域名和数据中心。

• 本文以从环境变量读取访问凭证为例。如何配置访问凭证，请参见Python配置访问凭证。

• 本文以OSS域名新建OSSClient为例。如果您希望通过自定义域名、STS等方式新建OSSClient，请参见Python初始化。

• 要断点续传上传，您必须有oss:PutObject权限。具体操作，请参见为RAM用户授权自定义的权限策略。

• 断点续传内部使用了多线程，调用时无需在外部封装多线程，否则可能导致数据重复传输。

• 网络情况较好时，建议增加分片大小。反之，减小分片大小。

示例代码

以下代码用于断点续传上传。

# -*- coding: utf-8 -*-
import oss2
from oss2.credentials import EnvironmentVariableCredentialsProvider
# 从环境变量中获取访问凭证。运行本代码示例之前，请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
auth = oss2.ProviderAuth(EnvironmentVariableCredentialsProvider())
# yourEndpoint填写Bucket所在地域对应的Endpoint。以华东1（杭州）为例，Endpoint填写为https://oss-cn-hangzhou.aliyuncs.com。
# 填写Bucket名称，例如examplebucket。
bucket = oss2.Bucket(auth, 'https://oss-cn-hangzhou.aliyuncs.com', 'examplebucket')

# yourObjectName填写Object完整路径，完整路径中不能包含Bucket名称，例如exampledir/exampleobject.txt。
# yourLocalFile填写本地文件的完整路径，例如D:\localpath\examplefile.txt。如果未指定本地路径，则默认从示例程序所属项目对应本地路径中上传文件。
oss2.resumable_upload(bucket, 'exampledir/exampleobject.txt', 'D:\localpath\examplefile.txt')
# 如未使用参数store指定目录，则会在HOME目录下建立.py-oss-upload目录来保存断点信息。

# Python SDK 2.1.0以上版本支持断点续传上传时设置以下可选参数。
# import sys
# # 当无法确定待上传的数据长度时，total_bytes的值为None。
# def percentage(consumed_bytes, total_bytes):
#     if total_bytes:
#         rate = int(100 * (float(consumed_bytes) / float(total_bytes)))
#         print('\r{0}% '.format(rate), end='')
#         sys.stdout.flush()
# # 如果使用store指定了目录，则断点信息将保存在指定目录中。如果使用num_threads设置并发上传线程数，请将oss2.defaults.connection_pool_size设置为大于或等于并发上传线程数。默认并发上传线程数为1。
# oss2.resumable_upload(bucket, '', '',
#                       store=oss2.ResumableStore(root='/tmp'),
#                       # 指定当文件长度大于或等于可选参数multipart_threshold（默认值为10 MB）时，则使用分片上传。
#                       multipart_threshold=100*1024,
#                       # 设置分片大小，单位为字节，取值范围为100 KB~5 GB。默认值为100 KB。
#                       part_size=100*1024,
#                       # 设置上传回调进度函数。
#                       progress_callback=percentage,
#                       # 如果使用num_threads设置并发上传线程数，请将oss2.defaults.connection_pool_size设置为大于或等于并发上传线程数。默认并发上传线程数为1。
#                       num_threads=4)

相关文档

关于断点续传上传的完整示例代码，请参见GitHub示例。