阿里云对象存储OSSsync（同步本地文件到OSS）-云淘科技

注意事项

• Binary名称

  本文各命令行示例均基于Linux 64位系统，其他系统请将命令开头的./ossutil64替换成对应的Binary名称。详情请参见命令行工具ossutil快速入门。

• 文件数量

  通过sync命令执行同步任务时，如果没有携带–delete选项，则单次同步任务同步的文件个数无限制。如果携带了–delete选项，则单次同步任务最多可同步100万个文件。当同步的文件个数超出100万时，将报错over max sync numbers 1000000.。

• sync命令与cp命令的区别

  • sync命令强制以递归的方式遍历指定文件夹内所有文件或子文件夹。cp命令需增加-r选项才会进行递归操作。

  • 通过sync命令将数据同步到OSS时，ossutil支持通过–delete选项将目的端存在而源端不存在的文件都删除，仅保留本次同步的文件。cp命令不支持–delete选项。

  • sync不支持–version-id选项，无法在已开启版本控制的Bucket内同步历史版本文件。cp命令支持–version-id选项。

  除以上区别外，sync命令与cp命令用法类似。有关cp命令的用法及示例，请参见cp（上传文件）。

命令格式

./ossutil64 sync file_url cloud_url
[-f --force]
[-u --update]
[--delete]
[--enable-symlink-dir]
[--disable-all-symlink]
[--disable-ignore-error]
[--only-current-dir]
[--output-dir ]
[--bigfile-threshold ]
[--part-size ]
[--checkpoint-dir ]
[--encoding-type ]
[--snapshot-path ]
[--include ]
[--exclude ]
[--meta ]
[--acl ]
[--maxupspeed ]
[--disable-crc64]
[--payer ]
[-j, --job ]
[--parallel ]
[--retry-times ]
[--tagging ]

参数及选项说明如下：

使用示例

本地根目录下localfolder文件夹内有d.txt和e.png文件。OSS中名为examplebucket的Bucket下文件夹destfolder内有文件a.txt、b.txt和子文件夹C，文件结构如下：

本地根目录                  examplebucket
    └── localfolder         └── destfolder/
            ├── d.txt               ├── a.txt
            ├── e.png               ├── b.txt
                                    └── C/

示例场景及命令如下：

• 将本地localfolder文件夹同步到OSS

  ./ossutil64 sync localfolder/  oss://examplebucket/destfolder/

  命令执行后，examplebucket的 destfolder文件夹内新增d.txt和e.png文件。

  本地根目录                  examplebucket
      └── localfolder         └── destfolder/
              ├── d.txt               ├── a.txt
              ├── e.png               ├── b.txt
                                      ├── d.txt 
                                      ├── e.png 
                                      └── C/
                          

• 将本地localfolder文件夹的.txt文件同步到OSS

  ./ossutil64 sync localfolder/  oss://examplebucket/destfolder/ --include "*.txt"

  命令执行后，examplebucket的 destfolder文件夹内新增d.txt文件。

  本地根目录                  examplebucket
      └── localfolder         └── destfolder/
              ├── d.txt               ├── a.txt
              ├── e.png               ├── b.txt
                                      ├── d.txt 
                                      └── C/
                          

• 将本地localfolder文件夹的非.txt文件同步到OSS

  ./ossutil64 sync localfolder/  oss://examplebucket/destfolder/ --exclude "*.txt"

  命令执行后，examplebucket的destfolder文件夹内新增e.png文件。

  本地根目录                  examplebucket
      └── localfolder         └── destfolder/
              ├── d.txt               ├── a.txt
              ├── e.png               ├── b.txt
                                      ├── e.png 
                                      └── C/
                          

• 同步本地文件夹到OSS，并删除OSS指定路径下已存在而本地端不存在的文件

  通过增加–delete选项，删除目的端存在而源端不存在的文件，仅保留本次同步的文件。

  ./ossutil64 sync localfolder/  oss://examplebucket/destfolder/ --delete

  命令执行后，本地localfolder文件夹被同步到OSS，同时会删除OSS的文件a.txt、b.txt以及子文件夹C，即OSS的destfolder文件夹内仅保留d.txt和e.png文件。

  本地根目录                  examplebucket
      └── localfolder         └── destfolder/
              ├── d.txt                ├── d.txt
              ├── e.png                ├── e.png 

• 同步本地文件夹到OSS，并省略问询操作

  默认情况下，同步本地文件夹到OSS时，如果目的端存在同名文件，ossutil会进行覆写操作的问询。命令如下：

  ./ossutil64 sync localfolder/ oss://examplebucket/destfolder/
  cp: overwrite "oss://examplebucket/destfolder/d.txt"(y or N)?

  如果您确认目的端文件均可被覆写，可增加-f，–force选项强制执行覆写操作。命令如下：

  ./ossutil64 sync localfolder/ oss://examplebucket/destfolder/ -f

  命令执行后，examplebucket的destfolder文件夹内新增d.txt和e.png文件。

  本地根目录                  examplebucket
      └── localfolder         └── destfolder/
              ├── d.txt               ├── a.txt
              ├── e.png               ├── b.txt
                                      ├── d.txt 
                                      ├── e.png
                                      └── C/
                      

• 以上示例同步成功后，返回结果中将包含同步的文件数量、文件大小以及完成同步操作所用时长，示例如下：

  Succeed: Total num: 2, size: 750,081. OK num: 2(upload 2 files).
  
  average speed 1641000(byte/s)

通用选项

当您需要通过命令行工具ossutil切换至另一个地域的Bucket时，可以通过-e选项指定该Bucket所属的Endpoint。当您需要通过命令行工具ossutil切换至另一个阿里云账号下的Bucket时，可以通过-i选项指定该账号的AccessKey ID，并通过-k选项指定该账号的AccessKey Secret。

例如，您需要将本地文件夹srcfolder的文件同步至另一个阿里云账号下，华东2（上海）地域下存储空间examplebucket的文件夹testfolder，命令如下：

./ossutil64 sync srcfolder/ oss://examplebucket/testfolder/ -e oss-cn-shanghai.aliyuncs.com -i LTAI4Fw2NbDUCV8zYUzA****  -k 67DLVBkH7EamOjy2W5RVAHUY9H****

关于此命令的其他通用选项的更多信息，请参见通用选项。