使用清单导出功能，您可以将某个Bucket下的OSS-HDFS服务的文件清单导出到某个特定路径，格式为JSON文件，方便您对元数据进行统计分析。
前提条件
-
使用4.6.0及以上版本JindoSDK。下载地址，请参见JindoData下载。
-
配置OSS-HDFS服务下Bucket的访问密钥。
具体操作，请参见通过Jindo CLI命令访问OSS/OSS-HDFS。
操作步骤
-
导出清单。
-
登录OSS管理控制台。
-
单击Bucket 列表，然后单击目标Bucket名称。
-
在左侧导航栏，选择数据湖管理 > HDFS 服务。
-
在导出元数据清单区域，单击导出。
导出过程大约需要数分钟乃至数小时，具体用时取决于元数据量的大小。输出的清单结果文件默认保存在
oss://./.sysinfo/inventory/路径下，暂不支持自定义输出路径。重要
.sysinfo/inventory/目录不支持删除。该目录下的结果文件支持访问和删除。
-
-
下载文件。
执行以下命令下载清单结果文件。
jindo fs -get oss://./.sysinfo/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d**** /tmp/ -
通过vi或vim命令打开清单结果文件。
清单导出结果文件示例如下：
{"id":163**,"path":"/","type":"directory","size":0,"user":"admin","group":"supergroup","atime":0,"mtime":1666581702933,"permission":511} {"id":624668410678950****,"path":"/dls-1000326249","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660889124590,"permission":511} {"id":624668410678950****,"path":"/dls-1000326249/benchmark","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660889124590,"permission":511} {"id":624668410678950****,"path":"/dls-1000326249/benchmark/n1","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660889124590,"permission":511} {"id":624668410678950****,"path":"/dls-1000326249/benchmark/n1/490747449","type":"directory","size":0,"user":"hadoop","group":"supergroup","atime":0,"mtime":1660895613953,"permission":511}清单导出结果文件的各字段含义说明如下：
字段
含义
id
文件或目录ID。
path
文件或目录路径。
type
元数据类型。
-
directory：表示目录。
-
file：表示文件。
size
数据大小，单位为字节。
-
当元数据类型为file时，size字段的值为文件大小。
-
当元数据类型为directory，size字段的值为0。
user
文件或目录所属的owner。
group
文件或目录所属的用户组。
atime
文件或目录的访问时间，取值固定为0，暂不支持统计。
mtime
文件或目录的修改时间，格式为时间戳。
permission
文件或者目录的权限。
-
-
（可选）删除清单导出结果文件。
OSS-HDFS清单导出结果文件会占用存储空间，进而产生存储费用。如果您确认不再需要保留该清单导出结果文件，建议通过Hadoop命令的方式及时删除。
重要
删除清单导出结果文件时，清单导出结果文件所在路径必须与步骤1输出结果中Data Location保持一致，避免误删除.dlsdata和.sysinfo路径下的系统数据。
执行Jindo CLI命令删除清单导出结果文件的示例如下：
jindo fs -rm -skipTrash oss://./.sysinfo/inventory/1666584461201.2ce40fba-5704-45c4-8720-d92a891d****
内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家
阿里云企业补贴进行中： 马上申请
腾讯云限时活动1折起，即将结束： 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠
转转请注明出处：https://www.yunxiaoer.com/157640.html