OSS-HDFS服务支持在未部署任何导入和导出工具的情况下，直接将OSS元数据转换为OSS-HDFS元数据。
前提条件
- 已开通并授权访问OSS-HDFS服务。具体步骤，请参见开通并授权访问OSS-HDFS服务。
- 仅华北3（张家口）地域支持将OSS元数据转换为OSS-HDFS元数据。
- 已提交工单申请使用OSS-HDFS服务的元数据转换功能。
使用限制
不支持将以下类型的OSS元数据转换为OSS-HDFS元数据：
- 归档类型Object
- 冷归档类型Object
- 软链接Symlink
- 通过追加上传方式生成的Appendable类型Object
- 通过SSE-KMS或者SSE-OSS加密的Object
风险说明
元数据转换任务开始执行后，请勿执行以下操作，否则导致转换任务失败。
- 请勿删除文件
如果删除被转换的文件，可能导致转换时找不到文件，造成转换任务执行失败。
- 请勿覆写文件
如果覆写被转换的文件，可能导致覆写的内容不会被转换。
- 请勿在OSS-HDFS目的端上传同名文件
如果在OSS-HDFS目的端上传同名文件，可能导致文件名冲突，造成转换任务执行失败。
- 请勿修改转换任务执行角色的权限
如果修改了转换任务执行角色AliyunOSSDLSTransferRole或者AliyunOSSRole的权限，可能导致无权限执行转换任务，造成转换任务执行失败。
- 请确保OSS中不存在同名文件和文件夹
如果转换任务配置的前缀匹配了同名文件和文件夹，例如配置的转换任务前缀为dir，OSS中存在文件dir以及文件夹dir/，可能出现只转换文件或者文件夹，或者转换任务失败，具体以任务运行时的导入顺序为准。
操作步骤
- 新建数据转换任务。
- 登录OSS管理控制台。
- 单击Bucket列表，然后单击目标Bucket名称。
- 在左侧导航栏，选择数据湖管理 > 数据转换。
- 单击新建数据转换任务。重要 默认情况下，最多支持配置3条转换任务。
- 在数据转换任务配置页面，按以下说明配置必要参数，其他参数保留默认配置。
参数 说明 命中前缀 指定需要将哪些前缀的OSS数据转换为OSS-HDFS，最多可支持指定10个前缀。 授权角色 下拉选择新建角色，然后按照页面指引完成AliyunOSSDLSTransferRole角色的创建操作，该角色用于授权数据转换功能访问您的云资源。重要 如果您此前已拥有AliyunOSSRole角色，也可以选择使用该角色授权数据转换功能访问您的云资源。 - 单击下一步，然后单击确定。此时，任务处于空闲状态。
- 单击当前任务右侧操作栏下的启动任务。此时，任务处于运行中状态，该状态下后台将扫描命中的文件，大约需要1小时完成扫描。待转换任务完成后，任务将返回空闲状态。
- 可选：单击当前任务右侧操作栏下的历史记录，查看导入信息。
转换完成后，您可以在数据导入目录下查看已成功转换的文件，还可以前往导入的错误信息目录下查看转换失败的原因。
- 可选：如果您在上一次转换任务完成后，需要对与指定前缀匹配的OSS元数据进行增量转换，请再次单击启动任务。重要 执行增量转换任务过程中，会产生大量的重复数据，占用额外的存储空间。因此，在执行增量转换任务之前，建议您先清理已转换完成的文件。
内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家
阿里云企业补贴进行中： 马上申请
腾讯云限时活动1折起，即将结束： 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠
转转请注明出处：https://www.yunxiaoer.com/158836.html