详情页标题前

阿里云对象存储OSS在OSS-HDFS服务不同Bucket之间迁移数据-云淘科技

• 阿里云对象存储
详情页1

本文介绍如何使用阿里云Jindo DistCp在OSS-HDFS服务不同Bucket之间迁移数据。

前提条件

  • JDK 1.8及以上版本。
  • 如果您使用的是自建ECS集群，需要具备Hadoop2.7+或Hadoop3.x环境以及进行MapReduce作业的能力。
  • 如果您使用的是阿里云E-MapReduce，需使用EMR-5.6.0及后续版本或EMR-3.40.0及后续版本。

背景信息

阿里云Jindo DistCp（分布式文件拷贝工具）用于大规模集群内部或集群之间拷贝文件。Jindo DistCp使用MapReduce实现文件分发，错误处理和恢复，把文件和目录的列表作为MapReduce任务的输入，每个任务会完成源列表中部分文件的拷贝。Jindo
DistCp全量支持HDFS之间、HDFS与OSS之间、HDFS与OSS-HDFS之间以及OSS-HDFS之间数据拷贝场景，提供多种个性化拷贝参数和多种拷贝策略。

使用阿里云Jindo DistCp迁移数据时，有以下优势：

  • 效率高，在测试场景中最高可达到1.59倍的加速。
  • 基本功能丰富，提供多种拷贝方式和场景优化策略。
  • 深度结合OSS，对文件提供归档、压缩等操作。
  • 实现No-Rename拷贝，保证数据一致性。
  • 场景全面，可完全替代Hadoop DistCp，目前支持Hadoop2.7+和Hadoop3.x。

步骤一：下载JAR包

JindoData 4.x.x版本

步骤二：配置OSS-HDFS服务的AccessKey

您可以通过以下任意方式配置OSS-HDFS服务的AccessKey：

  • 在示例命令中配置AccessKey

    例如，在将OSS-HDFS中srcbucket的数据迁移到destbucket的示例中结合–hadoopConf选项配置AccessKey。 

    hadoop jar jindo-distcp-tool-${version}.jar --src oss://srcbucket.cn-hangzhou.oss-dls.aliyuncs.com/ --dest oss://destbucket.cn-hangzhou.oss-dls.aliyuncs.com/ --hadoopConf fs.oss.accessKeyId=yourkey --hadoopConf fs.oss.accessKeySecret=yoursecret --parallelism 10
  • 通过配置文件预先配置AccessKey

    将OSS-HDFS的fs.oss.accessKeyId、fs.oss.accessKeySecret预先配置在Hadoop的core-site.xml文件里。示例命令如下：

    
    
        fs.oss.accessKeyId
        LTAI5t7h6SgiLSganP2m****
    

    
        fs.oss.accessKeySecret
        KZo149BD9GLPNiDIEmdQ7dyNKG****

步骤三：配置OSS-HDFS服务Endpoint

访问OSS-HDFS服务时需要配置Endpoint。推荐访问路径格式为oss://./，例如oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/exampleobject.txt。配置完成后，JindoSDK会根据访问路径中的Endpoint访问对应的OSS-HDFS服务接口。

您还可以通过其他方式配置OSS-HDFS服务Endpoint，且不同方式配置的Endpoint存在生效优先级。更多信息，请参见配置Endpoint的其他方式。

步骤四：在OSS-HDFS服务不同Bucket之间全量迁移数据

以下以Jindo DistCp 4.4.0版本为例，您可以根据实际环境替换对应的版本号。

使用相同的AccessKey将同一个Region下Bucket A的数据迁移至Bucket B

  • 命令格式 
    hadoop jar jindo-distcp-tool-${version}.jar --src oss://bucketname.region.oss-dls.aliyuncs.com/ --dest oss://bucketname.region.oss-dls.aliyuncs.com/ --hadoopConf fs.oss.accessKeyId=yourkey --hadoopConf fs.oss.accessKeySecret=yoursecret --parallelism 10

    参数及选项说明如下：

    参数及选项 说明 示例
    –src 待迁移或拷贝的OSS-HDFS服务中源Bucket的完整路径。 oss://srcbucket.cn-hangzhou.oss-dls.aliyuncs.com/
    –dest OSS-HDFS中存放迁移或拷贝数据的目标Bucket的完整路径。 oss://destbucket.cn-hangzhou.oss-dls.aliyuncs.com/
    –hadoopConf 访问OSS-HDFS服务的AccessKey ID和AccessKey Secret。
    • AccessKey ID 
      LTAI5t7h6SgiLSganP2m****
    • AccessKey Secret 
      KZo149BD9GLPNiDIEmdQ7dyNKG****
    –parallelism 根据集群资源调整任务并发数。 10
  • 使用示例

    使用相同的AccessKey将华东1（杭州）地域下srcbucket的数据迁移至destbucket。

    hadoop jar jindo-distcp-tool-4.4.0.jar --src oss://srcbucket.cn-hangzhou.oss-dls.aliyuncs.com/ --dest oss://destbucket.cn-hangzhou.oss-dls.aliyuncs.com/ --hadoopConf fs.oss.accessKeyId=LTAI5t7h6SgiLSganP2m**** --hadoopConf fs.oss.accessKeySecret=KZo149BD9GLPNiDIEmdQ7dyNKG**** --parallelism 10

使用不同的AccessKey将Region A下Bucket A的数据迁移至另一个Region下的Bucket B

  • 命令格式 
    hadoop jar jindo-distcp-tool-${version}.jar --src oss://srcbucketname.region.oss-dls.aliyuncs.com/ --dest oss://destbucketname.region.oss-dls.aliyuncs.com/ --hadoopConf fs.oss.bucket.srcbucketname.accessKeyId=yourkey --hadoopConf fs.oss.bucket.srcbucketname.accessKeySecret=yoursecret --hadoopConf fs.oss.bucket.destbucketname.accessKeyId=yourkey --hadoopConf fs.oss.bucket.destbucketname.accessKeySecret=yoursecret --parallelism 10

    参数及选项说明如下：

    参数及选项 说明 示例
    –src 待迁移或拷贝的OSS-HDFS服务中源Bucket的完整路径。 oss://srcbucket.cn-hangzhou.oss-dls.aliyuncs.com/
    –dest OSS-HDFS中存放迁移或拷贝数据的目标Bucket的完整路径。 oss://destbucket.cn-shanghai.oss-dls.aliyuncs.com/
    –hadoopConf 访问OSS-HDFS服务中源Bucket以及目标Bucket的AccessKey ID和AccessKey Secret。
    • 访问源Bucket的AccessKey
      AccessKey ID

      LTAI5t7h6SgiLSganP2m****

      AccessKey Secret

      KZo149BD9GLPNiDIEmdQ7dyNKG****
    • 访问目标Bucket的AccessKey
      AccessKey ID

      LTAI5t8K9BtVqPSxjdDX****

      AccessKey Secret

      5xwFyoOjgKmt05VCdqzrwBdAwm****
    –parallelism 根据集群资源调整任务并发数。 10
  • 使用示例

    将华东1（杭州）地域OSS-HDFS服务中的srcbucket的数据迁移至华东2（上海）地域的destbucket，且这两个Bucket需使用不同的AccessKey进行访问。

    hadoop jar jindo-distcp-tool-4.4.0.jar --src oss://srcbucket.cn-hangzhou.oss-dls.aliyuncs.com/ --dest oss://destbucket.cn-shanghai.oss-dls.aliyuncs.com/ --hadoopConf fs.oss.bucket.srcbucket.accessKeyId=LTAI5t7h6SgiLSganP2m**** --hadoopConf fs.oss.bucket.srcbucket.accessKeySecret=KZo149BD9GLPNiDIEmdQ7dyNKG**** --hadoopConf --hadoopConf fs.oss.bucket.destbucket.accessKeyId=LTAI5t8K9BtVqPSxjdDX**** --hadoopConf fs.oss.bucket.destbucket.accessKeySecret=5xwFyoOjgKmt05VCdqzrwBdAwm**** --parallelism 10

（可选）在OSS-HDFS服务不同Bucket之间增量迁移数据

如果您仅希望拷贝在上一次全量迁移或拷贝后源路径下新增的数据，此时您可以结合–update选项完成数据的增量迁移或拷贝。

例如，您需要使用相同的AccessKey将华东1（杭州）地域下srcbucket的数据增量迁移至destbucket。

hadoop jar jindo-distcp-tool-4.4.0.jar --src oss://srcbucket.cn-hangzhou.oss-dls.aliyuncs.com/ --dest oss://destbucket.cn-hangzhou.oss-dls.aliyuncs.com/ --hadoopConf fs.oss.accessKeyId=LTAI5t7h6SgiLSganP2m**** --hadoopConf fs.oss.accessKeySecret=KZo149BD9GLPNiDIEmdQ7dyNKG**** --update --parallelism 10

更多参考

关于Jindo DistCp的其他使用场景，请参见Jindo DistCp使用说明。

内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家

阿里云企业补贴进行中： 马上申请

腾讯云限时活动1折起，即将结束： 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠

转转请注明出处：https://www.yunxiaoer.com/159531.html

赞 (0)
0
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云日志服务SLS什么是日志服务告警-云淘科技 阿里云日志服务SLS

    阿里云日志服务SLS什么是日志服务告警-云淘科技

    日志服务告警是一站式的告警监控、降噪、事务管理、通知分派的智能运维平台。 产品架构 日志服务告警系统由告警监控、告警管理、通知（行动）管理等子系统组成，具体架构如下图所示： 日志服务告警功能主要包含以下功能组件： 日志存储（Logstore）：日志服务提供Logstore用于存储日志类型的数据，并在日志存储的基础上提供查询和分析（SQL92语法）功能。告警监…

    2023年12月10日

  • 阿里云对象存储OSS公共HTTP头定义-云淘科技

    本文介绍了对象存储OSS的公共请求头和公共响应头的详细说明。 公共请求头（Common Request Headers） OSS的RESTful接口中使用了一些公共请求头，这些请求头可以被所有的OSS请求使用，其详细定义请参见下表。 名称 类型 示例值 描述 Authorization 字符串 OSS nxj7dtlhcyl5hpvnhi:COS3OQkfQ…

    阿里云对象存储 2023年12月10日
  • 信息流广告，信息流部分建议宽度830px，只针对默认列表样式，顺序随机

  • 阿里云RDS数据库X-Engine最佳实践-云淘科技

    由于X-Engine分层存储的架构特点，该引擎特别适合某些业务负载特征的业务，本文介绍X-Engine的典型应用业务场景。 X-Engine的分层存储架构特别适合具有如下业务负载特征的业务： 数据访问具有鲜明的时间特征。例如大部分读取及修改操作集中在最近写入的数据上，而历史数据较少被访问。X-Engine通过将最新写入的数据缓存在内存中并通过高效数据结构进行…

    阿里云数据库 2023年12月10日

  • 阿里云RDS数据库中文分词（pg_jieba）-云淘科技

    RDS PostgreSQL支持pg_jieba插件，用于中文的全文搜索。 前提条件 请确保实例大版本满足要求，本插件具体支持的实例大版本，请参见支持插件列表。 如实例大版本已满足要求，但仍提示不支持，请升级内核小版本，具体操作，请参见升级内核小版本。 使用该插件前，需要将pg_jieba加入到shared_preload_libraries参数中。 您可以…

    阿里云数据库 2023年12月9日

  • 阿里云RDS数据库RevokeOperatorPermission – 撤销服务账号权限-云淘科技

    该接口用于撤销阿里云服务账号对RDS实例的访问权限。 接口说明 适用引擎 RDS MySQL RDS PostgreSQL RDS SQL Server 相关功能文档 注意 使用该接口前，请仔细阅读功能文档，确保完全了解使用接口的前提条件及使用后造成的影响后，再进行操作。 MySQL授权服务账号 PostgreSQL授权服务账号 SQL Server授权服务…

    阿里云数据库 2023年12月9日

联系我们

400-800-8888

在线咨询： QQ交谈

邮件：admin@example.com

工作时间：周一至周五，9:30-18:30，节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买，续费优惠，保证底价，买贵退差。