详情页标题前

阿里云对象存储OSSHBase以EMR集群的方式使用OSS-HDFS服务作为底层存储-云淘科技

详情页1

HBase是Hadoop生态中的实时数据库,有较高的写入性能。 OSS-HDFS服务(JindoFS服务)是阿里云新推出的存储空间类型,并兼容HDFS接口。阿里云开源大数据开发平台E-MapReduce(简称EMR)支持HBase使用OSS-HDFS服务作为底层存储,同时支持存储WAL文件,实现存储与计算分离。

前提条件

  • 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群,并在创建集群时选择Hbase。具体步骤,请参见创建集群。

  • 已开通并授权访问OSS-HDFS服务。具体操作,请参见开通并授权访问OSS-HDFS服务。

操作步骤

  1. 登录EMR集群。

    1. 登录EMR on ECS控制台。

    2. 单击创建的EMR集群。

    3. 单击节点管理页签,然后单击节点组左侧的阿里云对象存储OSSHBase以EMR集群的方式使用OSS-HDFS服务作为底层存储-云淘科技

    4. 单击ECS ID。在ECS实例页面,单击实例ID右侧的远程连接

    如果您希望使用SSH方式(SSH密钥对或SSH密码)在Windows和Linux环境中登录集群,请参见登录集群。

  2. 指定HBase的存储路径。您可以通过将hbase-site配置文件中的参数hbase.rootdir的值修改为OSS地址(格式为oss://bucket.endpoint/hbase-root-dir)的方式,指定HBase和WAL文件的存储路径。重要 如果要释放集群,需要先禁用table,确保WAL文件已全量更新到存储文件HFile。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/158931.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云对象存储OSSJava绑定自定义域名-云淘科技

    文件(Object)上传至存储空间(Bucket)后,OSS会自动生成文件URL,您可以直接通过文件URL(即Bucket外网访问域名)访问该文件。如果您希望通过自定义域名访问这些Object,需要添加CNAME记录将自定义域名绑定至Object所在的Bucket。 注意事项 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他阿…

    阿里云对象存储 2023年12月10日
  • 阿里云日志服务SLS采集Log4j日志-云淘科技

    本文介绍如何通过Loghub Log4j Appender或Logtail采集Log4j日志。 背景信息 Log4j是Apache的一个开放源代码项目,通过Log4j,可以控制日志的优先级、输出目的地和输出格式。日志的优先级从高到低为ERROR、WARN、 INFO、DEBUG,日志的输出目的地指定了将日志打印到控制台还是文件中,输出格式控制了输出的日志内容…

    2023年12月10日
  • 阿里云对象存储OSSPython流式下载-云淘科技

    如果要下载的文件太大,或者一次性下载耗时太长,您可以通过流式下载,一次处理部分内容,直到完成文件的下载。 注意事项 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS,请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系,请参见访问域名和数据中心。 本文以OSS域名新建OSSC…

    阿里云对象存储 2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云对象存储OSSsync(在OSS之间同步文件)-云淘科技

    您可以使用sync命令将同一个地域下某个存储空间(Bucket)中某个文件夹下的文件(Object)批量同步到另一个Bucket。 注意事项 Binary名称 本文各命令行示例均基于Linux 64位系统,其他系统请将命令开头的./ossutil64替换成对应的Binary名称。详情请参见命令行工具ossutil快速入门。 文件数量 通过sync命令执行同步…

    阿里云对象存储 2023年12月10日
  • 阿里云对象存储OSS使用STS临时访问凭证访问OSS-云淘科技

    您可以通过STS服务给其他用户颁发一个临时访问凭证。该用户可使用临时访问凭证在规定时间内访问您的OSS资源。临时访问凭证无需透露您的长期密钥,使您的OSS资源访问更加安全。 操作视频 观看以下视频快速了解如何快速使用STS临时访问凭证访问OSS。 前提条件已确保当前账号为阿里云账号或者被授予AliyunRAMFullAccess权限的RAM用户。关于为RAM…

    阿里云对象存储 2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。