详情页标题前

阿里云大数据开发治理平台 DataWorks配置HBase数据源网络连通-云淘科技

详情页1

如果您使用的是EMR引擎中的HBase数据库,您需要参考本文进行HBase数据源与独享数据服务资源组之间的网络连通。

注意事项

HBase数据源仅支持使用独享数据服务资源组,且当前仅支持配置EMR中的HBase与独享数据服务资源组网络连通。

HBase和独享数据服务资源组在同一VPC

当Hbase和独享数据服务资源在同一VPC中时,您需要通过配置Hbase的安全组,允许独享数据服务资源组访问Hbase端口。配置主要流程和操作要点如下。

step1:获取独享数据服务资源组的交换机网段信息

登录购买独享数据服务资源组时绑定的VPC控制台,进入交换机列表页面,找到独享数据服务资源组的交换机名称,并复制相应的IPv4网段。阿里云大数据开发治理平台 DataWorks配置HBase数据源网络连通-云淘科技

step2:获取HBase端口信息

登录EMR控制台后,进入EMR集群的HBase集群服务的配置页面,在配置项中通过关键词“port”搜索相关配置项,复制以下几个配置项对应的端口数据。阿里云大数据开发治理平台 DataWorks配置HBase数据源网络连通-云淘科技

  • hbase.master.info.port
  • hbase.master.port
  • hbase.regionserver.port
  • hbase.regionserver.info.port
  • hbase.zookeeper.property.clientPort

step3:配置HBase安全组

登录EMR控制台后,在集群的基础信息页面,找到集群安全组配置入口,配置集群安全组。阿里云大数据开发治理平台 DataWorks配置HBase数据源网络连通-云淘科技添加入方向的访问规则,核心配置项如下。

  • 协议类型:配置为自定义TCP。
  • 端口范围:将上述获取的HBase端口信息配置到此处。配置注意事项:
    • 端口范围的配置格式为起始端口/结束端口,例如上述获取的HBase的hbase.master.info.port的端口号为16010,则此端口范围需配置为16010/16010。
    • 上述5个参数的端口号对应的端口范围均需要配置,多个端口范围间可通过逗号分隔。
  • 授权对象:配置为上述获取的独享数据服务资源组VPC的交换机IPv4网段。

HBase和独享数据服务资源组在不同VPC中

step1:配置VPC间网络连通

当Hbase和独享数据服务资源在不同VPC中时,您需要通过VPN网关等方式,将两个VPC间的网络打通,不同场景下的VPC间网络连通方案请参见获取白名单IP地址:独享数据服务资源组文档中的不同VPC场景相关内容。

step2:配置HBase的hbase.zookeeper.quorum解析

通常EMR集群中有多个集群节点,在此场景下,您还需配置HBase的hbase.zookeeper.quorum解析,保障集群节点间的内部消息转发能正常转发,此步骤的解析需使用云解析DNS。主要操作流程和操作要点如下。

  1. 在EMR中获取hbase.zookeeper.quorum取值和节点信息。
    1. 登录EMR控制台后,进入EMR集群的HBase集群服务的配置页面,在配置项中搜索hbase.zookeeper.quorum,将节点名称和端口号中间的内容复制并记录。阿里云大数据开发治理平台 DataWorks配置HBase数据源网络连通-云淘科技
    2. 登录EMR控制台后,进入EMR集群的节点管理页面,查看当前集群的节点名称和内网IP。
  2. 在云解析DNS中添加A记录。
    1. 登录云解析DNS的PrivateZone控制台后,单击添加Zone,配置Zone名称为上述步骤中获取的hbase.zookeeper.quorum的节点名称和端口号中间内容。
    2. 进入刚添加的Zone后,单击添加记录,依次添加EMR集群各个节点的A记录解析。阿里云大数据开发治理平台 DataWorks配置HBase数据源网络连通-云淘科技其中:
      • 主机记录配置为节点名称。
      • 记录值配置为对应节点的内网IP。

      如上图所示,EMR集群有一个master节点,2个core节点,您需依次添加3条A记录解析。

  3. 关联独享数据服务资源组的VPC。添加完成A记录解析后,返回privarteZone界面,单击上述创建的Zone操作列的关联VPC,根据界面提示,选择独享资源所在地域,关联独享资源组的VPC。阿里云大数据开发治理平台 DataWorks配置HBase数据源网络连通-云淘科技

step3:配置安全组

完成上述两个步骤的配置后,您还需配置HBase的安全组,允许独享数据服务资源组访问Hbase端口,安全组的配置与同VPC场景一致,详情可参见上文同VPC场景的内容HBase和独享数据服务资源组在同一VPC中。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/170916.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云大数据开发治理平台 DataWorks开发参考:扩展事件编码-云淘科技

    您在注册使用扩展程序时,如果使用了扩展程序的参数配置,则需要获取扩展点事件的事件编码进行参数配置。本文为您介绍各个事件对应的事件编码。 事件编码与事件类型 系统模块 事件名称 事件编码 事件分类 事件类型 数据开发 提交文件 commit-file 扩展点事件 file-change 发布文件 deploy-file 扩展点事件 运行文件 run-file …

  • 阿里云RDS数据库更改网络类型-云淘科技

    您可以根据具体业务需求更改RDS PostgreSQL实例的网络类型。 网络类型 经典网络:实例之间不通过网络进行隔离,只能依靠实例自身的白名单策略来阻挡非法访问。 专有网络(VPC):一个VPC就是一个隔离的网络环境。VPC的安全性较高,推荐您使用VPC网络。 您可以自定义VPC中的路由表、IP 地址范围和网关。此外,您还可以通过专线或者VPN的方式将自建…

    阿里云数据库 2023年12月9日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云容器服务ACK使用Kubernetes API-云淘科技

    本文将基于cURL命令简单演示如何以REST的方式使用Kubernetes API,方便您使用开发语言原生的HTTPS方式操作Kubernetes集群。演示包括创建和删除Pod,创建和修改Deployment。 获取集群访问凭证KubeConfig 登录容器服务管理控制台。 单击前往RAM进行授权进入云资源访问授权页面,然后单击同意授权。 完成以上授权后,刷…

    阿里云容器服务 2023年12月10日
  • 阿里云日志服务SLS添加多Y轴线图-云淘科技

    当您需要在一个线图中添加不同种类或不同数量级的数据时,可在线图中添加多Y轴。本文介绍添加多Y轴线图的操作步骤。 前提条件 已创建仪表盘。具体操作,请参见创建仪表盘。 已采集网站访问日志到目标Logstore。具体操作,请参见数据采集概述。 已配置索引。具体操作,请参见创建索引。 资源信息与数据样例 公司A将其网站访问日志存储在名为website_log的Lo…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云RDS数据库开启和关闭实例释放保护-云淘科技

    如果您的RDS PostgreSQL按量付费实例承载了关键业务,可以为按量付费实例开启实例释放保护,防止手动释放按量付费实例,有效避免因操作疏忽、团队成员沟通不及时等原因造成不可挽回的后果。本文为您介绍如何开启和关闭实例释放保护。 前提条件 实例的付费类型为按量付费。 注意事项 实例释放保护不能阻止因合理原因自动执行的释放行为,包括但不限于: 账号欠费超过1…

    阿里云数据库 2023年12月9日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。