详情页标题前

阿里云日志服务SLS分区(Shard)-云淘科技

详情页1

日志服务使用Shard控制Logstore或MetricStore的读写数据的能力,数据必定保存在某一个Shard中。

Shard范围

每个Shard均有范围,为MD5左闭右开区间[BeginKey,EndKey)。每个Shard范围不会相互覆盖,且属于整个MD5范围内[00000000000000000000000000000000,ffffffffffffffffffffffffffffffff)。您可以在创建Logstore或MetricStore时指定Shard个数,日志服务将自动平均划分整个MD5范围。

  • BeginKey:指定Shard范围的起始值,Shard范围中包含该值。
  • EndKey:指定Shard范围的结束值,Shard范围中不包含该值。

例如Logstore A中包含4个Shard,各个Shard范围如下:

表 1. Shard范围
Shard ID 范围
Shard0 [00000000000000000000000000000000,40000000000000000000000000000000)
Shard1 [40000000000000000000000000000000,80000000000000000000000000000000)
Shard2 [80000000000000000000000000000000,c0000000000000000000000000000000)
Shard3 [c0000000000000000000000000000000,ffffffffffffffffffffffffffffffff)

在Shard读写数据过程中,读数据时必须指定Shard ID,写数据时可通过负载均衡模式或者指定Hash Key的模式。

  • 负载均衡模式:每个数据包随机写入当前可用的Shard中。

    如果您的写入流量大于单Shard的服务能力,建议采用负载均衡模式。

  • 指定Hash Key模式:指定MD5的Key值,数据将被写入包含该Key值的Shard中。

    例如Shard范围如Shard范围所示,当您写入数据时指定MD5的Key值为5F时,则数据将被写入包含5F的Shard1上;当您写入数据时指定MD5的Key值为8C时,则数据将被写入包含8C的Shard2上。

Shard的读写能力

每个Shard提供一定的服务能力,详细说明如下:

  • 写入:5 MB/s或500次/s
  • 读取:10 MB/s或100次/s

建议您根据实际数据流量规划Shard个数。当数据流量超出读写能力时,及时分裂Shard以增加Shard个数,从而达到更大的读写能力。当数据流量远未达到Shard的最大读写能力时,及时合并Shard以减少Shard个数,从而降低活跃Shard租用费用。

例如您有两个readwrite状态的Shard,最大可提供10 MB/s的数据写入服务。当您实时写入数据流量达到14 MB/s时,建议分裂其中一个Shard,使readwrite状态的Shard数量达到3个。当您实时写入数据流量仅为3 MB/s时,建议您合并两个Shard。

重要

  • 当写入数据的API持续报告403或者500错误时,您可以通过Logstore云监控查看流量和状态码判断是否需要增加Shard。
  • 超过Shard服务能力的读写,日志服务会尽可能服务,但不保证服务质量。

Shard状态

Shard状态包括readwrite(读写)和readonly(只读)。

创建Shard时,所有Shard状态均为readwrite状态。执行分裂或合并操作后,Shard状态变更为readonly,并生成新的readwrite状态的Shard。Shard状态不影响其数据读取的性能。readwrite状态的Shard可保证数据写入性能,readonly状态的Shard不提供数据写入服务。

分裂与合并

日志服务支持分裂和合并Shard。

  • 分裂操作是指将一个Shard分裂为另外两个Shard,即分裂后Shard数量增加2。两个新生成的Shard的状态为readwrite,排列在原Shard之后且两个Shard的MD5范围覆盖原Shard的MD5范围。

    分裂Shard时,需指定一个处于readwrite状态的Shard。分裂完成后,原Shard状态由readwrite变为readonly,该Shard中的数据仍可被消费,但该Shard不支持写入新数据。

  • 合并操作是指将两个Shard合并为一个Shard。新生成的Shard的状态为readwrite,排列在原Shard之后且其MD5范围覆盖原来两个Shard的MD5范围。

    合并Shard时,需指定一个处于readwrite状态且未排列在最后一个的Shard,日志服务自动找到所指定Shard右侧相邻的Shard,并进行合并。合并完成后,原来两个Shard的状态由readwrite变为readonly,这两个Shard中的数据仍可被消费,但这两个Shard不支持写入新数据。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/162214.html

(0)
上一篇 2023年12月10日 上午4:03
下一篇 2023年12月10日 上午4:04
详情页2

相关推荐

  • 阿里云大数据开发治理平台 DataWorks数据可视化展现-云淘科技

    本文为您介绍如何通过DataWorks数据分析实现用户画像数据可视化展示。 前提条件 在开始试验前,请确认您已经完成了加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。 数据分析场景 本案例通过数据分析对用户画像数据进行可视化与分析,具体分析场景如下: 场景 图示 城市注册人数排行榜分析 注册会员访问次数年龄分布 注册会员访问次数性…

    2023年12月10日
  • 阿里云日志服务SLSIP地址白名单-云淘科技

    从MySQL、SQL Server、Kafka等数据节点导入数据时,您需要为数据导入任务开启白名单,允许其可以访问这些数据节点。本文介绍数据导入任务对应的IP地址列表和示例。 IP地址列表 如果您的数据节点与数据导入任务所在的Project在相同地域的VPC环境中,则您需要在数据节点中添加VPC IP地址白名单。如果不是,则数据导入任务需通过公网访问您的数据…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云日志服务SLS产品架构-云淘科技

    本文介绍日志服务的架构。 日志服务的架构如下图所示: 数据来源 日志服务支持采集开源软件、服务器与应用、阿里云产品、标准协议、移动端、物联网等多种来源的数据。 日志服务 数据类型 日志服务为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。更多信息,请参见日志(Log)、时序数据(Metric)、链路数据(Trace)。 功能特性 …

    阿里云日志服务SLS 2023年12月10日
  • 阿里云大数据开发治理平台 DataWorks通用数据开发-云淘科技

    通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。 说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。 数据开发的流程如下所示: 数据产生:业务系统每天会产生大量结构化的数据,存储在业务系统所对应的数据库中,包括MySQL、Oracle和RDS等类型。 数据收集与存储:您需要同步不同业务系统的数据至Ma…

  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云日志服务SLS采集Beats和Logstash数据源-云淘科技

    本文介绍如何通过日志服务控制台创建Logtail采集配置来采集Beats和Logstash数据源。 前提条件 已在服务器上安装Linux Logtail 0.16.9及以上版本或Window Logtail 1.0.0.8及以上版本。具体操作,请参见安装Logtail(Linux系统)或安装Logtail(Windows系统) 。 已通过Logstash或B…

    阿里云日志服务SLS 2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。