详情页标题前

阿里云RDS数据库X-Engine最佳实践-云淘科技

详情页1

由于X-Engine分层存储的架构特点,该引擎特别适合某些业务负载特征的业务,本文介绍X-Engine的典型应用业务场景。

X-Engine的分层存储架构特别适合具有如下业务负载特征的业务:

  • 数据访问具有鲜明的时间特征。例如大部分读取及修改操作集中在最近写入的数据上,而历史数据较少被访问。X-Engine通过将最新写入的数据缓存在内存中并通过高效数据结构进行索引,可以实现极高的性能,而较少访问的历史数据则保存在磁盘,提供稍逊的读写性能。
  • 库表数据量特别大。传统InnoDB引擎迁移到X-Engine后,依据数据特征不同,存储空间可降低至10%~50%;迁移到X-Engine之后,很多业务可以免除分库分表的需求,使用单库即可承载近10
    TB的数据存储服务。

作为中国领先的电子商务服务提供商,用户体量庞大,阿里内部有非常多的在线业务承受非常大的存储成本压力。接下来为您介绍阿里巴巴集团内部使用X-Engine解决业务需求的几个典型案例。


说明

  • 关于X-Engine的介绍请参见X-Engine引擎使用须知。
  • 如何将PolarDB-X原本的InnoDB引擎转换为X-Engine引擎请参见将PolarDB-X中的InnoDB引擎转换为X-Engine引擎。

淘宝和天猫交易订单信息库

淘宝和天猫存储用户交易数据的数据库,需要保存用户所有的历史交易记录以供查询,当前交易记录数据库集群现状如下:

  • 数据条目超过万亿级,磁盘容量达到PB级。
  • 在大促时面临极大的写入压力。

虽然可以通过水平拆库,实现性能的和存储能力的水平扩展,但是由于体量巨大,在单实例存储的数据容量无法提高的前提下,拆库导致数据库集群规模过大,会导致运维和管控操作日益复杂,同时整体存储成本的日益上涨也是一个无法忽视的问题。

在交易数据库迁移为X-Engine之后,因为X-Engine所采用的紧凑物理页存储格式以及高效的压缩算法,阿里实现了在单库上存储及处理20 TB的原始数据集。相对原有采用InnoDB引擎的实例,单实例处理的数据量提升了3倍。

同时因为交易信息库的访问特征是:最近产生的交易记录会更频繁的被更新和读取。非常适合X-Engine的冷热分离架构,最新产生的交易记录总是保存在内存中并被高效索引,可以保证极高的处理速度和极低的访问延时。

详情请参见淘宝万亿级交易订单背后的存储引擎。

钉钉聊天记录信息库

钉钉作为中国领先的企业IM工具,在中国有超过亿级别的用户。不同于传统的微信等用户级IM工具。 企业IM需要实现聊天记录的永久保存,并且提供多端漫游功能。在用户量持续爆炸性增长的前提下,聊天记录的永久保存给钉钉业务带来极大的成本压力,同时在数据爆炸性增长的前提下保证聊天记录的读写性能不降低也是一个极大的挑战。

在初期采用InnoDB引擎并面临存储的压力时,钉钉考虑了多种候选方案,例如Hbase等NoSQL服务。但是企业IM对数据一致性有比较苛刻的需求,同时业务类型的多样化,也对诸如二级索引等数据库的功能有比较强的依赖。

在采用X-Engine之后,相同原始数据,所需的磁盘空间比使用InnoDB引擎减少了62%。同时继续保有了对事务以及二级索引等数据库特性的支持。业务代码不做任何修改即可以迁移到使用X-Engine引擎的集群上。

详情请参见X-Engine如何支撑钉钉跃居AppStore第一。

阿里图片空间信息库

阿里巴巴集团图片空间是淘宝智能图片中心面向商家提供的免费图片存储管理服务,由于淘宝、天猫主站上累积的用户图片数据量非常大,图片空间业务也面临非常巨大的存储空间和写入性能压力,尤其每年双11之前,商家大量更新商品库存保有单位SKU(Stock
keeping Unit),此时数据会急剧增长。

由于图片空间业务存储的图片元信息大部分为文本内容,特别是一些URL属性,非常适合X-Engine引擎中使用的前缀压缩算法。再结合X-Engine中的紧凑数据页和通用压缩算法。迁移到X-Engine引擎之后的图片空间业务,所使用的磁盘空间只有使用InnoDB引擎的1/7。这意味着PB级别的空间节省。

在达到空间节省目标的同时,X-Engine引擎所能承载的TPS相对InnoDB没有降低,且响应时延也完全满足在线业务的要求。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/167107.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云对象存储OSS基于OSS+MaxCompute构建数据仓库-云淘科技

    本文介绍如何基于OSS并使用MaxCompute构建PB级数据仓库。通过MaxCompute对OSS上的海量数据进行分析,将您的大数据分析工作效率提升至分钟级,帮助您更高效、更低成本地挖掘海量数据价值。 前提条件 已创建OSS Bucket。 具体操作,请参见创建Bucket。 已授权MaxCompute访问OSS。 您可以在登录阿里云账号后,单击此处完成一…

    阿里云对象存储 2023年12月10日
  • 阿里云日志服务SLSPutWebtracking-云淘科技

    调用PutWebTracking接口将多条日志合并进行采集。 接口说明 已创建并获取AccessKey。更多信息,请参见访问密钥。 阿里云账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维。RAM用户需具备操作日志服务资源的权限。具体操作,请参见创建RAM用户及授权。 已明确您查询日志所属的Pro…

    阿里云日志服务SLS 2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云云原生大数据计算服务 MaxCompute聚合操作-云淘科技

    本文为您介绍DataFrame支持的聚合操作,以及如何实现分组聚合和编写自定义聚合。DataFrame提供对列进行HyperLogLog计数的接口。 from odps.df import DataFrame iris = DataFrame(o.get_table(‘pyodps_iris’)) 常用聚合操作如下: 使用describe函数,查看DataF…

  • 阿里云日志服务SLS对云监控指标进行智能巡检-云淘科技

    云监控(CloudMonitor)是一项针对阿里云资源和互联网应用进行监控的服务,提供丰富的监控指标。日志服务支持接入云监控数据,并支持您使用智能巡检功能对云监控数据进行智能的异常巡检。 前提条件 已导入云监控数据到目标Metricstore中(例如Project:monitor,Metricstore:cloud-monitor-metrics)。具体操作…

    2023年12月10日
  • 阿里云大数据开发治理平台 DataWorksDM(达梦)数据源-云淘科技

    DM(达梦)数据源作为数据中枢,为您提供读取和写入DM数据库的双向通道,能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DM数据同步的能力支持情况。 使用限制 离线同步支持读取视图表。 DM Reader和DM Writer仅支持使用独享数据集成资源组。 支持的字段类型 DM Reader和DM Writer支持大部分通用的关系数据库数据类型…

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。