详情页标题前

阿里云云原生大数据计算服务 MaxComputeCDM明细层设计规范-云淘科技

详情页1

本文为您介绍CDM明细层的数据存储与生命周期管理和各种事实表的设计规范。

表命名规范

命名规则:{project_name}.dwd{业务缩写/pub}{数据域缩写}{业务过程缩写}[{自定义表命名标签缩写}]{刷新周期标识}{单分区增量全量标识}。

命名说明:

  • pub表示数据包括多个业务的数据。
  • 单分区增量全量标识:i表示增量,f表示全量。

数据存储及生命周期管理规范

CDM明细层的表的类型为事实表,存储方式为按分区。

事务型事实表一般永久保存。周期快照型事实表根据业务需求设置生命周期管理。您可依据3个月内的最大需要访问的跨度设置保留策略,具体计算方式如下:

  • 当3个月内的最大访问跨度小于或等于4天时,建议将保留天数设为7天。
  • 当3个月内的最大访问跨度小于或等于12天时,建议将保留天数设为15天。
  • 当3个月内的最大访问跨度小于或等于30天时, 建议将保留天数设为33天。
  • 当3个月内的最大访问跨度小于或等于90天时,建议将保留天数设为93天。
  • 当3个月内的最大访问跨度小于或等于180天时, 建议将保留天数设为183天。
  • 当3个月内的最大访问跨度小于或等于365天时,建议将保留天数设为368天。

事务型事实表设计准则

事务型事实表主要用于分析行为与追踪事件。事务事实表获取业务过程中的事件或者行为细节,然后通过事实与维度之间关联,可以非常方便地统计各种事件相关的度量,例如浏览UV,搜索次数等等。

  • 基于数据应用需求的分析设计事务型事实表,如果下游存在较大的针对某个业务过程事件的分析指标需求,可以考虑基于某一个事件过程构建事务型事实表。
  • 事务型事实表一般选用事件发生日期或时间作为分区字段,这种分区方式可以方便下游的作业数据扫描执行分区裁剪。
  • 明细层事实表的冗余子集的原则能有利于降低上层数据访问的IO开销。
  • 明细层事实表维度退化到事实表原则能有利于减少上层数据访问的JOIN成本。

周期快照型事实表

周期快照型事实表主要用于分析状态型或者存量型事实。快照是指以预定的时间间隔来采样状态度量。

累计快照事实表

累计快照事实表是基于多个业务过程联合分析从而构建的事实表,如采购单的流转环节等。

累计快照事实表主要用于分析事件之间的时间间隔与周期。例如,用交易的支付与发货之间的间隔,来分析发货速度,或在支付和退款环节分析支付退款率等等。

累计快照事实表同时也可以用于帮助分析一些少量的、且对刷新时间不是非常敏感的指标统计。例如,在当前事务型事实表不支持,且只有少量的统计指标时,需要分析交易的关闭和发货,就可以基于累计快照事实表进行计算。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/159952.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云日志服务SLSDevOps日志分析实战之运营数据埋点和分析-云淘科技

    本视频介绍如何通过日志服务进行运营数据埋点和分析。 内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家阿里云企业补贴进行中: 马上申请腾讯云限时活动1折起,即将结束: 马上收藏同尘科技为腾讯云授权服务中心。 购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

    阿里云日志服务SLS 2023年12月10日
  • 阿里云RDS数据库跨地域恢复数据-云淘科技

    如果您已完成跨地域备份数据,可以使用备份文件将数据恢复到跨地域备份所在地域的新实例上。 前提条件 已完成跨地域备份。具体操作,请参见跨地域备份。 说明 更多数据恢复方案,请参见恢复方案概览。 MySQL跨地域恢复,请参见MySQL跨地域恢复。 SQL Server跨地域恢复,请参见SQL Server跨地域恢复。 跨地域恢复到新实例 登录RDS管理控制台,在…

    阿里云数据库 2023年12月10日
  • 阿里云日志服务SLS分析概述-云淘科技

    日志服务提供分析功能,该功能结合了查询功能和SQL计算功能。本文介绍分析功能的基本语法、使用限制和SQL函数等信息。 重要 如果您要分析日志,则必须将日志采集到Standard Logstore中,且在配置索引时打开对应字段的开启统计开关。更多信息,请参见Logstore类型对比、创建索引。 日志服务默认存在保留字段。如果您要分析保留字段,请参见保留字段。 …

    2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云RDS数据库订阅事件通知-云淘科技

    云数据库RDS产品已接入云监控平台,通过对重要的系统事件设置报警规则,让您在第一时间得知事件的发生与进展,帮助您实时掌握事件动态。 背景信息 云监控(CloudMonitor)是针对阿里云资源和互联网应用提供监控的服务。云监控的报警服务为您提供以下两种报警通知能力,当阿里云产品发生系统异常时,您可以及时知晓发生的事件,并自动处理异常事件(例如云产品故障)。 …

    2023年12月9日
  • 阿里云大数据开发治理平台 DataWorks受众与核心能力-云淘科技

    本文为您介绍DataWorks的产品定位、产品受众和产品的核心能力。 产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者,打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台,即可实现数据传输、数据计算、数据治理、数据分享的各类复杂组合场景…

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。