详情页标题前

阿里云云原生大数据计算服务 MaxComputeCDM汇总层设计规范-云淘科技

详情页1

本文为您介绍CDM汇总层设计规范。

命名规范

命名规则:{project_name}.dws{业务缩写/pub}{数据域缩写}{数据粒度缩写}[{自定义命名标签缩写}]{统计时间周期范围缩写}{刷新周期标识}{单分区增量全量标识}。

命名说明:

  • 在默认情况下,离线计算应该包括最近一(1d)、最近N天(nd)和历史截至当天(td)三个表。

    如果nd表的字段过多,需要拆分时,只允许以一个统计周期单元作为原子拆分,即一个统计周期拆分一个表。例如,最近7天(1w)拆分一个表,不允许拆分出来的一个表存储多个统计周期。

  • 对于{刷新周期标识}和{单分区增量全量标识}在汇总层不做强制要求。单分区增量全量标识:i表示增量,f表示全量。
  • 对于小时表不管是按天刷新还是按小时刷新,都用_hh来表示。
  • 对于分钟表不管是按天刷新还是按小时刷新,都用_mm来表示。

数据存储及生命周期管理规范

CDM汇总层的表的类型为事实表,存储方式为按天分区。

事务型事实表一般会永久保存。周期快照型事实表根据业务需求设置生命周期管理。您可依据3个月内的最大需要访问的跨度设置保留策略,具体计算方式如下:

  • 当3个月内的最大访问跨度小于或等于4天时,建议将保留天数设为7天。
  • 当3个月内的最大访问跨度小于或等于12天时,建议将保留天数设为15天。
  • 当3个月内的最大访问跨度小于或等于30天时,建议将保留天数设为33天。
  • 当3个月内的最大访问跨度小于或等于90天时,建议将保留天数设为93天。
  • 当3个月内的最大访问跨度小于或等于180天时,建议将保留天数设为183天。
  • 当3个月内的最大访问跨度小于或等于365天时,建议将保留天数设为368天。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/159953.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云大数据开发治理平台 DataWorks外部表-云淘科技

    本文将为您介绍如何通过DataWorks创建、配置外部表,以及外部表支持的字段类型。 外部表概述 使用外部表前,您需要了解下表中的定义。 名称 描述 对象存储OSS 提供标准、低频、归档存储类型,能够覆盖不同的存储场景。同时,OSS能够与Hadoop开源社区及EMR、批量计算、MaxCompute、机器学习和函数计算等产品进行深度结合。 MaxCompute…

    2023年12月10日
  • 阿里云RDS数据库从自建MySQL迁移至RDS MySQL实例-云淘科技

    本文介绍如何使用数据传输服务DTS(Data Transmission Service),将自建MySQL迁移至RDS MySQL实例。DTS支持结构迁移、全量数据迁移以及增量数据迁移,同时使用这三种迁移类型可以实现在自建应用不停服的情况下,平滑地完成自建MySQL数据库的迁移上云。 支持的源和目标数据库 MySQL间迁移支持以下源或目标数据库。本文以有公网…

    阿里云数据库 2023年12月9日
  • 阿里云RDS数据库空间分析-云淘科技

    数据库自治服务DAS为RDS PostgreSQL提供空间分析功能,可以直观地查看数据库实例的空间使用概况、空间剩余可用天数,以及数据库中某个表的空间使用情况、空间异常诊断等,能够帮助您及时发现数据库中的空间异常,避免影响数据库稳定性。 前提条件 RDS PostgreSQL数据库实例为高可用版。 注意事项 空间分析功能最多分析20000张表。 操作步骤 访…

    阿里云数据库 2023年12月9日
  • 阿里云云原生大数据计算服务 MaxComputeODS层设计规范-云淘科技

    本文为您介绍ODS层设计规范。 数据同步及处理规范 数据同步方式的选择 基本规范通过需求形式落地到DataWorks的数据集成,规范落地情况依赖工具的推进节奏。一个系统的源表只允许同步一次到MaxCompute。 数据加载与处理 通过一键实时同步至MaxCompute方案实现,请参见配置查看数据同步任务。 命名规范 表命名规范 表命名规则:{层次}{源系统表…

  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云RDS数据库不同阿里云账号下RDS实例间的数据同步-云淘科技

    数据传输服务DTS(Data Transmission Service)支持对不同阿里云账号下的RDS MySQL实例(含RDS MySQL Serverless)配置数据同步,实现跨阿里云账号的数据同步。 前提条件 源RDS实例和目标RDS实例的数据库类型为RDS MySQL。 目标RDS MySQL实例的存储空间须大于源RDS MySQL实例占用的存储空…

    2023年12月9日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。