阿里云大数据开发治理平台 DataWorks场景：配置增量数据离线同步任务-云淘科技

使用说明

• 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否支持增量同步可以看具体的Reader插件文档。
• 每个插件实现增量同步的所配置的参数可能不同，具体参数配置可以参考对应的Reader插件文档，详情可参考：支持的数据源与读写插件。例如：
  

  数据库类型	增量同步需配置的参数	支持的语法
  MySQL Reader	where说明 向导模式配置时，需要配置的界面参数名为：数据过滤。	数据库语法说明 可与调度参数结合实现每日读取指定时间区间的数据。
  MongoDB Reader	query说明 向导模式配置时，需要配置的界面参数名为：检索查询条件。	基本与数据库一致说明 可与调度参数结合实现每日读取指定时间区间的数据。
  OSS Reader	Object	指定路径说明 与调度参数结合实现每日读取指定文件数据。
  …	…	…

配置增量同步

数据集成离线同步任务中，可以使用调度参数来指定同步源表及目标表的数据路径以及数据范围，调度参数的配置方式与其他类型任务一致，没有特殊限制。

在同步任务运行时，任务中配置的占位符参数都会被替换为调度参数表达式所表达的实际值，然后再执行数据同步。

以同步MySQL数据为例：

• 当不配置数据过滤时，默认同步全量数据至目标表中。
• 当配置数据过滤时，将只同步满足过滤条件的数据至目标表中。

目标MaxCompute表分区名称以调度参数的方式指定，$bizdate表示业务日期，定时任务执行时，任务配置的分区表达式会替换为调度参数所表达的业务日期。调度参数表达式的详细配置说明请参考文档：配置并使用调度参数。配置增量数据同步时：

• 时间类型增量字段同步：可以通过调度参数来实现时间类型数据的动态替换，调度参数将在任务调度时自动根据业务时间替换为具体的值。关于调度参数的使用，详情请参见：调度参数支持的格式。
• 非时间类型增量字段同步：可以通过赋值节点将字段处理为目标数据类型后，再传入数据集成进行数据同步。关于赋值节点的使用详情请参见：赋值节点。

场景示例

• 同步历史数据：如果您需要将历史增量数据同步至目标表对应时间分区，您可以使用运维中心补数据功能。补数据功能使用详情请参见：执行补数据并查看补数据实例。
• RDS增量数据同步至MaxCompute