阿里云大数据开发治理平台 DataWorks离线同步日志分析-云淘科技

• 任务运行在默认的资源组上，日志中会出现如下信息。

  running in Pipeline[basecommon_ group_xxxxxxxxx]

• 任务运行在独享数据集成资源上，日志中会出现如下信息。

  running in Pipeline[basecommon_S_res_group_xxx]

• 任务运行在数据集成自定义资源组上，日志中会出现如下信息。

  running in Pipeline[basecommon_xxxxxxxxx]

说明 您也可以在此区域单击Detail log url查看各阶段执行过程的详细日志信息。

• 待占用该数据集成资源组的任务（即运行在该资源组上的任务）执行成功，将资源释放后启动运行。定位占用该资源的任务，详情请参见数据同步慢的场景及解决方案。
• 您也可以找到占用该资源的任务列表及责任人，与其协调降低任务并发数。
• 您还可以减少当前同步任务的并发数并重新提交发布任务。
• 还支持您对任务执行资源组进行扩容。详情请参见：扩缩容操作。

1. 前置准备系统将根据您的配置，将前置SQL下发至数据库执行，但并非所有任务都存在前置准备。
   • 以MySQL Writer为例，若您的任务配置了PreSQL，即存在执行数据同步任务之前先执行的SQL语句时，该SQL将在此阶段下发至数据库执行。
   • 以MySQL Reader为例，若您的任务配置querySql或数据过滤（where），这些SQL将在此阶段下发至数据库执行。
   • 以写入MaxCompute为例，任务配置了写入前清空已有数据。

   说明 建议过滤条件使用索引字段进行过滤，避免SQL在数据库执行时间过长导致同步整体耗时过长，或在数据库执行超时导致同步任务被迫中断退出。

2. 切分（拆分）任务此阶段将源端待同步数据切分为多个task，以便并发、分批进行读取数据，切分规则如下：
   • 关系型数据库：按照您在界面配置时指定的切分键splitPk，作为切分依据，将待同步数据切分为多个task，通过并发分批读取切分的task。若未设置切分键，将通过单并发同步任务。
   • LogHub/DataHub/Mongodb：按照shard数进行切分，任务并发上限不超过shard数。
   • 半结构化存储：按照文件数或文件数据量进行切分。例如，OSS任务并发上限不超过文件数。
3. 同步数据此阶段将按照切分逻辑将切分出来的task，基于您配置的并发数进行分批同步。关系型数据库将按照上述切分键，切分为多个取数SQL，分别向数据库请求数据。说明
   • 实际执行过程中，您设置的并发数并非为实际执行的并发数。
   • 基于切分键切分产生的取数SQL，可能会由于切分键设置不合理，导致取数SQL在数据库执行时间过长导致同步整体耗时过长，或在数据库执行超时导致同步任务被迫中断退出。
   • 如果数据库当前负载过高，也可能会导致任务执行变慢。
4. 后置准备系统将根据您的配置，将后置SQL下发数据库执行，但并非所有任务都存在后置准备：
   • 以MySQL Writer为例，若您任务的配置了PostSQL，即配置了数据同步执行后需要执行的SQL语句时，该SQL将在此阶段下发至数据库执行。
   • PostSQL在数据库的执行时长同样会影响整个同步任务的执行耗时。

• FAIL：同步任务运行失败。
• SUCCESS：同步任务执行成功。

• 任务运行失败时，将会在日志打印导致任务运行失败的关键报错信息，您可以在区域⑤的链接查看各阶段的详细执行过程。
• 任务执行成功时，将会在日志打印同步数据总数、平均同步速度等信息。

说明

• 若同步过程产生脏数据，将在日志出现Dirty data: xxR字样，脏数据不会写入目标端。
• 若同步过程产生大量脏数据，将会影响数据同步的同步速度。若您对同步速度有要求，建议您先处理脏数据问题。脏数据介绍详情请参见离线同步任务配置相关能力。
• 您可以通过配置脏数据容忍条数控制同步产生的脏数据是否影响任务正常执行。离线同步任务默认允许脏数据，您可在任务配置界面进行修改。向导模式配置任务请参见通过向导模式配置离线同步任务。脚本模式配置任务请参见通过脚本模式配置离线同步任务。