阿里云大数据开发治理平台 DataWorks常见问题-云淘科技

资源组操作及网络连通

• 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？
• 同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？
• 数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？
• 数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何保障数据库与DataWorks的网络连通？
• 访问VPC环境下的数据库测试连通性失败，该如何处理？
• 数据源连通性有时成功，有时失败，如何处理？
• 已经购买独享资源组，但在数据源测试连通性时或任务执行时找不到该资源组怎么办？
• 如何通过日志查看任务执行在什么资源组类型上？
• 如何切换任务在调度系统中执行所用的资源组。
• 如何排查自定义调度资源组等待gateway？
• 如何查看资源组对外IP，以便用于加白放行？
• 资源组还有剩余资源，为什么会提示任务资源不足无法启动？

离线同步常见问题

离线同步任务运维常见问题

• 为什么数据源测试连通性成功，但是离线同步任务执行失败？
• 如何切换数据集成任务执行资源组？
• 脏数据如何排查和定位？
• 如何查看脏数据？
• 如果离线同步传输数据时，脏数据超出限制，是否所有数据都不会同步？
• 如何排查离线同步任务运行时间长的问题？

非插件报错原因及解决方案

• 如何处理编码格式设置/乱码问题导致的脏数据报错？
• 任务存在SSRF攻击Task have SSRF attacts如何处理？
• 离线同步任务执行偶尔成功偶尔失败。
• 离线同步源表有加列（修改）如何处理？
• 如何处理表列名有关键字导致同步任务失败的情况？

具体插件报错原因及解决方案

• 添加MongoDB数据源时，使用root用户时报错。
• 离线同步常见问题
• 读取MongoDB时，如何在query参数中使用timestamp实现增量同步？
• MongoDB同步至数据目的端数据源后，时区加了8个小时，如何处理？
• 读取MongoDB数据期间，源端有更新记录，但未同步至目的端，如何处理？
• 读取OSS文件是否有文件数限制？
• 写入DataHub时，一次性写入数据超限导致写入失败如何处理？
• 使用lindorm bulk方式写入数据，是否每次都会替换掉历史数据？
• 如何查询一个ES索引下的所有字段？

离线同步场景及解决方案

• 离线同步任务如何自定义表名？
• 配置离线同步节点时，无法查看全部的表，该如何处理？
• 读取MaxCompute（ODPS）表数据时，添加一行注意事项。
• 读取MaxCompute（ODPS）表数据时，如何同步分区字段？
• 读取MaxCompuet（ODPS）表数据时，如何同步多个分区数据？
• 如何处理表列名有关键字导致同步任务失败的情况？
• 读取Loghub同步某字段有数据但是同步过来为空
• 读取Loghub同步少数据。
• 读取Loghub字段映射时读到的字段不符合预期。
• 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据。
• Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？
• 写入OSS出现随机字符串如何去除？
• MySQL分库分表如何将分表同步到一张MaxCompute中。
• 数据同步任务where条件没有索引，导致全表扫描同步变慢。
• 目的端MySQL表字符集为utf8mb4时，同步到MySQL中的中文字符出现乱码时，如何处理？
• 使用API方式同步的时候，支持使用来源端的（例如MaxCompute）函数做聚合吗？例如源表有a、b两列作为Lindorm的主键。
• 同步的数据表，是否只能使用Alter方式来修改TTL?
• Elasticsearch Reader如何同步对象Object或Nested字段的属性？（例如同步object.field1）
• 存储在ODPS的sting类型同步至ES后，两侧出””引号，如何处理？源端JSON类型的string是否可以同步为ES中的NESTED对象？
• 源端数据为string “[1,2,3,4,5]”，如何以数组形式同步至ES中存储？
• 自建的索引中nested的属性类型type为keyword，为什么自动生成之后类型会变成 keyword？（自动生成是指配置cleanup=true执行同步任务）
• 向ES写入数据时，会做一次无用户名的提交，但仍需验证用户名，导致提交失败，因此提交的所有请求数据都被记录，导致审计日志每天都会有很多，如何处理？
• Elasticsearch writer配置了Settings，为什么在创建索引时不生效？
• 如何同步至ES中为Date日期类型？
• Elasticsearch Writer指定外部version导致写入失败，如何处理？
• 非结构化数据源，单击数据预览字段无法映射，如何处理？

报错信息及解决方案

报错信息及解决方案。

实时同步常见问题

实时同步任务配置须知

• 实时同步任务支持哪些数据源？
• 为什么实时同步任务延迟较大？
• 实时同步任务延迟解决方案。
• 实时同步任务为什么不建议使用公网？
• 实时同步字段格式问题。
• 实时同步数据时，如何处理TRUNCATE？
• 如何提高实时同步的速度和性能？
• 实时同步是否支持在界面运行？
• 实时同步MySQL数据源时速度为什么会变慢？
• 实时同步中选择单库与选择多库的内存占用模式为什么会有差异？
• 实时同步任务DDL策略都有哪些？

实时同步MySQL数据常见问题

实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？

实时同步至Oracle、PolarDB、MySQL常见问题

实时同步Oracle、PolarDB、MySQL任务重复报错。

报错信息与解决方案

报错信息与解决方案。

同步解决方案常见问题

• MySQL一键同步至Hologres中decimal（7，4）数据类型转换成了numeric（38，18），正常吗？
• 一键实时同步至MaxCompute时, 分表是否可以同步到同一张表里?
• 一键实时同步解决方案中，实时同步时修改源表字段是否会导致报错？

收费常见问题

数据集成是怎么收费的？