DataWorks支持路径配置成通配符吗,因为生成的文件名称不固定?
以下为热心网友提供的参考意见
文件名中支持调度参数 文档中有一个样例 不支持使用通配符 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
以下为热心网友提供的参考意见
DataWorks数据集成任务中,源端MySQL的表名配置是支持使用通配符的。在”数据预览”页面的”表名”部分,您可以输入包含通配符的表名来进行匹配。例如,如果您有一个名为”table 20220101″的表,您可以输入”table %2022%”来匹配所有以”table_2022″开头的表。然而,这种模糊匹配的方式可能会对数据同步的效率产生影响,特别是在数据库中的表数量较多的情况下。因为DataWorks需要在每次同步时都检查所有的表,以找到匹配的表,这可能会导致数据同步的速度变慢。此外,模糊匹配方式也可能存在误匹配的情况,例如,如果数据库中有两个名字非常相似的表,它们可能会被误匹配。对于文件类型,目前仅支持TEXT、ORC、RC、SEQ、CSV和parquet。
转转请注明出处:https://www.yunxiaoer.com/178844.html