Shuffle
-
阿里云云原生大数据计算服务 MaxCompute动态过滤器(Dynamic Filter)-云淘科技
JOIN是分布式系统中常见的操作,同时也是一个耗时、耗资源的操作,因为其涉及到的Shuffle操作尤其在海量数据场景下,会耗费较多的资源和时间。针对Shuffle操作,MaxCompute可以利用JOIN本身的等值连接属性进行优化。 优化思路 一个典型的包含JOIN的SQL语句如下: select * from (table1) A join (table2…