merge
-
阿里云云原生大数据计算服务 MaxCompute合并小文件-云淘科技
分布式文件系统按块（Block）存放数据，文件大小比块大小（64MB）小的文件称为小文件。分布式系统不可避免会产生小文件，比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在MaxCompute中合并小文件。 背景信息 小文件过多，会带来以下问题： MaxCompute处理单个大文件比处理多个小…
分布式文件系统按块（Block）存放数据，文件大小比块大小（64MB）小的文件称为小文件。分布式系统不可避免会产生小文件，比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在MaxCompute中合并小文件。 背景信息 小文件过多，会带来以下问题： MaxCompute处理单个大文件比处理多个小…
