In
-
阿里云云原生大数据计算服务 MaxComputePyODPS节点实现避免将数据下载到本地-云淘科技
本文为您介绍PyODPS如何避免将数据下载到本地。 背景信息 PyODPS提供了多种方便下载数据到本地的方法。因此,在设备允许的情况下,可以把数据下载到本地处理,然后再上传至MaxCompute。但是这种操作非常低效,数据下载到本地进行处理,无法使用MaxCompute的大规模并行能力。当数据量大于10 MB时,不建议进行本地数据处理。常见的将数据下载到本地…
本文为您介绍PyODPS如何避免将数据下载到本地。 背景信息 PyODPS提供了多种方便下载数据到本地的方法。因此,在设备允许的情况下,可以把数据下载到本地处理,然后再上传至MaxCompute。但是这种操作非常低效,数据下载到本地进行处理,无法使用MaxCompute的大规模并行能力。当数据量大于10 MB时,不建议进行本地数据处理。常见的将数据下载到本地…