Hadoop
-
阿里云云原生大数据计算服务 MaxCompute基于Hadoop集群支持Delta Lake或Hudi存储机制-云淘科技
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于开源的Hadoop集群提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据变化。本文为您介绍如何构建基于Delta Lake或Hudi存储机制的湖仓一体方案。 背景信息 MaxCo…
-
阿里云对象存储OSS通过OSS SDK接入开源生态-云淘科技
您可以通过OSS SDK接入多种开源生态。 支持通过OSS SDK接入以下多种开源生态： 开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。 使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。 使用Logstash将日志导入O…
-
阿里云对象存储OSSSpark使用JindoSDK查询OSS-HDFS服务中的数据-云淘科技
JindoSDK是一个面向Hadoop、Spark生态且简单易用的OSS客户端，为OSS提供高度优化的Hadoop FileSystem实现。相对于Hadoop社区OSS客户端，Spark使用JindoSDK查询OSS-HDFS服务中的数据时，可以获得更好的性能。 前提条件 已创建ECS实例。具体步骤，请参见选购ECS实例。 已创建Hadoop环境。具体步骤…
- 信息流广告，信息流部分建议宽度830px，只针对默认列表样式，顺序随机
-
阿里云对象存储OSSImpala使用JindoSDK查询OSS-HDFS服务中的数据-云淘科技
JindoSDK是一个面向Hadoop、Spark生态且简单易用的OSS客户端，为OSS提供高度优化的Hadoop FileSystem实现。相对于Hadoop社区OSS客户端，Impala使用JindoSDK查询OSS-HDFS服务中的数据时，可以获得更好的性能。 前提条件 已创建ECS实例。具体步骤，请参见选购ECS实例。 已创建Hadoop环境。具体步…
-
阿里云对象存储OSSHadoop使用JindoSDK访问OSS-HDFS服务-云淘科技
OSS-HDFS服务是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。本文介绍Hadoop如何通过JindoSDK访问OSS-HDFS服务。 前提条件 已开通并授权访问OSS-HDFS服务。具体操作，请参见开通并授权访问OSS-HDFS服务…
-
阿里云对象存储OSSProxyUser-云淘科技
本文介绍OSS-HDFS服务（JindoFS服务）ProxyUser命令的常见用法。 前提条件 已创建Hadoop环境、Hadoop集群或者Hadoop客户端。具体操作，请参见创建Hadoop运行环境。 已开通OSS-HDFS服务。具体操作，请参见开通并授权访问OSS-HDFS服务。 已配置4.5.0及以上版本JindoSDK 。具体操作，请参见非EMR集群…
-
阿里云对象存储OSSUserGroupsMapping-云淘科技
本文介绍OSS-HDFS服务（JindoFS服务）UserGroupsMapping命令的常见用法。 前提条件 已创建Hadoop环境、Hadoop集群或者Hadoop客户端。具体操作，请参见创建Hadoop运行环境。 已开通OSS-HDFS服务。具体操作，请参见开通并授权访问OSS-HDFS服务。 已配置4.5.0及以上版本JindoSDK 。具体操作，请…
-
阿里云ECS云服务器搭建Hadoop环境-云淘科技
本教程介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop伪分布式环境。 前提条件 已创建ECS实例。具体操作，请参见自定义购买实例。 本教程示例场景中，ECS实例的配置如下： 实例规格：ecs.g6.large 操作系统：公共镜像CentOS 7.7 64位 网络类型：专有网络VPC IP地址：公网IP 说明 由于操作系统和版本不同，操作时命令可…
-
阿里云ECS云服务器搭建Hadoop环境-云淘科技
本教程介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop伪分布式环境。 前提条件 已创建ECS实例。具体操作，请参见自定义购买实例。 本教程示例场景中，ECS实例的配置如下： 实例规格：ecs.g6.large 操作系统：公共镜像CentOS 7.7 64位 网络类型：专有网络VPC IP地址：公网IP 说明 由于操作系统和版本不同，操作时命令可…
-
阿里云ECS云服务器基于eRDMA增强型实例部署Spark集群-云淘科技
使用eRDMA可以获得超低的延迟，更快地处理请求。本文介绍如何创建以eRDMA增强型实例作为节点的Spark集群，并部署Benchmark测试Spark集群处理负载的性能。 背景信息 Benchmark是一种基准性能测试工具，主要用于测试负载的执行时间、传输速度、吞吐量和资源占用率等。 步骤一：准备环境 在测试集群性能前，需要先准备测试需要的集群环境，例如H…
