阿里云开源大数据开发平台E-MapReduce（简称EMR）特定版本集群默认集成OSS-HDFS服务。本文介绍如何通过EMR集群完成OSS-HDFS服务快速入门的常见操作。
前提条件
-
已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤，请参见创建集群。
-
已开通并授权访问OSS-HDFS服务。具体操作，请参见开通并授权访问OSS-HDFS服务。
操作视频
观看以下视频了解如何通过EMR集群快速接入OSS-HDFS服务并完成常见操作。
操作步骤
登录EMR集群。
-
登录EMR on ECS控制台。
-
单击创建的EMR集群。
-
单击节点管理页签，然后单击节点组左侧的
。 -
单击ECS ID。在ECS实例页面，单击实例ID右侧的远程连接。
如果您希望使用SSH方式（SSH密钥对或SSH密码）在Windows和Linux环境中登录集群，请参见登录集群。
-
- 通过HDFS Shell命令执行OSS-HDFS服务快速入门常见操作。
- 上传文件
将本地根目录下的examplefile.txt文件上传至examplebucket，示例如下：
hdfs dfs -put examplefile.txt oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ - 新建目录
在examplebucket下创建名为dir/的目录，示例如下：
hdfs dfs -mkdir oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/dir/ - 查看文件或目录信息
查看examplebucket下的文件或目录信息，示例如下：
hdfs dfs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ - 获取文件或目录大小
获取examplebucket下所有文件或目录的大小，示例如下：
hdfs dfs -du oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ - 查看文件内容
查看examplebucket下名为localfile.txt的文件内容，示例如下：
hdfs dfs -cat oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/localfile.txt重要 查看文件内容时，文件内容将以纯文本形式打印到屏幕上。如果文件内容进行了特定格式的编码，请使用HDFS的Java API读取并解码文件内容。
- 拷贝目录或文件
例如，将examplebucket下根目录subdir1拷贝到目录subdir2下，且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变，示例如下：
hdfs dfs -cp oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/subdir1 oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/subdir2/subdir1 - 移动目录或文件
例如，将examplebucket根目录srcdir及其包含的文件或者子目录移动至另一个根目录destdir下，示例如下：
hdfs dfs -mv oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/srcdir oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/destdir - 下载文件
将examplebucket下的exampleobject.txt下载到本地根目录文件夹/tmp，示例如下：
hdfs dfs -get oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/exampleobject.txt /tmp/ - 删除目录或文件
删除examplebucket下destfolder/目录及其目录下的所有文件，示例如下：
hdfs dfs -rm oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/destfolder/
- 上传文件
内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家
阿里云企业补贴进行中： 马上申请
腾讯云限时活动1折起，即将结束： 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠
转转请注明出处：https://www.yunxiaoer.com/157686.html