本文介绍Spark如何以EMR集群的方式处理OSS-HDFS服务中的数据。
前提条件
-
已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤，请参见创建集群。
-
已开通并授权访问OSS-HDFS服务。具体操作，请参见开通并授权访问OSS-HDFS服务。
操作步骤
-
登录EMR集群。
-
登录EMR on ECS控制台。
-
单击创建的EMR集群。
-
单击节点管理页签，然后单击节点组左侧的
。 -
单击ECS ID。在ECS实例页面，单击实例ID右侧的远程连接。
如果您希望使用SSH方式（SSH密钥对或SSH密码）在Windows和Linux环境中登录集群，请参见登录集群。
-
-
在终端执行以下命令启动Spark Shell。
spark-shell -
使用Spark访问OSS-HDFS。
-
创建表。
spark.sql("CREATE TABLE test_oss (`c1` string) OPTIONS (PATH 'oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/dir')") -
往表中插入数据。
spark.sql("INSERT INTO TABLE test_oss SELECT 'testdata' AS c1") -
查询表。
spark.sql("SELECT c1 FROM test_oss")
-
内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家
阿里云企业补贴进行中： 马上申请
腾讯云限时活动1折起，即将结束： 马上收藏
同尘科技为腾讯云授权服务中心。
购买腾讯云产品享受折上折，更有现金返利:同意关联，立享优惠
转转请注明出处：https://www.yunxiaoer.com/157683.html