阿里云ECS云服务器基于eRDMA增强型实例部署Spark集群-云淘科技

执行以下命令，下载Benchmark安装包。

wget https://mracc-release.oss-cn-beijing.aliyuncs.com/erdma-spark/spark-erdma-jverbs.tar.gz

执行以下命令，修改ip route。

说明

如果实例的默认网卡支持eRDMA，可以跳过该步骤。

route del -net 192.168.201.0 netmask 255.255.255.0 metric 0 dev eth0 && \
route add -net 192.168.201.0 netmask 255.255.255.0 metric 1000 dev eth0

说明

请根据实际情况，将IP地址替换为实际eRDMA网卡对应的网关IP地址。

Spark配置。

1. 执行以下命令，打开配置文件spark-jverbs-erdma.conf。

   vim /opt/spark-3.2.1-bin-hadoop3.2/conf/spark-jverbs-erdma.conf

2. 按i键进入编辑模式，将配置文件修改为以下内容。

   spark.master yarn
   spark.deploy-mode client
   #driver
   spark.driver.cores 4
   spark.driver.memory 19g
   #executor
   spark.executor.instances 12
   spark.executor.memory 10g
   spark.executor.cores 4
   spark.executor.heartbeatInterval   60s
   #shuffle
   spark.task.maxFailures 4
   spark.default.parallelism 36
   spark.sql.shuffle.partitions 192
   spark.shuffle.compress            true
   spark.shuffle.spill.compress      true
   
   #other
   spark.network.timeout 3600
   spark.sql.broadcastTimeout 3600
   spark.eventLog.enabled             false
   spark.eventLog.dir                 hdfs://master1:9000/sparklogs
   spark.eventLog.compress            true
   spark.yarn.historyServer.address   master1:18080
   spark.serializer                  org.apache.spark.serializer.KryoSerializer
   
   #eRDMA
   spark.driver.extraLibraryPath   /path/erdmalib
   spark.executor.extraLibraryPath   /path/erdmalib
   spark.driver.extraClassPath       /path/spark-eRDMA-1.0-for-spark-3.2.1.jar:/path/disni-2.1-jar-with-dependencies.jar
   spark.executor.extraClassPath     /path/spark-eRDMA-1.0-for-spark-3.2.1.jar:/path/disni-2.1-jar-with-dependencies.jar
   spark.shuffle.manager org.apache.spark.shuffle.sort.RdmaShuffleManager
   spark.shuffle.sort.io.plugin.class org.apache.spark.shuffle.rdma.RdmaLocalDiskShuffleDataIO
   spark.shuffle.rdma.recvQueueDepth  128

   说明

   • 将spark.shuffle.compress设置为false会得到更好的加速比。

   • 本配置中的spark.executor.instances、spark.executor.memory、spark.executor.cores、spark.sql.shuffle.partitions等Spark资源配置以32 vCPU、128 GB规格的实例为例，请您根据实际实例或者集群规模进行调整。

3. 按Esc键退出编辑模式，输入:wq并按下Enter键，保存并退出文件。

依次执行以下命令，生成数据。

cd /opt/spark-3.2.1-bin-hadoop3.2/conf
spark-submit --properties-file /opt/spark-3.2.1-bin-hadoop3.2/conf/spark-normal.conf --class com.databricks.spark.sql.perf.tpcds.TPCDS_Bench_DataGen spark-sql-perf_2.12-0.5.1-SNAPSHOT.jar hdfs://master1:9000/tmp/tpcds_400 tpcds_400 400 parquet

说明

数值400代表生成的数据量大小，单位为GB，请您根据实际集群规模调整。

执行以下命令，执行Benchmark测试。

spark-submit --properties-file /opt/spark-3.2.1-bin-hadoop3.2/conf/spark-jverbs-erdma.conf --class com.databricks.spark.sql.perf.tpcds.TPCDS_Bench_RunAllQuery spark-sql-perf_2.12-0.5.1-SNAPSHOT.jar all hdfs://master1:9000/tmp/tpcds_400 tpcds_400 /tmp/tpcds_400_result

当出现如下类似结果时，表示测试完成，您可以从测试结果中查看Spark集群处理负载的执行时间。

说明

您可以按照以上方法，去掉Spark conf中eRDMA插件相关配置或者登录其他不支持eRDMA的集群，对Spark eRDMA插件的性能做对比。