请教下 flink on yarn 模式 跑wordcount run ./examples/batch/WordCount.jar –input hdfs://node1:8020/flink1.16.3/input/wordcount.txt –output hdfs://node1:8020/flink1.16.3/ouput 报错 hdfs dfs -ls 可以正常执行？
以下为热心网友提供的参考意见
根据您提供的信息，报错信息可能是由于Flink在执行WordCount任务时无法访问HDFS。请尝试以下解决方案：
-
确保HDFS集群正常运行，并且可以从您的机器上访问。您可以使用
hdfs dfs -ls /flink1.16.3/input命令检查HDFS上的文件是否存在。 -
检查Flink的配置文件（flink-conf.yaml）中的HDFS配置是否正确。确保
fs.defaultFS和yarn.application-master的值与您的HDFS集群设置相匹配。例如：
fs.defaultFS: hdfs://node1:8020
yarn.application-master: yarn-cluster
-
检查Flink的日志文件以获取更多关于错误的详细信息。您可以在Flink安装目录下的
log文件夹中找到日志文件。 -
如果问题仍然存在，您可以尝试在Flink的命令行中添加一些调试选项，以便查看更详细的错误信息。例如：
./bin/flink run -d -p 1 ./examples/batch/WordCount.jar --input hdfs://node1:8020/flink1.16.3/input/wordcount.txt --output hdfs://node1:8020/flink1.16.3/ouput -Dlog.level=DEBUG
转转请注明出处：https://www.yunxiaoer.com/180590.html