详情页标题前

flink没有失败,一直在报broker可能不存在的警告,怎么解决呢?-云小二-阿里云

详情页1

Flink1.10 kafka0.10运行一段时间后,我把kafka停了,但是flink没有失败,一直在报broker可能不存在的警告,怎么解决呢?我没有配置重启策略,我希望任务在一段时间后失败

以下为热心网友提供的参考意见

要解决这个问题,您可以在Flink中配置Kafka消费者的错误处理和重启策略。具体来说,您可以通过以下步骤来实现:

  1. 打开您的Flink作业的配置文件(例如flink-conf.yaml)。
  2. 在配置文件中添加以下参数来设置Kafka消费者的错误处理和重启策略:
    jobmanager.rpc.address: 
    taskmanager.numberOfTaskSlots: 
    parallelism.default: 
    rest.port: 
    state.backend: 
    state.checkpoints.dir: 
    log.dirs: 
    
  3. 在配置文件中添加以下参数来设置Kafka消费者的重试次数和重试间隔:
    consumer.retry.max: 
    consumer.retry.backoff: 
    
  4. 保存并关闭配置文件。
  5. 重新启动您的Flink作业。

通过配置这些参数,当Kafka broker停止时,Flink作业将尝试重新连接到Kafka broker,并在达到最大重试次数后失败。这样,您就可以实现在一段时间后让任务失败的需求。

转转请注明出处:https://www.yunxiaoer.com/182423.html

(0)
上一篇 2024年1月10日 下午1:53
下一篇 2024年1月10日
详情页2

相关推荐

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。