详情页标题前

Flink在第一个Sink失败的情况下 导致 在switch 有遇到过嘛?-云小二-阿里云

详情页1

Flink在第一个Sink失败的情况下 导致 在switch source算子运行状态 从running变成 cancelling 失败
报错 是因为 ResultSet.close()方法阻塞住了, 然后超过 task.cancellation.timeout 设置的时间 taskmanager就宕机了 有大佬遇到过嘛?Source(Mysql ) -> filter -> Sink(Mysql)
-> filter -> SinkWARN org.apache.flink.runtime.taskmanager.Task [] – Task ‘DataSource (PFFF7AF61-7336-EF96-F823-31CE49B07791) (1/1)#0’ did not react to cancelling signal – interrupting; it is stuck for 30 seconds in method:
java.net.SocketInputStream.socketRead0(Native Method)
java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
java.net.SocketInputStream.read(SocketInputStream.java:171)
java.net.SocketInputStream.read(SocketInputStream.java:141)
com.mysql.jdbc.util.ReadAheadInputStream.fill(ReadAheadInputStream.java:100)
com.mysql.jdbc.util.ReadAheadInputStream.readFromUnderlyingStreamIfNecessary(ReadAheadInputStream.java:143)
com.mysql.jdbc.util.ReadAheadInputStream.read(ReadAheadInputStream.java:173)
com.mysql.jdbc.MysqlIO.readFully(MysqlIO.java:2911)
com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3382)
com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3322)
com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3762)
com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:870)
com.mysql.jdbc.MysqlIO.nextRow(MysqlIO.java:1928)
com.mysql.jdbc.RowDataDynamic.nextRecord(RowDataDynamic.java:378)
com.mysql.jdbc.RowDataDynamic.next(RowDataDynamic.java:358)
com.mysql.jdbc.RowDataDynamic.close(RowDataDynamic.java:158)
com.mysql.jdbc.ResultSetImpl.realClose(ResultSetImpl.java:6703)
com.mysql.jdbc.ResultSetImpl.close(ResultSetImpl.java:848)
*.close(RDBInputFormat.java:433)
org.apache.flink.runtime.operators.DataSourceTask.invoke(DataSourceTask.java:207)
org.apache.flink.runtime.taskmanager.Task$$Lambda$671/731154499.run(Unknown Source)
org.apache.flink.runtime.taskmanager.Task.runWithSystemExitMonitoring(Task.java:948)
org.apache.flink.runtime.taskmanager.Task.restoreAndInvoke(Task.java:927)
org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:741)
org.apache.flink.runtime.taskmanager.Task.run(Task.java:563)
java.lang.Thread.run(Thread.java:745)

以下为热心网友提供的参考意见

这个问题可能是由于在第一个Sink失败后,Flink尝试关闭ResultSet时阻塞了。你可以尝试增加task.cancellation.timeout的值来解决这个问题

转转请注明出处:https://www.yunxiaoer.com/183409.html

(0)
上一篇 2024年1月9日 下午12:33
下一篇 2024年1月9日 下午12:35
详情页2

相关推荐

  • 腾讯云云函数(SCF)在线视频行业案例-云淘科技

    客户介绍 国内某在线视频媒体平台是以视听互动为核心,集网络特色与电视特色与一体,实现 “多屏合一”,独播、跨屏、自制的新媒体视听综合传播服务平台,也是国内 A 股中最早国有控股的视频平台之一。 业务需求 需求1:音视频编解码业务 音视频团队承担的主要业务有:自有内容音视频输出:每天海量时长的源视频内容生产240P 到 4K 等不同清晰度,超50多种格式的转码…

    2023年12月9日
  • 腾讯云云点播视频合成

    视频合成,是对云点播中的视频进行裁剪、拼接、重叠以及翻转等复杂操作,是一种离线任务。使用视频合成,可以达到以下效果:画面旋转:对视频、图片的画面旋转一定角度,或按照某个方向翻转。声音控制:升高降低视频、音频中声音的音量,或者对视频静音。画面叠加:将视频、图片中的画面依序叠加在一起,如实现“画中画”的效果。声音混合:将视频、音频中的声音混合在一起(混音)。声音…

    腾讯云 2023年12月9日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 腾讯云云点播播放器 SDK 移动端新增上线高级版

    变更内容 播放器 SDK 移动端(iOS & Android)推出高级版 SDK,在原有功能基础上新增一系列 高级版功能,需购买播放器移动端高级版 License 后使用。原播放器 SDK 版本将变为播放器 SDK(基础版),新增的播放器 SDK(高级版)不会对原有的播放器 SDK 版本产生任何影响。原视频播放 License 更名为播放器移动端基础…

    腾讯云 2023年12月9日
  • 腾讯云对象存储查询文档预览开通状态

    简介 本文档提供关于查询文档预览开通状态的 API 概览和 SDK 示例代码。 API 操作描述 查询文档预览开通状态 用于查询已经开通文档预览功能的 Bucket 查询文档预览开通状态 功能说明 用于查询已经开通文档预览功能的 Bucket。 方法原型 public Guzzle\Service\Resource\Model describeDocProc…

    腾讯云 2023年12月9日
  • 腾讯云对象存储下载对象

    简介 本文档提供关于对象的下载操作相关的 API 概览以及 SDK 示例代码。 API 操作名 操作描述 GET Object 下载对象 下载一个对象至本地 SDK API 参考 SDK 所有接口的具体参数与方法说明,请参考 SDK API 参考。 高级接口(推荐) 下载对象 高级接口支持暂停、恢复以及取消下载请求,同时支持断点下载功能。 示例代码一: 下载…

    腾讯云 2023年12月9日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。