详情页标题前

Flink读取mysql cdc有办法过滤掉 update_before类型的数据嘛？-云小二-阿里云

• 阿里云
详情页1

Flink读取mysql cdc有办法过滤掉 update_before类型的数据嘛？

以下为热心网友提供的参考意见

在Apache Flink中，当读取MySQL CDC时，可以通过配置选项或编程方式来过滤掉update_before类型的数据。

  1. 使用Flink SQL：
    如果您正在使用Flink SQL，可以在创建表源时指定只处理特定的变更事件类型。例如：

    CREATE TABLE my_table (
  ...
) WITH (
  'connector' = 'mysql-cdc',
  'hostname' = '',
  'port' = '',
  'username' = '',
  'password' = '',
  'database-name' = '',
  'table-name' = '','server-id'='',-- 只处理INSERT和UPDATE_AFTER类型的事件'include-events'='insert,update_after');
  2. 

    编程方式：
    如果您正在使用Java/Scala API进行编程，可以自定义一个ChangelogMode，并将其传递给TableSource的构造函数。例如：
    

    ChangelogMode changelogMode = ChangelogMode.newBuilder()
    .addContainedKind(Kind.INSERT)
    .addContainedKind(Kind.UPDATE_AFTER)
    .build();

TableSource<?> source = ...;
source.configure(
    new Configuration(),
    new HashMap<>(),
    changelogMode);

    

    3. 以下为热心网友提供的参考意见
    没有办法。此回答整理自钉群“实时计算Flink产品交流群”
    转转请注明出处：https://www.yunxiaoer.com/175436.html
    
                            
     赞 (0)
    

                                                    
    
                            
    
                                                                
    
                                    
    
                                                                                     0                                                                                                                    
    
                                    
                                    
    
                                        
                                    
    
                                
    
                            
    
                        
    
                    
    
                
                
    
                     上一篇
                    2023年12月13日 下午5:59
                
    
            
    
                            
    
                
                
    
                    下一篇 
                    2023年12月13日
                
    
            
    
            
    详情页2
    
                            
    相关推荐
    • 
        
      
        
            腾讯云云函数(SCF)SCF + MPS 视频任务回调备份 COS-云淘科技        
                腾讯云
            
      
        
      
                
      
            
                                 腾讯云云函数(SCF)SCF + MPS 视频任务回调备份 COS-云淘科技            
        
      
        
      
            
      操作场景 本文为您介绍如何将 视频处理 MPS 产生的回调任务通过云函数 SCF 及时备份至 对象存储 COS。其中，SCF 主要提供回调消息处理，MPS 主要用于视频处理任务，COS 主要提供终端永久性存储能力。 操作步骤 创建云函数 1. 登录 Serverless 控制台，单击左侧导航栏的函数服务。2. 在“函数服务”页面上方选择北京地域，并单击新建进…
      
        
      
        
      
                                    2023年12月9日
            
      
                            
      
        
      
    
      

      • 

    • 
        
      
                
      
            
                                 腾讯云云点播预置参数模板列表            
        
      
        
      
            
      云点播支持使用参数模板代替复杂的参数集合，发起视频处理。针对不同视频处理的场合，云点播预置了一批参数模板。 视频转换类 视频转换类的预置参数模板包含了以下几种类型：预置转码模板预置转封装模板预置转动图模板预置指定时间点截图模板预置采样截图模板预置雪碧图模板预置转自适应码流模板 预置转码模板 转码视频格式（H.264） 规格等级 模板 ID 封装格式（Form…
      
        
      
        
      
                                            腾讯云
                            2023年12月9日
            
      
                            
      
        
      
    
      

      • 

    • 信息流广告，信息流部分建议宽度830px，只针对默认列表样式，顺序随机
    • 
        
      
                
      
            
                                 腾讯云轻量应用服务器关于系统镜像 CentOS 8下架以及 OpenCloudOS 8上架公告云小二            
        
      
        
      
            
      CentOS 官方已于2022年01月01日停止维护支持 CentOS 8，为保证用户稳定使用，腾讯云轻量应用服务器计划于2022年10月10日下架 CentOS 8.0、CentOS 8.2系统镜像，同期上架兼容 CentOS 8的轻量应用服务器 OpenCloudOS 8镜像为您提供服务。 OpenCloudOS 简介 OpenCloudOS 8由腾讯与…
      
        
      
        
      
                                            腾讯云
                            2023年12月9日
            
      
                            
      
        
      
    
      

      • 

    • 
        
      
                
      
            
                                 腾讯云TDSQL-C MySQL版安全审计            
        
      
        
      
            
      TDSQL-C MySQL 版提供安全审计能力，对数据库管理系统访问行为与操作行为进行监控与记录，以便对数据库管理系统中安全事件进行审计或其它安全防范操作。 合规审计 TDSQL-C MySQL 版提供企业级的合规审计功能，其具有合规、安全、追溯等特性，符合国家相关规定，是用户通过等保合规的刚需产品。合规审计通过对用户访问数据库行为的记录、分析，帮助用户事后…
      
        
      
        
      
                                            腾讯云
                            2023年12月9日
            
      
                            
      
        
      
    
      

      • 

    • 
        
      
                
      
            
                                 Flink1.18.0 拿rancher k8s部署 taskmanager报连不上见过这种情况吗？-云小二-阿里云            
        
      
        
      
            
      Flink1.18.0 拿rancher k8s部署 taskmanager报连不上taskmanager 然后一直重启，大家有见过这种情况吗？ 以下为热心网友提供的参考意见 你看下Hologres 或者paimon的局部更新 必开双流Join ，此回答整理自钉群“实时计算Flink产品交流群” 以下为热心网友提供的参考意见 是的，这种情况在Flink 1.…
      
        
      
        
      
                                            阿里云
                            2024年1月4日
            
      
                            
      
        
      
    
      

      • 

                            
    
                                                
    
                                                                                                            
    
                                        
    联系我们
    

    400-800-8888
    

    在线咨询： QQ交谈
    

    邮件：admin@example.com
    

    工作时间：周一至周五，9:30-18:30，节假日休息
    
                                    
    
                                
    
                                                                                    
    
                                                                                                            
    
                                        关注微信                                    
    
                                
    
                                                                                        
    
                                                                    
    
                                    
    
                                                                    
    
                            
    
                
    
                    
    本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买，续费优惠，保证底价，买贵退差。