Flink CDC 系列文章:
《Flink CDC 系列(1)—— 什么是 Flink CDC》
《Flink CDC 系列(2)—— Flink CDC 源码编译》
《Flink CDC 系列(3)—— Flink CDC MySQL Connector 与 Flink SQL 的结合使用案例Demo》
《Flink CDC 系列(4)—— Flink CDC MySQL Connector 常用参数表》
《Flink CDC 系列(5)—— Flink CDC MySQL Connector 启动模式》
《Flink CDC 系列(6)—— Flink CDC MySQL Connector 工作机制之 Incremental Snapshot Reading》
《Flink CDC 系列(7)—— 从 MySQL 到 ElasticSearch》

什么是 Flink CDC

Flink CDC 是 CDC(change data capture 变更数据捕获)在 Flink 的一种实现,具体体现为一系列的 Flink CDC Connector,如 Mysql CDC connector,PostgreSQL connector 等。Flink CDC Connector 内嵌了 Debezium 来捕获数据变更。
官网地址:https://ververica.github.io/flink-cdc-connectors/master/

(图片引自官网)在这里插入图片描述

支持的数据源 :

数据源版本
MySQLDatabase: 5.7, 8.0.x , JDBC Driver: 8.0.16
PostgreSQLDatabase: 9.6, 10, 11, 12 JDBC Driver: 42.2.12
MongoDBDatabase: 3.6, 4.x, 5.0, MongoDB Driver: 4.3.1
OracleDatabase: 11, 12, 19,Oracle Driver: 19.3.0.0

功能特性

  • 支持数据库级别的快照,读取全量数据,2.0版本可以支持不加锁的方式读取
  • 支持 binlog,捕获增量数据
  • Exactly-Once
  • 支持 Flink DataStream API,不需要额外部署 Debezium 和 Kafka即可在一个 Flink 作业中完成变更数据的捕获和计算
  • 支持 Flink Table/SQL API,可使用 SQL DDL 来创建 CDC Source 表,并对表中的数据进行查询。

与 Flink 版本的对应关系

Flink CDC Connector 版本Flink 版本
1.0.01.11.*
1.1.01.11.*
1.2.01.12.*
1.3.01.12.*
1.4.01.13.*
2.0.*1.13.*
2.1.*1.13.*
Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐