场景应用:将MySQL的变化数据转为实时流输出到Kafka中。
注意版本问题,版本不同可能会出现异常,以下版本测试没问题:
flink1.12.7
flink-connector-mysql-cdc 1.3.0(com.alibaba.ververica) (测试时使用1.2.0版本时会出现空指针错误)
1. MySQL的配置
在/etc/my.cnf文件中,【mysqld】下面添加以下配置:
binlog-do-db 是指定要监控的数据库,如果是多个数据库,每个数据库需要单独一行设置。
修改完成后,需要重启数据库,并检查binlog有没有生成。
补充几个其他的配置:
1、修改配置
[mysqld]
# 前面还有其他配置
# 添加的部分
server-id = 12345
log-bin = mysql-bin
# 必须为ROW
binlog_format = ROW
# 必须为FULL,MySQL-5.7后才有该参数
binlog_row_image = FULL
expire_logs_days = 15
2、验证
SHOW VARIABLES LIKE '%binlog%';
3、设置权限
-- 设置拥有同步权限的用户
CREATE USER 'flinkuser' IDENTIFIED BY 'flinkpassword';
-- 赋予同步相关权限
GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'flinkuser';
创建用户并赋予权限成功后,使用该用户登录MySQL,可以使用以下命令查看主从同步相关信息
SHOW MASTER STATUS
SHOW SLAVE STATUS
SHOW BINARY LOGS
2. FlinkCDC的开发
从这里开始建立flink工程项目,以下项目flink版本为1.12.7,scala版本用的2.12。
大概的思考步骤如下:
1) 获取执行环境
2)开启检查点ck (重点)
3)通过flinkcdc构建sourceFunction,并读取数据 (重点)
4)在执行环境中添加3)中构建的source
5)配置kafka生产者环境(重点)
6)在执行环境中增加5)中的Sink
7)启动任务
项目结构(gmall-realtime)如下:
2.1 Pom文件配置
由于这是我的一个子项目,所以实际使用的时候自己修改。
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<parent>
<artifactId>gmall-flink-2021</artifactId>
<groupId>com.king</groupId>
<version>1.0-SNAPSHOT</version>
</parent>
<modelVersion>4.0.0</modelVersion>
<artifactId>gmall-flink-cdc</artifactId>
<version>1.0</version>
<properties>
<java.version>1.8</java.version>
<maven.compiler.source>${java.version}</maven.compiler.source>
<maven.compiler.target>${java.version}</maven.compiler.target>
<flink.version>1.12.7</flink.version>
<scala.version>2.12</scala.version>
<hadoop.version>3.1.3</hadoop.version>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_${scala.version}</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-kafka_${scala.version}</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients_${scala.version}</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-cep_${scala.version}</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-json</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>1.2.68</version>
</dependency>
<!--如果保存检查点到 hdfs 上,需要引入此依赖-->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.16</version>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.7.0</version>
</dependency>
<dependency>
<groupId>com.alibaba.ververica</groupId>
<artifactId>flink-connector-mysql-cdc</artifactId>
<version>1.3.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/com.ververica/flink-connector-mysql-cdc -->
<!-- <dependency> 该包仅支持flink1.13版本及以上-->
<!-- <groupId>com.ververica</groupId>-->
<!-- <artifactId>flink-connector-mysql-cdc</artifactId>-->
<!-- <version>2.1.1</version>-->
<!-- </dependency>-->
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.18.20</version>
</dependency>
<!--Flink 默认使用的是 slf4j 记录日志,相当于一个日志的接口,我们这里使用 log4j 作为
具体的日志实现-->
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.32</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.32</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-to-slf4j</artifactId>
<version>2.17.1</version>
</dependency>
</dependencies>
<build>
<!-- <sourceDirectory>${project.basedir}/src/main/scala</sourceDirectory>-->
<!-- <resources>-->
<!-- <resource>-->
<!-- <directory>${project.basedir}/src/main/resources</directory>-->
<!-- </resource>-->
<!-- </resources>-->
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-assembly-plugin</artifactId>
<version>3.0.0</version>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
注意一点:如果使用java开发,可以直接编译成功。但是我这里全部使用scala开发,所以需要在pom文件配置额外的插件,否则打包scala项目会不成功。
<plugins>
<plugin>
<!-- !!必须有这个插件,才可以编译scala代码找到主类,版本我是网上搞来的 -->
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<version>3.2.2</version>
<executions>
<execution>
<id>compile-scala</id>
<phase>compile</phase>
<goals>
<goal>add-source</goal>
<goal>compile</goal>
</goals>
</execution>
<execution>
<id>test-compile-scala</id>
<phase>test-compile</phase>
<goals>
<goal>add-source</goal>
<goal>testCompile</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
2.2 读取MySQL
Flinkcdc.scala中:
通过引入的flink-connector-mysql-cdc已经提供了读取MySQL的工具类。
val sourceFunction = MySQLSource.builder[String]()
.hostname("hadoop200")
.port(3306)
.username("root")
.password("root")
.databaseList("gmall-210325-flink")
//如果不添加该参数,则消费指定数据库中所有表的数据
//如果添加,则需要按照 数据库名.表名 的格式指定,多个表使用逗号隔开
// .tableList("gmall-210325-flink.base_trademark")
.deserializer(new CustomerDeseriallization())
new CustomerDeseriallization() 是自定义的读取的MySQL的数据输出格式,如果不指定,系统也有个new StringDebeziumDeserializationSchema()可以使用。
2.3 自定义从MySQL读取的数据的输出格式
CustomerDeseriallization类
package com.king.app.function
import com.alibaba.fastjson.JSONObject
import com.alibaba.ververica.cdc.debezium.DebeziumDeserializationSchema
import org.apache.flink.api.common.typeinfo.{BasicTypeInfo, TypeInformation}
import org.apache.flink.util.Collector
import org.apache.kafka.connect.data.{Schema, Struct}
import org.apache.kafka.connect.source.SourceRecord
/**
* @Author: KingWang
* @Date: 2021/12/29
* @Desc:
**/
class CustomerDeseriallization extends DebeziumDeserializationSchema[String]{
/**
* 封装的数据:
* {
* "database":"",
* "tableName":"",
* "type":"c r u d",
* "before":"",
* "after":"",
* "ts": ""
*
* }
*
* @param sourceRecord
* @param collector
*/
override def deserialize(sourceRecord: SourceRecord, collector: Collector[String]): Unit = {
//1. 创建json对象用于保存最终数据
val result = new JSONObject()
val value:Struct = sourceRecord.value().asInstanceOf[Struct]
//2. 获取库名&表名
val source:Struct = value.getStruct("source")
val database = source.getString("db")
val table = source.getString("table")
//3. 获取before
val before = value.getStruct("before")
val beforeObj = if(before != null) getJSONObjectBySchema(before.schema(),before) else new JSONObject()
//4. 获取after
val after = value.getStruct("after")
val afterObj = if(after != null) getJSONObjectBySchema(after.schema(),after) else new JSONObject()
//5. 获取操作类型
val op:String = value.getString("op")
//6. 获取操作时间
val ts = source.getInt64("ts_ms")
// val ts = value.getInt64("ts_ms")
//7. 拼接结果
result.put("database", database)
result.put("table", table)
result.put("type", op)
result.put("before", beforeObj)
result.put("after", afterObj)
result.put("ts", ts)
collector.collect(result.toJSONString)
}
override def getProducedType: TypeInformation[String] = {
BasicTypeInfo.STRING_TYPE_INFO
}
//从Schema中获取字段和值
def getJSONObjectBySchema(schema:Schema,struct:Struct):JSONObject = {
val fields = schema.fields()
var jsonBean = new JSONObject()
val iter = fields.iterator()
while(iter.hasNext){
val field = iter.next()
val key = field.name()
val value = struct.get(field)
jsonBean.put(key,value)
}
jsonBean
}
}
2.4 写入到Kafka
package com.king.util
import org.apache.flink.api.common.serialization.{SerializationSchema, SimpleStringSchema}
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer
/**
* @Author: KingWang
* @Date: 2022/1/1
* @Desc:
**/
object MyKafkaUtil {
val broker_list = "hadoop200:9092,hadoop201:9092,hadoop202:9092"
def getKafkaProducer(topic:String):FlinkKafkaProducer[String] =
new FlinkKafkaProducer[String](broker_list,topic,new SimpleStringSchema())
}
FlinkCDC.scala的完整代码如下:
package com.king.app.ods
import com.alibaba.ververica.cdc.connectors.mysql.MySQLSource
import com.alibaba.ververica.cdc.connectors.mysql.table.StartupOptions
import com.king.app.function.CustomerDeseriallization
import com.king.util.MyKafkaUtil
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment
/**
* @Author: KingWang
* @Date: 2021/12/26
* @Desc:
**/
object FlinkCDC {
def main(args: Array[String]): Unit = {
//1. 获取执行环境
val env = StreamExecutionEnvironment.getExecutionEnvironment
env.setParallelism(1)
//1.1 开启ck并指定状态后端fs
// env.setStateBackend(new FsStateBackend("hdfs://hadoop200:8020/gmall-flink-210325/ck"))
// .enableCheckpointing(10000L) //头尾间隔:每10秒触发一次ck
// env.getCheckpointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE) //
// env.getCheckpointConfig.setCheckpointTimeout(10000L)
// env.getCheckpointConfig.setMaxConcurrentCheckpoints(2)
// env.getCheckpointConfig.setMinPauseBetweenCheckpoints(3000l) //尾和头间隔时间3秒
// env.setRestartStrategy(RestartStrategies.fixedDelayRestart(3, 10000L));
//2. 通过flinkCDC构建SourceFunction并读取数据
val sourceFunction = MySQLSource.builder[String]()
.hostname("hadoop200")
.port(3306)
.username("root")
.password("root")
.databaseList("gmall-210325-flink")
//如果不添加该参数,则消费指定数据库中所有表的数据
//如果添加,则需要按照 数据库名.表名 的格式指定,多个表使用逗号隔开
// .tableList("gmall-210325-flink.base_trademark")
.deserializer(new CustomerDeseriallization())
//监控的方式:
// 1. initial 初始化全表拷贝,然后再比较
// 2. earliest 不做初始化,只从当前的
// 3. latest 指定最新的
// 4. specificOffset 指定offset
// 3. timestamp 比指定的时间大的
.startupOptions(StartupOptions.latest())
.build()
val dataStream = env.addSource(sourceFunction)
//3. sink, 写入kafka
dataStream.print()
val sinkTopic = "ods_base_db"
dataStream.addSink(MyKafkaUtil.getKafkaProducer(sinkTopic))
//4. 启动任务
env.execute("flinkCDC")
}
}
3. 测试项目
准备好kafka,mysql,可以在本地测试。
启动kafka消费者,topic是ods_base_db
在idea中启动flinkcdc程序。
打开mysql编辑器,表base_trademark中原始记录有12条如下:
现在手工增加一条记录,编号为13 wang
查看idea控制台显示添加消息如下:
同时在Kafka消费者也看到一条记录如下,字段type为操作类型,c表示创建
再次在MySQL中做修改和删除操作,可以看到控制多了两条记录,操作类型分别为u和d,表示修改和删除操作。
到此flinkcdc的操作基本完成。
所有评论(0)