环境:centos

安装docker

yum install docker

安装docker compose

yum install docker-compose

docker-compose文件

version: "2.2"
services:
  jobmanager:
    image: flink:1.14.5-scala_2.12
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager        

  taskmanager:
    image: flink:1.14.5-scala_2.12
    depends_on:
      - jobmanager
    command: taskmanager
    scale: 1
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
        taskmanager.numberOfTaskSlots: 2

在centos中新建文件夹,放入docker-compose.yml

执行命令,启动构建

docker-compose up -d

docker ps查看jobmanager 和 taskmanager容器启动状态

启动成功后,localhost:8081 访问web ui

默认构建的服务只有基础的flink jar包,如果提交的job有用到连接mysql或者使用flink cdc,需要把相应的依赖包加入到jobmanager和taskmanager容器的lib中 可以通过docker cp命令手动添加或在docker-compose.yml中使用挂载。

mysql-connector-java-8.0.21.jar
flink-connector-jdbc_2.12-1.14.5.jar
flink-sql-connector-mysql-cdc-2.2.1.jar
Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐