0%

kafka镜像操作

镜像操作

kafka提供镜像操作,将一个集群的数据同步到另一个集群,本质是创建一个消费者,从源集群中待迁移的主题消费数据,然后创建一个生产者,将消费者从源集群中拉取的数据写入目标集群。

使用kafka-mirror-maker.sh进行操作

脚本

1
exec $(dirname $0)/kafka-run-class.sh kafka.tools.MirrorMaker "$@"

操作

  • 在源集群中分别创建消费者和生产者启动的配置文件

    生产者配置文件

    1
    bootstrap.servers=localhost:9091 #目标集群的代理地址列表

    消费者配置文件

    1
    2
    bootstrap.servers=localhost:9092 #源集群的代理地址列表
    group.id=mirror
  • 执行镜像工具(可以指定同步某个主题的数据 whitelist)

    1
    kafka-mirror-maker --consumer.config ../config/consumer.properties --producer.config ../config/producer.properties --whitelist test-mirror