kafka镜像操作

发表于 2020-10-13 更新于 2023-10-28 分类于 kafka 阅读次数： Valine：
本文字数： 500 阅读时长 ≈ 1 分钟

镜像操作

kafka提供镜像操作，将一个集群的数据同步到另一个集群，本质是创建一个消费者，从源集群中待迁移的主题消费数据，然后创建一个生产者，将消费者从源集群中拉取的数据写入目标集群。

使用kafka-mirror-maker.sh进行操作

1	exec $(dirname $0)/kafka-run-class.sh kafka.tools.MirrorMaker "$@"

在源集群中分别创建消费者和生产者启动的配置文件

生产者配置文件

1	bootstrap.servers=localhost:9091 #目标集群的代理地址列表

消费者配置文件

1 2	bootstrap.servers=localhost:9092 #源集群的代理地址列表 group.id=mirror

执行镜像工具（可以指定同步某个主题的数据 whitelist）

1	kafka-mirror-maker --consumer.config ../config/consumer.properties --producer.config ../config/producer.properties --whitelist test-mirror