kafka神器之mirrormaker

kafka神器之mirrormaker

熟悉kafka基本概念。比如broker、producer、consumer等。

Kafka集群包含一个或多个服务器，这种服务器被称为broker。

每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）

方法/步骤2

搭建2个kafka集群，一个称为源集群，另一个称为目的集群。关于如何搭建kafka集群，可以参考我的其他经验。

方法/步骤3

在源集群和目的集群建立topic。要求topic的名字必须一样。建立topic可以使用如下命令：kafka-topic.sh

方法/步骤4

在源集群配置mirrormaker的配置文件，包括consumer.properties和producer.properties。可以参看config目录下的原始文件，在这个基础上修改不容易出错。

方法/步骤5

运行kafka的mirrormaker命令，查看是否有报错。一般情况下，都可以运行成功。

在目的集群开启kafka终端，消费数据，如果能够消费到数据，说明mirrormaker成功了。