Kafka MirrorMaker多個區域之間的複製

Question

注意：還發布到users@kafka.apache.org。

我需要一個將主題鏡像到遠程位置的解決方案，避免每個區域問題的週期和主題。

無論有多少區域（數據中​​心）複製到該解決方案，都需要兩個主題。

我想初始生產者（P1）只寫本地（L1）和遠程主題（R1）。我希望MirrorMaker（M1）從遠程主題（R1）讀取並寫入其他地區的本地主題（L2）。另一個實物區域將使用（P2）寫入其本地（L2）和遠程（R2），並且單獨的MirrorMaker（M2）將其遠程（R2）複製回到本地（L1）的其他區域。

如果我添加第三個區域，我只需要添加另一個MIrrorMaker到現有區域，另一個從第三個複製到現有區域。

------------------------------- 
REGION TOTAL: 2 
------------------------------- 
P1 -> L1, R1 
P2 -> L2, R2 

M1 (R1 -> L2) 
M2 (R2 -> L1) 

------------------------------- 
REGION TOTAL: 3 
------------------------------- 
P1 -> L1, R1 
P2 -> L2, R2 
P3 -> L3, R3 

M1.1 (R1 -> L2) 
M1.2 (R1 -> L3) 

M2.1 (R2 -> L1) 
M2.2 (R2 -> L3) 

M3.1 (R3 -> L1) 
M3.2 (R3-> L2) 

Answer 1

這是一個解決方案。

每個地區寫入自己的主題。 MirrorMaker將每個區域的特定主題複製到每個其他區域。所有地區的消費者都從三個主題中消費。

該解決方案需要爲每個生產者寫一個而不是兩個。 N個主題（每個區域1個）和N個（N-1）個鏡像製作者和N個消費者分別佔用N個主題。