火花與複製卡桑德拉節點

Question

我發現製品，其中作者建議使用下一個火花卡桑德拉架構模式（火花從每個節點卡桑德拉）：

我有N個卡桑德拉節點。所有節點都是完整的對方副本。在我的情況下，爲每個Cassandra節點運行Spark slave是否有意義？

Answer 1

是的。 Spark-Cassandra連接器具有數據位置感知能力，即每個與Cassandra節點共處的Spark節點將確保只處理本地Cassandra數據，這樣可以避免在整個網絡中混洗大量數據。您可以通過觀看Russell Spitzer關於此主題here的演講來了解其工作原理。