是否有可能讓來自多個數據中心的節點加入相同的Spark羣集？

Question

我正在運行Datastax Enterprise羣集（使用GossipingPropertyFileSnitch）。我有兩個數據中心，Analytics和Cassandra。 Analytics節點形成一個Spark集羣。我正在考慮合併這兩個集羣以更好地利用資源。

當我使我的Cassandra節點火花（在/etc/dse/default）我得到一個新的主人，它似乎像那些節點不會加入同一星火集羣的Analytics節點。我可以以某種方式使Cassandra數據中心節點加入Analytics Spark羣集？

Answer 1

由於您使用的是GossipingPropertyFileSnitch，您還必須更改新的Spark節點所在的DC，否則它們將繼續存在於所謂的「Cassandra」數據中心中。

編輯： 標題問題的簡短答案是「否」。獨立的DC被分配獨立的火花主控，並且不會在火花任務上共享資源。