datastax，星火，和MLLIB

Question

我有兩個問題：

1. 看來，隨附Datastax企業星火不支持星火的MLLIB，充分。這會導致可以使用Datastax Spark運行的算法存在相當大的侷限性。 Datastax是否有計劃在不久的將來完全支持MLLIB？如果是，何時？

2. 是否可以在Datastax Cassandra一側的集羣中運行Apache Spark（不使用Datastax Spark）並在它們之間進行通信？如果是，那麼這樣做的最佳做法是什麼？我找不到任何關於此的文檔，如果您能指引我（如果有的話），我將不勝感激。

感謝， 伊桑

Answer 1

1. 我是想象。
2. 使Spark工作節點與Cassandra（OLTP）節點在相同的框上運行。有一個單獨的Spark Master（假定獨立模式）。如果需要故障轉移，請使用Zookeeper運行另一個Spark Master。有關詳細信息，請檢查https://spark.apache.org/docs/latest/spark-standalone.html。這與運行apache spark和apache cassandra基本相同。火花cassandra連接器https://github.com/datastax/spark-cassandra-connector是地方性的，因此，在同一節點上運行火花工作者和cassandra有巨大的好處。你確實失去了從DSE獲得的自動容錯功能，並且你必須將所有東西都設置好，但是它工作正常。例如，我在生產中一起使用apache spark和apache cassandra。一個好處是，當新版本的火花發佈時，您不必等待DSE趕上。