向Cassandra插入數據的Spark作業

Question

我正嘗試在Scala上使用Spark將數據寫入Cassandra表。有時火花任務在兩者之間失敗，並且有部分寫入。當新任務從第一個開始時，Spark是否會回滾部分寫入。

Answer 1

不，但如果我是對的，你可以重新處理你的數據。這將覆蓋部分寫入。在寫入Cassandra時，當您嘗試使用相同主鍵插入數據時，會使用一種更新（upsert）。

Answer 2

否.Spark（和Cassandra就此而言）不會基於整個任務執行提交樣式插入。這意味着你的寫作必須是冪等的，否則你最終會出現奇怪的行爲。