重複的數據從卡夫卡紅移火花流和火花紅移連接器

Question

我想設置一個數據管道行從MySQL的binlogs Redshift.Imm從MySQL的binlogs數據寫入數據（使用工具cannedbeer ，從mypipe叉），然後使用火花流寫入這些消息紅移使用火花紅移連接器。我面臨的問題是相同的消息被寫入多次紅移。這是因爲在foreachRDD方法中的工作失敗（寫給Redshift的副作用）。可以解釋一下這個問題以及如何解決它。提前感謝。

Answer 1

記錄每個部分並查看它重複的位置？我正在使用https://github.com/databricks/spark-redshift寫入火花簇的紅移，沒有任何問題。