無法禁用Apache Spark writeAheadLogs

Question

我設置了spark.streaming.receiver.writeAheadLog.enable=false，我的歷史記錄服務器確認該屬性已設置。然而，我仍然看到錯誤：

16/11/28 15:47:04 ERROR util.FileBasedWriteAheadLog_ReceivedBlockTracker: Failed to write to write ahead log after 3 failures 

我從火花網友跟帖Spark Streaming Data loss on failure to write BlockAdditionEvent failure to WAL是HDFS追加支持必須啓用WAL與HDFS工作猜測。我的安裝不啓用此HDFS功能，所以我想禁用Spark中的WAL。

Answer 1

我假設你在你的代碼checkpointinig上的StreamingContext是這樣的： -

ssc.checkpoint(directory) 

星火做兩分型檢查點的： -

1. 元數據檢查點從驅動程序故障恢復

2. 接收數據檢查點

你只用spark.streaming.receiver.writeAheadLog.enable =假

檢查點的元數據接收器禁用檢查點還亮着。並且點校驗需要hdfs附加功能。

您可以啓用HDFS追加通過設置如下屬性HDFS-site.xml中： -

dfs.support.append=true