2015-03-19 20 views
0

我試圖在使用oozie ssh動作的紗線羣集上一個接一個地運行一組spark應用程序。每當一個特定的火花應用程序開始運行它回來了故障,並拋出的異常是:apache spark異常歷史記錄已存在

exception in thread "Driver" java.io.IOException : Log directory hdfs://xxx:8020/user/.../applicationHistory/aplication_...._.. already exists! 

在堆棧跟蹤,我可以看到後我儘量讓SparkContext的實例中,這將引發異常我的應用程序。 Spark沒有給出這個特定名稱的其他應用程序,所以我不明白這個日誌可能已經存在。 有人知道爲什麼這個應用程序名稱已經有一個日誌?

回答

0

您只能使用Directory作爲日誌路徑。