當mapreduce作業完成時，臨時目錄沒有從輸出位置刪除

Question

我正在解析數據以便通過MapReduce作業獲得某種意義。解析的數據以批次的形式出現。它通過火花流工作進一步加載到配置外部表。這是一個實時過程。現在我面臨一個不尋常的事件，因爲在輸出位置創建了_temporary目錄，由於目錄無法加載到配置單元表中，因此加載到配置單元表失敗。它只發生過一次，其餘的工作都運行良好。請參閱截圖。

_temporary目錄中還包含任務ID作爲子目錄它們是空的。任何人都可以請幫助解決這個問題，以便將來可以避免它。

Answer 1

當有一些任務尚未完成時會創建臨時目錄，可能很少有數據尚未將其實際位置從臨時位置移開。該任務可能會在Web UI中顯示完成，但數據移動尚未完成。一旦這個過程完成，將只有_SUCCESS文件。您可以通過監控_temporary目錄的大小來檢查這一點。這將逐漸減少。