從s3讀取文件時停止Spark應用程序

Question

我有一個應用程序在EMR上運行並從s3讀取csv文件。 但是，當我嘗試從s3讀取該文件時，整個事情似乎停止了（我讓它運行了大約一個小時）。沒有任何反應，除了應用程序仍在運行之外，沒有任何東西會寫入日誌。此應用程序運行的步驟不會失敗！

我試過通過spark-submit的標誌--files將文件複製到集羣，並直接在應用程序中用sc.textFile(filename)來讀取它。

有什麼我失蹤？

Answer 1

經過一段時間，我終於又回到了這個問題，並可以自己「解決」（我不知道問題是什麼，儘管...） 似乎spark沒有分配worker節點。將spark.dynamicAllocation.enabled設置爲true後，所有內容現在都按預期工作。