美好的一天。任務的序列化結果的總大小大於spark.driver.maxResultSize
我正在運行解析某些日誌文件的開發代碼。如果我試圖解析較少的文件,我的代碼將運行平穩。但是當我增加需要解析的日誌文件的數量時,它會返回不同的錯誤,如too many open files
和Total size of serialized results of tasks is bigger than spark.driver.maxResultSize
。
我試圖增加spark.driver.maxResultSize
,但錯誤仍然存在。
你能告訴我如何解決這個問題嗎?
謝謝。
在我的情況,我增加maxResultSize超過1 GB比需求和問題解決。你的任務大小是5 GB。你可以嘗試給6 gb一次嗎? –
請顯示代碼... –