pyspark的正常行爲與否？

Question

我真的需要你的幫助，我希望當我說我不打算調試我的代碼時，我聽起來不會太苛刻。我希望和/或認爲這是除了我的代碼之外的其他東西，也許我不希望發生火花。首先，讓我給你一些歷史和時間表，讓我可以把它放在角度（或者你可以跳到下面的問題;））。

我已經開發了一段python的代碼，使用mllib在2015年10月，我使用spark 1.5.1，它工作。儘管我使用的是2015年10月至2016年8月期間使用的相同輸入文件，但我的代碼已無法工作了。我的修正是升級到spark 2.0。 0。對相同的輸入文件使用相同的代碼，並重新開始工作。 [現在]兩個月後，我需要刷新並猜測它是什麼，它不再工作。我回到了我在spark 1.5.1上使用的相同輸入文件，並且它在2.0.0版本中成功運行時仍然無法工作。

所以，我的問題是...火花做了一些更新或在我不知道，應該意識到的背景中的東西？如果是這樣，我該如何關閉它，或者我可以關閉它？如果這種行爲沒有預料到（我認爲不是這樣），爲什麼它可能會發生？

感謝您的幫助提前。

Answer 1

經過進一步測試，本帖解決了問題 - >Spark gives a StackOverflowError when training using ALS。我希望這是一個長期的解決方案，而不是一個補丁。