我有一個scala腳本文件,通過交互式spark-shell以經典的方式成功執行:輸入spark-shell,粘貼腳本,等到完成。如何使用nohup從文件執行spark-shell?
我希望能夠離開這個東西工作,並退出ssh會議,回到我需要的結果。
我嘗試這樣做,它行爲異常
spark-shell -i file.scala >> out.log 2>&1 &
只會打印幾個常用的火花輸出out.log的線,然後報告的過程已經結束。當我做'ps aux | grep spark'我看到在進程中有火花。
當我運行它的行爲如預期,但我必須離開會議打開我的結果。
spark-shell -i file.scala
有沒有辦法使nohup得到spark-shell正常工作?
我知道有火花提交與罐子工作,但它感覺不太直觀,對於一個簡單的測試,我不得不聲稱一個罐子,並做魔術魔術。
我會建議編寫一個腳本來做Maven的東西,然後'spark-submit'。那麼至少這只是一件事情。 – sourcedelica