Livy在計算結束前返回

Question

在Hortonworks Sandbox上使用Livy，我們發現在某些情況下，Livy API會在實際工作結束之前爲Spark語句監視工具所指示的結果提供結果。在某些情況下，Livy在正常執行時間超過10分鐘的情況下，只需不到5秒的時間就能完成一項任務。如果我們在某些情況下多次使用相同的初始條件重複相同的任務，則會發生此問題。任何想法？

Answer 1

只需檢查您是否使用相同的Livy會話進行多個工作。 如果使用了相同的會話，那麼中間的Spark DataSet將被緩存，並且結果的檢索速度會更快。