運行Spark應用程序：堅持Metastore

Question

我工作的Spark 2.1應用程序也使用SparkSQL並使用dataframe.write.saveAsTable(tbl)保存數據。我的理解是，內存中的Derby DB用於Hive Metastore（右？）。這意味着我在第一次執行時創建的表在任何後續執行中都不可用。在許多情況下，這可能是預期的行爲 - 但我想堅持執行過程中的Metastore（因爲這也是我在生產系統中的行爲）。

所以，一個簡單的問題：我該如何改變配置來保持光盤上的metastore？

一句話：我沒有使用spark-shell或spark-submit啓動Spark作業，而是作爲獨立的Scala應用程序啓動。

Answer 1

它已經保存在磁盤上。只要兩個會話使用相同的工作目錄或特定的Metastore配置，永久表將在會話之間保持不變。