2017-09-27 61 views
0

我正在使用spark-sql來執行大的SQL文件。我想在spark執行之前記錄SQL查詢,類似於配置單元詳細模式。我已經試過spark-sql CLI,其參數爲-v,但仍然不打印SQL查詢。如何在spark-sql CLI中打印SQL查詢?

spark-sql -v \ 
<configuration parameters> \ 
-f abc.sql 

蜂巢命令:

hive -v \ 
<configuration parameters> \ 
-f abc.sql 

有沒有,我很想念打印SQL查詢其他任何火花配置?

+0

您可以查詢存儲爲一個字符串。那麼萬一你使用任何記錄器,然後記錄該字符串there.Something像這樣: - String sqlQuery =/* mysqlQuery * /; sparl.sql(的SQLQuery)。 Logger.print(sqlQuery) –

+0

感謝您的建議。我正在使用允許僅運行SQL查詢的spark-sql CLI,沒有辦法訪問sparkContext,logger或sparkSession等任何對象。 –

回答

0

spark-sql詳細模式是--v而配置單元詳細模式是-v
以下命令適用於我 -

spark-sql --v \ 
<configuration parameters> \ 
-f abc.sql