0
我正在使用spark-sql來執行大的SQL文件。我想在spark執行之前記錄SQL查詢,類似於配置單元詳細模式。我已經試過spark-sql CLI,其參數爲-v
,但仍然不打印SQL查詢。如何在spark-sql CLI中打印SQL查詢?
spark-sql -v \
<configuration parameters> \
-f abc.sql
蜂巢命令:
hive -v \
<configuration parameters> \
-f abc.sql
有沒有,我很想念打印SQL查詢其他任何火花配置?
您可以查詢存儲爲一個字符串。那麼萬一你使用任何記錄器,然後記錄該字符串there.Something像這樣: - String sqlQuery =/* mysqlQuery * /; sparl.sql(的SQLQuery)。 Logger.print(sqlQuery) –
感謝您的建議。我正在使用允許僅運行SQL查詢的spark-sql CLI,沒有辦法訪問sparkContext,logger或sparkSession等任何對象。 –