我想保存一個數據框作爲表使用saveAsTable以及它的工作原理,但我想保存表不是默認數據庫,有誰知道是否有方法來設置要使用的數據庫?我試着用hiveContext.sql(「use db_name」),這似乎沒有做到這一點。有一個saveAsTable需要一些選項。有沒有辦法,我可以做到這一點與選擇?Apache Spark 1.3數據幀SaveAsTable數據庫其他然後默認
2
A
回答
3
它看起來並不像您可以設置數據庫的名字呢?如果你看過HiveContext.scala代碼,你看到很多評論像...
// TODO: Database support...
所以我猜測它還不支持。
更新:
在火花1.5.1這個作品,這沒有早期版本。在早期的版本中,你不得不使用像deformitysnot answer這樣的使用語句。
df.write.format("parquet").mode(SaveMode.Append).saveAsTable("databaseName.tablename")
3
這是固定在星火1.5,你可以用做:
hiveContext.sql("USE sparkTables");
dataFrame.saveAsTable("tab3", "orc", SaveMode.Overwrite);
通過星火1.5,你可以讀星火的方式保存從蜂巢命令行dataframes(直線,...) ,這在早期版本中是不可能的。
相關問題
- 1. Spark數據幀saveAsTable vs保存
- 2. Spark數據幀saveAsTable不截斷Hive表中的數據
- 3. 在Apache Spark中分割數據幀
- 4. 數據幀由其他
- 5. phpMyAdmin:FROM後忽略默認數據庫
- 6. PHP:從數據庫中,然後在其他頁面顯示計數數據
- 7. 我怎麼能存儲或Android其它獲得SQLite數據庫,然後數據庫默認位置
- 8. Mongoose的默認數據庫數據
- 9. 創建數據庫和默認數據
- 10. Spark數據幀數據聚合
- 11. 數據庫默認列
- 12. MySQL的默認數據庫
- 13. 加載默認數據庫
- 14. Oracle ODBC默認數據庫
- 15. 熊貓:從其他數據幀信息創建數據幀行
- 16. 從其他數據幀的功能創建新的數據幀
- 17. 使用Apache-Spark-SQL訪問數據庫
- 18. 只向數據庫添加1行然後跳過其他數據
- 19. 分析Spark中數據幀
- 20. spark saveAsTable權限
- 21. Spark read.jdbc saveAsTable
- 22. 如何過濾包含任何其他數據幀/集的任何值的數組列的Spark數據幀
- 23. Spark默認分區數
- 24. 從其他數據庫獲取數據
- 25. 如何將dataminder連接到其他數據庫,然後通過默認的sql連接提供?
- 26. Apache Spark是否從目標數據庫加載整個數據?
- 27. 數據幀排序依據Spark中
- 28. 查詢其他數據庫
- 29. GAE的其他數據庫
- 30. 數據幀包含其他載體
謝謝amarouni。你的帖子也解決了我的問題。 –