0
我看到火花AVRO數據源是基於FileFormat接口實現的。 有沒有關於如何寫基於FileFormat的火花自定義數據源的任何文檔？到目前爲止，我找不到任何東西（除了spark avro的源代碼）。如何寫火花自定義數據源基於FileFormat
謝謝！
A
回答
0
下面是一個簡單的基於文件的數據源火花的一個例子：https://hackernoon.com/extending-our-spark-sql-query-engine-5f4a088de986
下面是實現數據源API幾個例子，以及： * https://github.com/databricks/spark-csv * https://github.com/databricks/spark-avro
相關問題
- 1. 自定義數據源的自動火花模式推斷
- 2. 編寫你自己的火花數據源。
- 3. 從自定義數據格式創建火花數據框
- 4. 應用自定義函數的火花數據幀組
- 5. 火花殼不重寫方法定義
- 6. 基於在火花階
- 7. 火花：聚集基於列
- 8. 自定義模式在火花1.4.1
- 9. 如何寫火花數據框到Postgres數據庫
- 10. 火花ML編寫自定義模式，變壓器
- 11. 火花數據框被寫入分區
- 12. 如何基於來自另一個數據幀的值（主鍵）來計算火花數據幀中的行數？
- 13. 如何使用Java自定義比較訂購火花RDD
- 14. Java：如何定義基於整數的自定義數據類型？
- 15. 在火花數據幀中添加列基於規則
- 16. 創建火花數據幀基於條件
- 17. 基於火花數據框中的關鍵值進行過濾
- 18. 分裂火花數據幀和基於一個列值
- 19. 如何爲用於基於條件火花的Scala
- 20. SCE - 自定義數據源
- 21. 如何在數據幀的基礎添加列於其他列的值火花
- 22. 將數據從火花寫入Vertica如何工作？
- 23. 如何寫火花sql數據框到excel文件的摘要
- 24. 火花數據集：如何從一列
- 25. 如何獲得火花數據幀
- 26. 火花：基於另一個RDD
- 27. 火花如何確定任務數量？
- 28. 如何編寫基於套接字的自定義傳輸WCF
- 29. 如何編寫基於xml佈局的自定義View類
- 30. 在星火列編寫自定義的Spark功能/數據幀