1
我使用Spark的JAVA連接器，並想聯合兩個DataFrames，但奇怪的DataFrame類只有unionAll？這是故意的，有沒有辦法聯合兩個DataFrames沒有重複？Spark DataFrame類中的union（）方法在哪裏？
A
回答
7
這是故意
如果認爲它是安全的假設，這是故意的。其他工會運營商如RDD.union和DataSet.union也將保留重複。
如果你認爲它是有道理的。雖然相當於UNION ALL的操作只是一種邏輯操作，它不需要數據訪問或網絡流量，但發現不同的元素需要洗牌，因此可能會非常昂貴。
有沒有辦法聯合兩個數據幀沒有重複？
df1.unionAll(df2).distinct()
相關問題
- 1. Spark sql DataFrame類不存在
- 2. 類的轉換方法在哪裏去
- 3. 方法在哪裏？
- 4. 方法在哪裏？
- 5. 在Spark DataFrame中的na.fill Scala
- 6. 等價於Pandas Dataframe`.iloc（）`方法的Spark DataFrame？
- 7. Spark Streaming在哪裏運行？
- 8. 在哪裏定義非類方法？
- 9. 在Spark SQL DataFrame中調用UDF方法中的其他方法/變量
- 10. flatiron.js/union - 在哪裏放app.use（）配置？
- 11. 爲什麼Spark DataFrame在Java中沒有saveAsORCFile（）方法？
- 12. java.awt.Graphics中的方法在哪裏定義？
- 13. Scala List API中的「==」方法在哪裏？
- 14. android.opengl.Matrix中的perspectiveM方法在哪裏？
- 15. 救援方法在哪裏？
- 16. 放在哪裏「ViewPager.setCurrentItem（）」方法
- 17. AutoIt - HotKeySet方法在哪裏？
- 18. Google AnalyticsAPI：Analytics.builder方法在哪裏？
- 19. scala.collection.JavaConversions API：asScala方法在哪裏？
- 20. CleanUp方法在哪裏？
- 21. spark中的reducebykey和aggregatebykey Dataframe
- 22. Spark Dataframe中的重複列
- 23. Java Spark Dataframe API（1.4.1）中未定義max（）和sum（）的方法
- 24. YARN上的Spark日誌在哪裏？
- 25. Google Dataproc上的Spark UI在哪裏？
- 26. 應使用哪種Union ALL方法？
- 27. 這些類/方法應該去哪裏？
- 28. spark scala DataFrame error
- 29. Spark scala Dataframe isin
- 30. collectAsList in Spark DataFrame