Spark SQL - DataFrame - 選擇 - 轉換還是操作？

在Spark SQL（使用Java API）中，我有一個DataFrame。Spark SQL - DataFrame - 選擇 - 轉換還是操作？

該DataFrame有一個select方法。我不知道這是一種轉變還是一種行動？

我只需要一個確認和一個很好的參考，其中明確指出。

2017-10-05 peter.petrov

這是一個轉換，因爲沒有實際的計算髮生，因此在使用'df.select'時看不到任何結果。 [來源]（https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/Dataset.scala#L81） – philantrovert

你將不得不做一個'show（）'來查看任何結果。 'show（）'是一個動作。 – femibyte

這是轉型。請參閱：https://spark.apache.org/docs/2.0.0/api/java/org/apache/spark/sql/Dataset.html

數據集是可並行使用功能或關係操作被變換域特定的對象的強類型集合。每個數據集也有一個稱爲DataFrame的無類型視圖，即，它是行的數據集。

數據集上可用的操作分爲轉換和操作。轉換是生成新數據集的轉換，並且動作是觸發計算和返回結果的動作。示例轉換包括映射，過濾器，選擇和聚合（groupBy）。示例操作將數據計數，顯示或寫入文件系統。

來源

2017-10-05 16:18:13 Nikhil

Spark SQL - DataFrame - 選擇 - 轉換還是操作？

回答

相關問題