如何在Scala \ Spark中動態選擇某個字段？

Question

我不知道如果標題準確地描述了我的問題，但這裏是我的問題：

dump的類型爲：

dump: org.apache.spark.rdd.RDD[(String, String, String, String)] 

例如：

val dump = sc.parallelize(List(("a","b","c","s"))) 

，我有以下for-loop：

for (i <- List(0,1,2,3)) { 
     val temp = dump.map(x=> x._i) 
    } 

Bu t IntelliJ表示在x._i中有錯誤。有任何想法嗎？

Answer 1

IntelliJ正確指出您使用的語法不正確。

你正在嘗試做的，可以使用類似方式實現：

for (i <- List(0, 1, 2, 3)) { 
    val temp = dump.map(x => x.productElement(i)) 
} 

Tuples是一類的實際情況，他們是不完全，您可以訪問使用索引的數組。另外，與JavaScript等其他語言不同，scala不允許基於字符串的屬性訪問（除非您想使用反射）。你所嘗試的可以用一些像JS這樣的語言進行語法上的改變，但不能用在Scala中。

但是，至少在這種情況下，同樣的事情可以使用productElement方法調用實現爲每一個所有元組也都是Product情況下，這確實有遍歷元素，或通過索引訪問這些設施。請注意，0的索引等於._1，依此類推。

此外，參考@Archeg的評論，您可以將其放入元組中。有從Tuple1到Tuple22的元組類。這意味着元組最多可以包含22個元素。