如何打印廣播變量的內容

Question

我在pyspark shell中創建了一個廣播變量，我想簡單地檢查它裏面的內容。

但是，我通常用來打印或查看RDD的函數不適用於廣播變量。

即.collect()和.take(5)等都拋出了可怕的Broadcast object has no property ...錯誤。

如何查看存儲在廣播var中的數據？

Answer 1

我想在Python中是類似的。我在斯卡拉向你展示一個例子。

scala> val broadcastVar = sc.broadcast(Array(1, 2, 3)) 
broadcastVar: org.apache.spark.broadcast.Broadcast[Array[Int]] = Broadcast(0) 

scala> broadcastVar.value 
res0: Array[Int] = Array(1, 2, 3) 

如果保存broadcastVar.value的結果，你會得到一個T，在一個變量，你可以打印或使用類型T