什麼時候在Pyspark的廣播中調用`.value`？

Question

是否是次優？

## First version ## 
    def myfunc(val, listparam): 
     return val in listparam.value # .value in function 

    mylist_bc = sc.broadcast(mylist) 
    rdd.map(lambda val:myfunc(val, mylist_bc)) 


    ## Second version ## 
    def myfunc(val, listparam): 
     return val in listparam 

    mylist_bc = sc.broadcast(mylist) 
    rdd.map(lambda val:myfunc(val, mylist_bc.value)) # .value outside function 

是否可以使用廣播的第二個版本，他們的功能不知道我使用的是廣播值？我想也許它會干擾廣播。

Answer 1

http://spark.apache.org/docs/latest/programming-guide.html#broadcast-variables

創建廣播變量之後，應當代替在任何函數中使用的值v的集羣上運行，使得V不是運到節點不止一次

我會使用選項＃1 - 您知道執行程序將使用廣播變量

選項＃2 可能有問題，如果廣播變量的值將計算在驅動程序呃，並將作爲常規變量發送給執行者