檢查大小廣播變量PySpark

Question

我無法找到廣播變量的大小。由於推送羣集的內存限制，這與我的項目有關。羣集正在YARN上運行。在應用程序管理器中，我可以看到單個執行程序和驅動程序的內存使用情況，但我認爲這些只是持久RDDS。

Answer 1

Spark使用pickle來序列化/反序列化廣播變量。你可能想嘗試的檢查鹹菜一件事轉儲的大小，例如：

>>> import cPickle as pickle 
>>> data = list(range(int(10*1e6))) # or whatever your broadcast variable is 
>>> len(pickle.dumps(data)) 
98888896 # the measurement of the size of your broadcast variable, in bytes 

至於影響到羣集的內存限制廣播的變量，一個previous question of mine具有zero323一些有用的技巧。