火花是如何處理驅動程序內存的？它是使用更多的空間然後分配

Question

它是如何可能的是（的驅動程序）的存儲存儲器，它是由限制5.2克中所示的圖像中，通過火花超出到36.5克？

這種內存分配是如何發生的？通過默認設置引發除RAM之外的使用磁盤嗎？如UI所示，它使用16.5克磁盤空間（磁盤空間使用限制是多少？）。

Answer 1

你的第一個問題：

請問這個內存分配發生？通過默認設置引發除RAM之外的使用磁盤嗎？

是的。請閱讀塊管理器here。正如所指出的，

圖塊管理員管理用於可表示高速緩存的分區RDD塊，中間混洗輸出，廣播等的存儲這也是一個BlockEvictionHandler從存儲器刪除一個塊並將其存儲在磁盤上是否適用。

你的第二個問題：

什麼是磁盤空間使用限制？

據我所知，沒有限制。如果他們沒有足夠的空間，執行者開始死亡。你可以參考this瞭解更多詳情。