2017-08-04 81 views
2

我只是想澄清一些讓我感到困惑的東西,就是使用Spark中的線程。Spark中每個核心的線程數

有人可以證實,星火:

  1. 每個核心只能運行一個線程,或者至少是一個任務插槽對應一個核心,一個核心只有永不一個線程

  2. 本地模式的情況是一個例外。它使用可用線程模擬集羣模式下的可用任務插槽。

-M-

回答

3

核心Spark中是可以被分配處理任務的線程,這個意義並不能改變太多local和分佈式模式之間。

在實踐星火用來包括除任務處理等用途更大量的線程,但不限於:

  • 處理心跳。
  • Spark UI。
  • 廣播。